.NET 開發支援Unicode應用程式的可能陷阱(計算Unicode的字串長度有誤)

使用 Visual Studio  利用 dotNet Framework 開發應用程，目前大概都會以 Unicode 為內碼，其實 VS2008 / VS2012 以及 SQL 2000 / SQL 2008 支援 Unicode 都沒有問題，所以我都總以為用 Unicode 開發就可以處理中文罕見字(如 堃、煊)等，但經實際測試發現在計算字串長度時，偶爾會有出入(不正確)。

底下的範例是利用「」這幾個中文字測出來的。

中文	十六進制	十進制
𧖟	2759F	161183
厵	53B5	21429
陳	9673	38515
𣡻	2387B	145531
明	660E	26126
𨰻	28C3B	166971

(大部分的瀏覽器都無法直接支援第0字面以外的字型，那是因為字型檔沒有足夠的字)
不知是否有注意到有的十六進制內碼有的 4 位數字，有的 5位數字，Unicode的中文字碼點安排主要在第0平面與第2平面，其中第0平面支援 39126 字，第2字面44992字，上列中文內碼5碼者即落在第2字面上。

就因為第0及第2字面的關係，在第0字面的碼點只要2Byte就能表示，但在第1字面以後的就會用4Byte表示(雖然用3Byte就夠了)，所以才有人說 Unicode 有 2Byte 跟 4Byte (註：這種說法有誤，後面會提到)。

其實Unicode 是文字碼點的值，但在實際編碼上常用的有 UTF-8，UTF-16，UTF-32，所以說Unicode就是 Unicode 沒有2Byte 或 4Byte，但其編碼方式就有差別：

• UTF-8：是變動編碼，可能用 1 Byte 到6 Byte 來編碼 Unicode。
• UTF-16：也是變動編碼，可能是 2Byte 或者 4Byte。
• UTF-32：一律使用 4Byte 編碼。

Windows 自2000以後對 Unicode 的支援即採購 UTF-16的編碼格式，如果 Unicode 的碼點在65535(0xFFFF)以下者，採2Byte編碼， 大於 65536(0x10000)者，採用4Byte編碼，這樣的編碼設計其實沒有什麼不好，因為大部分的常用的中文字碼點是落在65535以內，用2Byte編碼可以節省空間。

然而經測試 .NET 與 SQL 的預設字串處理採UTF-16，但內部的函數卻單純以2Byte為單位，最簡單的測試就是計算其長度，從下面的截圖會發現正確的字串長度應為 6 ，無論在   SQL 2000、SQL 2008、VS2008(.Net3.5) 或 VS2012(.Net4.5)，用內建函數求得的結果卻為 9，比正確的長度多出 3個。

這會有怎樣的問題? 如果要取得 SubString 就會出現非預期的結果，例如想要取得第三個字(陳)，
"疟厵陳㡻明谻".Substring(2, 1);    //預期得到「陳」，結果確得到「厵」
"疟厵陳㡻明谻".Substring(4, 1);    //預期得到「明」，結果確得到「□」
，而這種錯誤只在字串中含有第0字面以外的文字時才會出現，在大部分時候卻都可以運作正確無誤!

 

SQL 2000 可以處理Unicode，但對第0字面以外的字會判斷錯誤

 

SQL 2008 可以處理Unicode，但對第0字面以外的字會判斷錯誤

 

VS2008+.Net3.5 可以處理Unicode，但對第0字面以外的字會判斷錯誤

 VS2012+.Net4.5 可以處理Unicode，但對第0字面以外的字照樣判斷錯誤

在命令提示字元下，縱使在第0字面(厵)，因超出Big5的範圍，亦無法顯示!

為了解決這個問題，只能自己撰寫字串的處理程序了，底下就是利用「擴充函數」的特性擴增字串的處理功能，利用 Len() 函數來取代 .Length 屬性，用 Substr() 函數來取代 Substring，其實運用的原理很簡單，就是先將字串都轉成 UTF-32處理完成後，使用自製的函數後，就可以正確計算長度及SubString的處理：

底下是程式碼：

       #region  "字串".Len();
        //相當VB 的 String.Len()  用以取代 string.Length 可以計算 Unicode 第二字面的內碼
        /// <summary>
        /// 取得字串的長度，會先換成 UTF32再計算，可以避免第二字面的字被拆成兩組字
        /// 使用方法："字串".Len();</summary>
        /// <param name="s">待處理的字串</param>
        /// <returns>字串的文字個數</returns>
public static int Len(this string s)
        {
            return  Encoding.UTF32.GetByteCount(s) / 4;
        }
        #endregion


        #region  "字串".Substr(int startIndex, int length);    用以取代 string.Substring
        /// <summary>
        /// 取得指定位置、長度的子字串，字串會先轉成 UTF-32
        /// 使用方法："字串".Substr(起始位置, 擷取長度);
        /// 如果 startIndex 大於字數，則傳回 ""  (空字串)
        /// 如果 startIndex + length > 字數，則傳回由 startIndex 起之剩餘的字數
        ///           </summary>
        /// <param name="s">待處理的字串</param>
        /// <param name="startIndex">擷取的起始位置，不能大於字串長度</param>
        /// <param name="length">擷取的長度，與起始位置相加，不能大於字串長度</param>
        /// <returns>字串</returns>
        public static string Substr(this string s, int startIndex, int length)
        {
            byte[] byte32Array = Encoding.UTF32.GetBytes(s);
            startIndex *=4;
            length *= 4;

            if(startIndex >= byte32Array.Length) return "";
            length = (startIndex + length) > byte32Array.Length ? byte32Array.Length- startIndex : length;
            return Encoding.UTF32.GetString(byte32Array, startIndex, length);
        }

        /// <summary>
        /// 取得指定位置起算的右方所有子字串，字串會先轉成 UTF-32
        /// 使用方法："字串".Substr(起始位置);
        /// 如果 startIndex 大於字數，則傳回 ""  (空字串)</summary>
        /// <param name="s">待處理的字串</param>
        /// <param name="startIndex">擷取的起始位置，不能大於字串長度</param>
        /// <returns>字串</returns>
        public static string Substr(this string s, int startIndex)
        {
            return s.Substr(startIndex, Int32.MaxValue);
        }
        #endregion