如何在Java中高效處理和編碼Emoji表情,包括編碼、解碼和過濾方法
Emoji表情(以及大多數(shù)Unicode字符)在存儲(chǔ)到MySQL數(shù)據(jù)庫時(shí),通常需要確保數(shù)據(jù)庫、表和列都使用支持Unicode的字符集和校對(duì)規(guī)則。最常用的Unicode字符集是utf8mb4,因?yàn)橹С炙蠻nicode字符,包括Emoji表情。實(shí)際開發(fā)中,數(shù)據(jù)存儲(chǔ)的時(shí)候需要對(duì)所有的Emoji表情進(jìn)行UTF-8統(tǒng)一編碼并且需要確保能在不同平臺(tái)中進(jìn)行解碼和顯示。
(基礎(chǔ)知識(shí))位、字節(jié)、字符
在Java中,位(bit)、字節(jié)(byte)和字符(char)是三種基本的數(shù)據(jù)單位,各自具有特定的概念和用途。
位(bit)是計(jì)算機(jī)存儲(chǔ)和處理信息的最小單位,只能表示兩種狀態(tài):0或1。在Java中,位并沒有對(duì)應(yīng)的基本數(shù)據(jù)類型,而是作為最小的信息單元用于表示和操作數(shù)據(jù)。位操作常用于位掩碼、位字段和位運(yùn)算等場(chǎng)景。
字節(jié)(byte)是計(jì)算機(jī)信息技術(shù)用于計(jì)量存儲(chǔ)容量的一種計(jì)量單位,也是Java中最小的內(nèi)存單元。由8個(gè)二進(jìn)制位(bit)組成,可以表示2^8種不同的狀態(tài),0到255之間的整數(shù)值。字節(jié)類型用關(guān)鍵字byte表示。
字符(char)是Java中用來表示Unicode字符的數(shù)據(jù)類型。由16個(gè)二進(jìn)制位(即2個(gè)字節(jié))組成,可以表示更多的字符,包括英文字母、數(shù)字、標(biāo)點(diǎn)符號(hào)、中文漢字以及其他特殊字符。字符類型用關(guān)鍵字char表示。
三者之間的主要區(qū)別在于其表示信息的粒度不同,位是最小的單位,字節(jié)次之,字符則相對(duì)較大。
UTF-8編碼中,字節(jié)和字符對(duì)應(yīng)關(guān)系
在UTF-8編碼中,字節(jié)和字符的對(duì)應(yīng)關(guān)系并不是一對(duì)一的固定關(guān)系,根據(jù)字符的不同而有所變化。UTF-8是一種可變長(zhǎng)度的編碼方式,設(shè)計(jì)目標(biāo)是向后兼容ASCII字符集。
- 對(duì)于ASCII字符集中的字符(0-127范圍內(nèi)的字符,包括英文字符、數(shù)字和一些控制字符),UTF-8編碼與ASCII編碼完全一致。這些字符在UTF-8編碼中只占用1個(gè)字節(jié)。
- 對(duì)于其他Unicode字符,UTF-8使用多字節(jié)的序列來表示。具體的字節(jié)數(shù)取決于字符的Unicode碼點(diǎn)范圍:
對(duì)于U+0080到U+07FF范圍內(nèi)的字符(例如帶有變音符號(hào)的拉丁字母等),UTF-8使用2個(gè)字節(jié)來表示。
對(duì)于U+0800到U+FFFF范圍內(nèi)的字符(包括大部分常用的中日韓文字、東南亞文字、中東文字等),UTF-8使用3個(gè)字節(jié)來表示。
對(duì)于U+10000到U+10FFFF范圍內(nèi)的字符(包括一些較為罕見的字符),UTF-8使用4個(gè)字節(jié)來表示。
在UTF-8編碼中,中文字符(包括簡(jiǎn)體和繁體)的編碼通常占用3個(gè)字節(jié),中文標(biāo)點(diǎn)也占用3個(gè)字節(jié)。英文字符(包括大小寫字母)和英文標(biāo)點(diǎn)在UTF-8編碼中則分別占用1個(gè)字節(jié)。
String類的length()和codePointCount()的區(qū)別
String類的length()和codePointCount()方法的主要區(qū)別在于計(jì)算字符串長(zhǎng)度的方式不同。
- 「計(jì)算單位」:length()方法返回的是字符串中的字符數(shù),codePointCount()方法返回的是字符串中的Unicode碼點(diǎn)數(shù)。
- 「處理Unicode碼點(diǎn)」:length()方法不能處理Unicode碼點(diǎn),codePointCount()方法可以處理。在處理包含Unicode補(bǔ)充字符(如某些表情符號(hào)或特殊字符)的字符串時(shí),codePointCount()方法能夠更準(zhǔn)確地計(jì)算長(zhǎng)度。
- 「適用場(chǎng)景」:由于Unicode碼點(diǎn)能夠表示更廣泛的字符集,codePointCount()方法在處理包含多種語言字符或特殊字符的字符串時(shí)更為適用。length()方法則更適用于處理ASCII字符集或不包含Unicode補(bǔ)充字符的字符串。
Emoji編解碼
對(duì)整段字符進(jìn)行編碼(正常字符串)
try {
//編碼
String encodeStr = URLDecoder.decode("字符串", StandardCharsets.UTF_8.name());
//解碼
String decodeStr = URLDecoder.decode(encodeStr, StandardCharsets.UTF_8.name());
} catch (UnsupportedEncodingException e) {
e.printStackTrace();
}
Emoij表情進(jìn)行單獨(dú)編碼,只對(duì)Emoji表情編碼,其他字符不編碼,只需處理Unicode碼點(diǎn)即可,解碼的時(shí)候直接對(duì)整段解碼。
public class EmojiUtils {
/**
* 對(duì)emoji表情單獨(dú)編碼
*/
public static String escape(String src){
//1.得到代碼點(diǎn)數(shù)量,也即是實(shí)際字符數(shù),注意和length()的區(qū)別
//舉例:
//一個(gè)emoji表情是一個(gè)字符,codePointCount()是1,length()是2。
//但是遇到過一個(gè)emoji表情居然帶著空格符號(hào),結(jié)果它的codePointCount()是2,length()也是2,實(shí)際上單獨(dú)拎emoji來說,它的length()應(yīng)該說是1才對(duì)了。
//推測(cè)這就是它們是否屬于增補(bǔ)字符范圍內(nèi),length=2的是增補(bǔ)字符,length=1的不是。
int cpCount = src.codePointCount(0, src.length());
//2.得到字符串的第一個(gè)代碼點(diǎn)index,和最后一個(gè)代碼點(diǎn)index
//舉例:比如3個(gè)emoji表情,那么它的cpCount=3;firCodeIndex=0;lstCodeIndex=4
//因?yàn)槊總€(gè)emoji表情length()是2,所以第一個(gè)是0-1,第二個(gè)是2-3,第三個(gè)是4-5
int firCodeIndex = src.offsetByCodePoints(0, 0);
int lstCodeIndex = src.offsetByCodePoints(0, cpCount - 1);
StringBuilder sb = new StringBuilder();
int index = firCodeIndex;
while (index<=lstCodeIndex){
//3.獲得代碼點(diǎn),判斷是否是emoji表情
//注意,codePointAt(int) 這個(gè)int對(duì)應(yīng)的是codeIndex
//舉例:3個(gè)emoji表情,取第3個(gè)emoji表情,index應(yīng)該是4
int codepoint = src.codePointAt(index);
if (!isEmojiCharacter(codepoint)) {
sb.append((char) codepoint);
}else{
try {
//4.對(duì)emoji表情UTF-8編碼,判斷是否是增補(bǔ)字符范圍內(nèi)
int length = Character.isSupplementaryCodePoint(codepoint)? 2 : 1;
String encoderStr = URLEncoder.encode(src.substring(index,index + length), "UTF-8");
sb.append(encoderStr);
} catch (UnsupportedEncodingException e) {
}
}
//4.確定指定字符(Unicode代碼點(diǎn))是否在增補(bǔ)字符范圍內(nèi)。
//因?yàn)槌吮砬?,還有些特殊字符也是在增補(bǔ)字符方位內(nèi)的。
index += Character.isSupplementaryCodePoint(codepoint)? 2 : 1;
}
return sb.toString();
}
/**
* 過濾掉emoji表情
* @param src
* @return
*/
public static String filter(String src) {
if (src == null) {
return null;
}
//得到codePointCount
int cpCount = src.codePointCount(0, src.length());
int firCodeIndex = src.offsetByCodePoints(0, 0);
int lstCodeIndex = src.offsetByCodePoints(0, cpCount - 1);
StringBuilder sb = new StringBuilder(src.length());
for (int index = firCodeIndex; index <= lstCodeIndex;) {
//遍歷每個(gè)codePoint
int codepoint = src.codePointAt(index);
if (!isEmojiCharacter(codepoint)) {
System.err.println("codepoint:" + Integer.toHexString(codepoint));
sb.append((char) codepoint);
}
index += ((Character.isSupplementaryCodePoint(codepoint)) ? 2 : 1);
}
return sb.toString();
}
/**
* 是否是Emoji表情
*/
private static boolean isEmojiCharacter(int codePoint) {
return (codePoint >= 0x2600 && codePoint <= 0x27BF) // 雜項(xiàng)符號(hào)與符號(hào)字體
|| codePoint == 0x303D || codePoint == 0x2049 || codePoint == 0x203C
|| (codePoint >= 0x2000 && codePoint <= 0x200F)//
|| (codePoint >= 0x2028 && codePoint <= 0x202F)//
|| codePoint == 0x205F //
|| (codePoint >= 0x2065 && codePoint <= 0x206F)//
/* 標(biāo)點(diǎn)符號(hào)占用區(qū)域 */
|| (codePoint >= 0x2100 && codePoint <= 0x214F)// 字母符號(hào)
|| (codePoint >= 0x2300 && codePoint <= 0x23FF)// 各種技術(shù)符號(hào)
|| (codePoint >= 0x2B00 && codePoint <= 0x2BFF)// 箭頭A
|| (codePoint >= 0x2900 && codePoint <= 0x297F)// 箭頭B
|| (codePoint >= 0x3200 && codePoint <= 0x32FF)// 中文符號(hào)
|| (codePoint >= 0xD800 && codePoint <= 0xDFFF)// 高低位替代符保留區(qū)域
|| (codePoint >= 0xE000 && codePoint <= 0xF8FF)// 私有保留區(qū)域
|| (codePoint >= 0xFE00 && codePoint <= 0xFE0F)// 變異選擇器
|| codePoint >= 0x10000; // Plane在第二平面以上的,char都不可以存,全部都轉(zhuǎn)
}
}