自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

如何在Java中高效處理和編碼Emoji表情,包括編碼、解碼和過濾方法

開發(fā) 前端
length()方法不能處理Unicode碼點(diǎn),codePointCount()方法可以處理。在處理包含Unicode補(bǔ)充字符(如某些表情符號(hào)或特殊字符)的字符串時(shí),codePointCount()方法能夠更準(zhǔn)確地計(jì)算長(zhǎng)度。

Emoji表情(以及大多數(shù)Unicode字符)在存儲(chǔ)到MySQL數(shù)據(jù)庫時(shí),通常需要確保數(shù)據(jù)庫、表和列都使用支持Unicode的字符集和校對(duì)規(guī)則。最常用的Unicode字符集是utf8mb4,因?yàn)橹С炙蠻nicode字符,包括Emoji表情。實(shí)際開發(fā)中,數(shù)據(jù)存儲(chǔ)的時(shí)候需要對(duì)所有的Emoji表情進(jìn)行UTF-8統(tǒng)一編碼并且需要確保能在不同平臺(tái)中進(jìn)行解碼和顯示。

(基礎(chǔ)知識(shí))位、字節(jié)、字符

在Java中,位(bit)、字節(jié)(byte)和字符(char)是三種基本的數(shù)據(jù)單位,各自具有特定的概念和用途。

位(bit)是計(jì)算機(jī)存儲(chǔ)和處理信息的最小單位,只能表示兩種狀態(tài):0或1。在Java中,位并沒有對(duì)應(yīng)的基本數(shù)據(jù)類型,而是作為最小的信息單元用于表示和操作數(shù)據(jù)。位操作常用于位掩碼、位字段和位運(yùn)算等場(chǎng)景。

字節(jié)(byte)是計(jì)算機(jī)信息技術(shù)用于計(jì)量存儲(chǔ)容量的一種計(jì)量單位,也是Java中最小的內(nèi)存單元。由8個(gè)二進(jìn)制位(bit)組成,可以表示2^8種不同的狀態(tài),0到255之間的整數(shù)值。字節(jié)類型用關(guān)鍵字byte表示。

字符(char)是Java中用來表示Unicode字符的數(shù)據(jù)類型。由16個(gè)二進(jìn)制位(即2個(gè)字節(jié))組成,可以表示更多的字符,包括英文字母、數(shù)字、標(biāo)點(diǎn)符號(hào)、中文漢字以及其他特殊字符。字符類型用關(guān)鍵字char表示。

三者之間的主要區(qū)別在于其表示信息的粒度不同,位是最小的單位,字節(jié)次之,字符則相對(duì)較大。

UTF-8編碼中,字節(jié)和字符對(duì)應(yīng)關(guān)系

在UTF-8編碼中,字節(jié)和字符的對(duì)應(yīng)關(guān)系并不是一對(duì)一的固定關(guān)系,根據(jù)字符的不同而有所變化。UTF-8是一種可變長(zhǎng)度的編碼方式,設(shè)計(jì)目標(biāo)是向后兼容ASCII字符集。

  1. 對(duì)于ASCII字符集中的字符(0-127范圍內(nèi)的字符,包括英文字符、數(shù)字和一些控制字符),UTF-8編碼與ASCII編碼完全一致。這些字符在UTF-8編碼中只占用1個(gè)字節(jié)。
  2. 對(duì)于其他Unicode字符,UTF-8使用多字節(jié)的序列來表示。具體的字節(jié)數(shù)取決于字符的Unicode碼點(diǎn)范圍:

對(duì)于U+0080到U+07FF范圍內(nèi)的字符(例如帶有變音符號(hào)的拉丁字母等),UTF-8使用2個(gè)字節(jié)來表示。

對(duì)于U+0800到U+FFFF范圍內(nèi)的字符(包括大部分常用的中日韓文字、東南亞文字、中東文字等),UTF-8使用3個(gè)字節(jié)來表示。

對(duì)于U+10000到U+10FFFF范圍內(nèi)的字符(包括一些較為罕見的字符),UTF-8使用4個(gè)字節(jié)來表示。

在UTF-8編碼中,中文字符(包括簡(jiǎn)體和繁體)的編碼通常占用3個(gè)字節(jié),中文標(biāo)點(diǎn)也占用3個(gè)字節(jié)。英文字符(包括大小寫字母)和英文標(biāo)點(diǎn)在UTF-8編碼中則分別占用1個(gè)字節(jié)。

String類的length()和codePointCount()的區(qū)別

String類的length()和codePointCount()方法的主要區(qū)別在于計(jì)算字符串長(zhǎng)度的方式不同。

  1. 「計(jì)算單位」:length()方法返回的是字符串中的字符數(shù),codePointCount()方法返回的是字符串中的Unicode碼點(diǎn)數(shù)。
  2. 「處理Unicode碼點(diǎn)」:length()方法不能處理Unicode碼點(diǎn),codePointCount()方法可以處理。在處理包含Unicode補(bǔ)充字符(如某些表情符號(hào)或特殊字符)的字符串時(shí),codePointCount()方法能夠更準(zhǔn)確地計(jì)算長(zhǎng)度。
  3. 「適用場(chǎng)景」:由于Unicode碼點(diǎn)能夠表示更廣泛的字符集,codePointCount()方法在處理包含多種語言字符或特殊字符的字符串時(shí)更為適用。length()方法則更適用于處理ASCII字符集或不包含Unicode補(bǔ)充字符的字符串。

Emoji編解碼

對(duì)整段字符進(jìn)行編碼(正常字符串)

try {
     //編碼
    String encodeStr = URLDecoder.decode("字符串", StandardCharsets.UTF_8.name());
    //解碼
    String decodeStr = URLDecoder.decode(encodeStr, StandardCharsets.UTF_8.name());
} catch (UnsupportedEncodingException e) {
    e.printStackTrace();
}

Emoij表情進(jìn)行單獨(dú)編碼,只對(duì)Emoji表情編碼,其他字符不編碼,只需處理Unicode碼點(diǎn)即可,解碼的時(shí)候直接對(duì)整段解碼。

public class EmojiUtils {

    /**
     * 對(duì)emoji表情單獨(dú)編碼
     */
    public static String escape(String src){
        //1.得到代碼點(diǎn)數(shù)量,也即是實(shí)際字符數(shù),注意和length()的區(qū)別
        //舉例:
        //一個(gè)emoji表情是一個(gè)字符,codePointCount()是1,length()是2。
        //但是遇到過一個(gè)emoji表情居然帶著空格符號(hào),結(jié)果它的codePointCount()是2,length()也是2,實(shí)際上單獨(dú)拎emoji來說,它的length()應(yīng)該說是1才對(duì)了。
        //推測(cè)這就是它們是否屬于增補(bǔ)字符范圍內(nèi),length=2的是增補(bǔ)字符,length=1的不是。
        int cpCount = src.codePointCount(0, src.length());

        //2.得到字符串的第一個(gè)代碼點(diǎn)index,和最后一個(gè)代碼點(diǎn)index
        //舉例:比如3個(gè)emoji表情,那么它的cpCount=3;firCodeIndex=0;lstCodeIndex=4
        //因?yàn)槊總€(gè)emoji表情length()是2,所以第一個(gè)是0-1,第二個(gè)是2-3,第三個(gè)是4-5
        int firCodeIndex = src.offsetByCodePoints(0, 0);
        int lstCodeIndex = src.offsetByCodePoints(0, cpCount - 1);

        StringBuilder sb = new StringBuilder();
        int index = firCodeIndex;
        while (index<=lstCodeIndex){
            //3.獲得代碼點(diǎn),判斷是否是emoji表情
            //注意,codePointAt(int) 這個(gè)int對(duì)應(yīng)的是codeIndex
            //舉例:3個(gè)emoji表情,取第3個(gè)emoji表情,index應(yīng)該是4
            int codepoint = src.codePointAt(index);
            if (!isEmojiCharacter(codepoint)) {
                sb.append((char) codepoint);
            }else{
                try {
                    //4.對(duì)emoji表情UTF-8編碼,判斷是否是增補(bǔ)字符范圍內(nèi)
                    int length = Character.isSupplementaryCodePoint(codepoint)? 2 : 1;
                    String encoderStr = URLEncoder.encode(src.substring(index,index + length), "UTF-8");
                    sb.append(encoderStr);
                } catch (UnsupportedEncodingException e) {

                }
            }
            //4.確定指定字符(Unicode代碼點(diǎn))是否在增補(bǔ)字符范圍內(nèi)。
            //因?yàn)槌吮砬?,還有些特殊字符也是在增補(bǔ)字符方位內(nèi)的。
            index += Character.isSupplementaryCodePoint(codepoint)? 2 : 1;
        }
        return sb.toString();
    }
    
    /**
     * 過濾掉emoji表情
     * @param src
     * @return
     */
    public static String filter(String src) {
        if (src == null) {
            return null;
        }
        //得到codePointCount
        int cpCount = src.codePointCount(0, src.length());
        int firCodeIndex = src.offsetByCodePoints(0, 0);
        int lstCodeIndex = src.offsetByCodePoints(0, cpCount - 1);
        StringBuilder sb = new StringBuilder(src.length());
        for (int index = firCodeIndex; index <= lstCodeIndex;) {
            //遍歷每個(gè)codePoint
            int codepoint = src.codePointAt(index);
            if (!isEmojiCharacter(codepoint)) {
                System.err.println("codepoint:" + Integer.toHexString(codepoint));
                sb.append((char) codepoint);
            }
            index += ((Character.isSupplementaryCodePoint(codepoint)) ? 2 : 1);

        }
        return sb.toString();
    }


    /**
     * 是否是Emoji表情
     */
    private static boolean isEmojiCharacter(int codePoint) {
        return (codePoint >= 0x2600 && codePoint <= 0x27BF) // 雜項(xiàng)符號(hào)與符號(hào)字體
                || codePoint == 0x303D || codePoint == 0x2049 || codePoint == 0x203C
                || (codePoint >= 0x2000 && codePoint <= 0x200F)//
                || (codePoint >= 0x2028 && codePoint <= 0x202F)//
                || codePoint == 0x205F //
                || (codePoint >= 0x2065 && codePoint <= 0x206F)//
                /* 標(biāo)點(diǎn)符號(hào)占用區(qū)域 */
                || (codePoint >= 0x2100 && codePoint <= 0x214F)// 字母符號(hào)
                || (codePoint >= 0x2300 && codePoint <= 0x23FF)// 各種技術(shù)符號(hào)
                || (codePoint >= 0x2B00 && codePoint <= 0x2BFF)// 箭頭A
                || (codePoint >= 0x2900 && codePoint <= 0x297F)// 箭頭B
                || (codePoint >= 0x3200 && codePoint <= 0x32FF)// 中文符號(hào)
                || (codePoint >= 0xD800 && codePoint <= 0xDFFF)// 高低位替代符保留區(qū)域
                || (codePoint >= 0xE000 && codePoint <= 0xF8FF)// 私有保留區(qū)域
                || (codePoint >= 0xFE00 && codePoint <= 0xFE0F)// 變異選擇器
                || codePoint >= 0x10000; // Plane在第二平面以上的,char都不可以存,全部都轉(zhuǎn)
    }
}

責(zé)任編輯:武曉燕 來源: 沐雨花飛蝶
相關(guān)推薦

2023-03-07 10:50:42

Linux命令系統(tǒng)

2023-03-01 11:02:12

2010-09-06 09:06:22

CSS

2012-02-13 16:09:40

Java

2022-01-12 10:30:44

Windows 11Windows微軟

2022-11-04 07:57:59

編程編碼編譯器

2021-09-05 07:55:37

前端Emoji 表情

2018-05-21 08:22:14

自編碼器協(xié)同過濾深度學(xué)習(xí)

2022-05-18 10:56:58

Java字符串編碼

2019-01-07 15:42:00

JavaScript前端 編碼

2014-02-20 10:28:28

JavaScriptBase64

2016-08-24 21:24:27

MySQL存儲(chǔ)數(shù)據(jù)庫

2010-12-31 13:44:55

python

2023-02-15 08:10:06

2015-10-12 16:37:39

前端編碼雙向編譯

2021-04-06 10:57:15

ChromeEmoji錯(cuò)誤

2021-10-05 20:12:57

No.jsV8 編碼

2024-07-31 10:22:49

Go語言編碼

2024-04-18 10:26:14

模塊Python

2019-12-23 09:42:19

Linux輸入emoji
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)