如何在MySQL中存儲(chǔ)emoji?
問(wèn)題還原
使用 erlang 存儲(chǔ)一些特殊字符串到 MySQL 的時(shí)候,卻沒(méi)法讀出來(lái)。經(jīng)檢查,這些字符串的二進(jìn)制格式如下:
- <<240,159,152,134,240,159,152,144>>
查看二進(jìn)制的 unicode 是什么?
- 14> unicode:characters_to_list(<<240,159,152,134,240,159,152,144>>).
- [128518,128528]
- 15> erlang:integer_to_list(128518,16).%%查看十六進(jìn)制
- "1F606"
- 16> erlang:integer_to_list(128528,16).
- "1F610"
明顯,1F606 和 1F610 超過(guò)了常見(jiàn) unicode 字符串 0000-FFFF 的表達(dá)范圍。
這里引用資料:http://cenalulu.github.io/linux/character-encoding/
1F606 和 1F610 代表什么?
根據(jù) unicode 官網(wǎng)上的說(shuō)明,這是一種 emoji(表情符號(hào)),具體的展示形式與廠商有關(guān)。
MySQL 上存儲(chǔ)失敗的原因
目前來(lái)說(shuō),多數(shù) MySQL 都是以 utf8 存儲(chǔ),注意 MySQL 的 utf8 和我們所說(shuō)的傳統(tǒng) utf8 有點(diǎn)區(qū)別。MySQL 的 utf8 編碼規(guī)定了最多只能有 3 個(gè)字節(jié),而 emoji 的 unicode 已經(jīng)超過(guò)了 3 個(gè)字節(jié),因此 MySQL 的 utf8 無(wú)法識(shí)別與存儲(chǔ) emoji。
為此可以查閱 MySQL 中關(guān)于 unicode 支持的資料,從中可以得知 MySQL 在 5.5 后開(kāi)始支持 utf8mb4,這種編碼支持 1 ~ 4 個(gè)字節(jié),這種編碼可以表示 emoji。
另外 utf8mb4 向下兼容 utf8。
關(guān)于 unicode 與 utf8 的詳細(xì)介紹,請(qǐng)查看:http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html
解決方案
將 MySQL 中對(duì)應(yīng)的字段改成 utf8mb4 編碼:
- ALTER TABLE t1
- DEFAULT CHARACTER SET utf8mb4,
- MODIFY col1 CHAR(10)
- CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NOT NULL,
- MODIFY col2 CHAR(10)
- CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL;
參考:http://dev.mysql.com/doc/refman/5.5/en/charset-unicode-upgrading.html
將連接庫(kù)的連接編碼改為 utf8mb4,以 erlang 的連接庫(kù) emysql 為例:
- emysql:add_pool(pool,[{size,1},{user,"user"},{password,"password"},{host,"host"},{port,3306},{encoding,utf8mb4}]).
- %%或者
- emysql:add_pool(pool,1,"user","password","host",3306,undefined, utf8mb4).
為了建表方便,可以修改 my.cnf:
- # 服務(wù)器字符集
- [mysql]
- default-character-set=utf8mb4
- [mysqld]
- character-set-server=utf8mb4