眾成翻譯的文章有 tag，用戶可以基于 tag 來快速篩選感興趣的文章，文章也可以依照 tag 關(guān)聯(lián)來進(jìn)行相關(guān)推薦。但是現(xiàn)在眾成翻譯的 tag 是在推薦文章的時(shí)候設(shè)置的，都是英文的，而且人工設(shè)置難免不規(guī)范和不完全。雖然發(fā)布文章后也可以人工編輯，但是我們也不能指望用戶或管理員能夠時(shí)時(shí)刻刻編輯出恰當(dāng)?shù)?tag，所以我們需要用工具來自動(dòng)生成 tag。

在現(xiàn)在開源的分詞工具里面，jieba是一個(gè)功能強(qiáng)大性能優(yōu)越的分詞組件，更幸運(yùn)地是，它有 node 版本。

nodejieba 的安裝和使用十分簡(jiǎn)單：

npm install nodejieba 

var nodejieba = require("nodejieba"); 
var result = nodejieba.cut("帝國(guó)主義要把我們的地瓜分掉"); 
console.log(result); 
//[ '帝國(guó)主義', '要', '把', '我們', '的', '地', '瓜分', '掉' ] 
 
result = nodejieba.cut('土地，俺老孫的金箍棒在哪里？'); 
console.log(result); 
//[ '土地', '，', '俺', '老', '孫', '的', '金箍棒', '在', '哪里', '？' ] 
 
result = nodejieba.cut('大圣，您的金箍棒就棒在特別配您的頭型！'); 
console.log(result);  
//[ '大圣','，','您','的','金箍棒','就','棒','在','特別','配','您','的','頭型','！' ] 

 我們可以載入自己的字典，在字典里給每個(gè)詞分別設(shè)置權(quán)重和詞性：

編輯 user.uft8

地瓜 9999 n 
金箍 9999 n 
棒就棒在 9999 

然后通過 nodejieba.load 加載字典。

var nodejieba = require("nodejieba"); 
 
nodejieba.load({ 
  userDict: './user.utf8', 
}); 
 
var result = nodejieba.cut("帝國(guó)主義要把我們的地瓜分掉"); 
console.log(result); 
//[ '帝國(guó)主義', '要', '把', '我們', '的', '地瓜', '分', '掉' ] 
 
result = nodejieba.cut('土地，俺老孫的金箍棒在哪里？'); 
console.log(result); 
//[ '土地', '，', '俺', '老', '孫', '的', '金箍棒', '在', '哪里', '？' ] 
 
result = nodejieba.cut('大圣，您的金箍棒就棒在特別配您的頭型！'); 
console.log(result);  
//[ '大圣', '，', '您', '的', '金箍', '棒就棒在', '特別', '配', '您', '的', '頭型', '！' ] 

除了分詞以外，我們可以利用 nodejieba 提取關(guān)鍵詞：

const content = ` 
HTTP、HTTP/2與性能優(yōu)化 
 
本文的目的是通過比較告訴大家，為什么應(yīng)該從HTTP遷移到HTTPS，以及為什么應(yīng)該添加到HTTP/2的支持。在比較HTTP和HTTP/2之前，先看看什么是HTTP。 
 
什么是HTTP 
HTTP是在萬維網(wǎng)上通信的一組規(guī)則。HTTP屬于應(yīng)用層協(xié)議，跑在TCP/IP層之上。用戶通過瀏覽器請(qǐng)求網(wǎng)頁(yè)時(shí)，HTTP負(fù)責(zé)處理請(qǐng)求并在Web服務(wù)器與客戶端之間建立連接。 
 
有了HTTP/2，不使用雪碧圖、壓縮、拼接，也可以提升性能。然而，這不代表不應(yīng)該使用這些技術(shù)。不過這已經(jīng)清楚表明了我們從HTTP/1.1移動(dòng)到HTTP/2的必要性。 
`; 
 
const nodejieba = require("nodejieba"); 
 
const result = nodejieba.extract(content, 20); 
 
console.log(result); 

輸出的結(jié)果類似下面這樣：

[ { word: 'HTTP', weight: 140.8704516850025 }, 
  { word: '請(qǐng)求', weight: 14.23018001394 }, 
  { word: '應(yīng)該', weight: 14.052171126120001 }, 
  { word: '萬維網(wǎng)', weight: 12.2912397395 }, 
  { word: 'TCP', weight: 11.739204307083542 }, 
  { word: '1.1', weight: 11.739204307083542 }, 
  { word: 'Web', weight: 11.739204307083542 }, 
  { word: '雪碧圖', weight: 11.739204307083542 }, 
  { word: 'HTTPS', weight: 11.739204307083542 }, 
  { word: 'IP', weight: 11.739204307083542 }, 
  { word: '應(yīng)用層', weight: 11.2616203224 }, 
  { word: '客戶端', weight: 11.1926274509 }, 
  { word: '瀏覽器', weight: 10.8561552143 }, 
  { word: '拼接', weight: 9.85762638414 }, 
  { word: '比較', weight: 9.5435285574 }, 
  { word: '網(wǎng)頁(yè)', weight: 9.53122979951 }, 
  { word: '服務(wù)器', weight: 9.41204128224 }, 
  { word: '使用', weight: 9.03259988558 }, 
  { word: '必要性', weight: 8.81927328699 }, 
  { word: '添加', weight: 8.0484751722 } ] 

我們添加一些新的關(guān)鍵詞到字典里：

性能 
HTTP/2 

輸出結(jié)果如下：

[ { word: 'HTTP', weight: 105.65283876375187 }, 
  { word: 'HTTP/2', weight: 58.69602153541771 }, 
  { word: '請(qǐng)求', weight: 14.23018001394 }, 
  { word: '應(yīng)該', weight: 14.052171126120001 }, 
  { word: '性能', weight: 12.61259281884 }, 
  { word: '萬維網(wǎng)', weight: 12.2912397395 }, 
  { word: 'IP', weight: 11.739204307083542 }, 
  { word: 'HTTPS', weight: 11.739204307083542 }, 
  { word: '1.1', weight: 11.739204307083542 }, 
  { word: 'TCP', weight: 11.739204307083542 }, 
  { word: 'Web', weight: 11.739204307083542 }, 
  { word: '雪碧圖', weight: 11.739204307083542 }, 
  { word: '應(yīng)用層', weight: 11.2616203224 }, 
  { word: '客戶端', weight: 11.1926274509 }, 
  { word: '瀏覽器', weight: 10.8561552143 }, 
  { word: '拼接', weight: 9.85762638414 }, 
  { word: '比較', weight: 9.5435285574 }, 
  { word: '網(wǎng)頁(yè)', weight: 9.53122979951 }, 
  { word: '服務(wù)器', weight: 9.41204128224 }, 
  { word: '使用', weight: 9.03259988558 } ] 

在這個(gè)基礎(chǔ)上，我們采用白名單的方式過濾出一些可以作為 tag 的詞：

const content = ` 
HTTP、HTTP/2與性能優(yōu)化 
 
本文的目的是通過比較告訴大家，為什么應(yīng)該從HTTP遷移到HTTPS，以及為什么應(yīng)該添加到HTTP/2的支持。在比較HTTP和HTTP/2之前，先看看什么是HTTP。 
 
什么是HTTP 
HTTP是在萬維網(wǎng)上通信的一組規(guī)則。HTTP屬于應(yīng)用層協(xié)議，跑在TCP/IP層之上。用戶通過瀏覽器請(qǐng)求網(wǎng)頁(yè)時(shí)，HTTP負(fù)責(zé)處理請(qǐng)求并在Web服務(wù)器與客戶端之間建立連接。 
 
有了HTTP/2，不使用雪碧圖、壓縮、拼接，也可以提升性能。然而，這不代表不應(yīng)該使用這些技術(shù)。不過這已經(jīng)清楚表明了我們從HTTP/1.1移動(dòng)到HTTP/2的必要性。 
`; 
 
const nodejieba = require("nodejieba"); 
 
nodejieba.load({ 
  userDict: './user.utf8', 
}); 
 
const result = nodejieba.extract(content, 20); 
 
const tagList = ['HTTPS', 'HTTP', 'HTTP/2', 'Web', '瀏覽器', '性能']; 
 
console.log(result.filter(item => tagList.indexOf(item.word) >= 0)); 

***得到：

[ { word: 'HTTP', weight: 105.65283876375187 }, 
  { word: 'HTTP/2', weight: 58.69602153541771 }, 
  { word: '性能', weight: 12.61259281884 }, 
  { word: 'HTTPS', weight: 11.739204307083542 }, 
  { word: 'Web', weight: 11.739204307083542 }, 
  { word: '瀏覽器', weight: 10.8561552143 } ] 

這就是我們想要的結(jié)果。

以上就是分詞庫(kù) nodejieba 基本的使用方法，在將來我們可以利用它對(duì)眾成翻譯發(fā)布的譯文自動(dòng)分析添加相應(yīng)的 tag，以為各位譯者和讀者提供更好的用戶體驗(yàn)。