阿里知識圖譜首次曝光:每天千萬級攔截量,億級別全量智能審核
借助阿里知識圖譜的建設,阿里電商平臺管控從過去的“巡檢”模式升級為發(fā)布端實時逐一檢查。在海量的商品發(fā)布量的挑戰(zhàn)下,最大可能地借助大數(shù)據(jù)、人工智能阻止壞人、問題商品進入阿里生態(tài)。同時面臨問題商家實時的對弈、變異和惡意攻擊等諸多挑戰(zhàn),知識圖譜仍然保持著每天千萬級別的攔截量,億級別的全量智能審核次數(shù),在濫發(fā)、侵權、合規(guī)、假貨、經(jīng)營范圍等多個場景全面與問題賣家正面交鋒,實時對弈。為了最大限度地保護知識產(chǎn)權,保護消費者權益,我們對知識圖譜推理引擎技術提出了智能化、自學習、毫秒級響應、可解釋等更高地技術要求,實現(xiàn)良好的社會效益。
阿里知識圖譜運用
阿里巴巴生態(tài)里積累了海量的商品數(shù)據(jù),這些寶貴的商品數(shù)據(jù)來自于淘寶、天貓、1688、AliExpress等多個市場,同時品牌商、行業(yè)運營、治理運營、消費者、國家機構、物流商等多種角色參與其中,貢獻著校正著這樣一個龐大的商品庫。無論是知識產(chǎn)權保護,還是提升消費者購物體驗,實現(xiàn)商品數(shù)據(jù)的標準化(商品規(guī)范的統(tǒng)一和商品信息的確定性), 以及與內(nèi)外部數(shù)據(jù)之間的深度互聯(lián),意義都非常重大,阿里商品知識圖譜承載著商品標準化這一基礎性,根源性的工作。 基于此,我們才能知道哪些商品是同樣一件產(chǎn)品,我們才能確切地知道一個品牌是否被授權,品牌下的產(chǎn)品賣到了哪些市場。
阿里知識圖譜以商品、標準產(chǎn)品、 標準品牌、 標準條碼、標準分類為核心, 利用實體識別、實體鏈指和語義分析技術,整合關聯(lián)了例如輿情、百科、國家行業(yè)標準等9大類一級本體,包含了百億級別的三元組,形成了巨大的知識網(wǎng)。
阿里知識圖譜綜合利用前沿的NLP、語義推理和深度學習等技術,打造全網(wǎng)商品智能服務體系,服務阿里生態(tài)中的各個角色。商品知識圖譜廣泛地應用于搜索、前端導購、平臺治理、智能問答、品牌商運營等核心、創(chuàng)新業(yè)務。能夠幫助品牌商透視全局數(shù)據(jù),幫助平臺治理運營發(fā)現(xiàn)問題商品,幫助行業(yè)基于確定的信息選品,做人貨場匹配提高消費者購物體驗等等。為新零售、國際化提供可靠的智能引擎。
引入機器學習算法搭建推理引擎
我們設計了一套框架來實現(xiàn)知識表示和推理。此外:知識圖譜實體、關系、詞林(同義詞、上下位詞)、垂直知識圖譜(例如地理位置圖譜、材質(zhì)圖譜)、機器學習算法模型等都納入進來做統(tǒng)一的描述。
按照不同場景,我們把推理分為:上下位和等價推理;不一致性推理;知識發(fā)現(xiàn)推理;本體概念推理等。例如
1. 上下位和等價推理。檢索父類時,通過上下位推理把子類的對象召回,同時利用等價推理(實體的同義詞、變異詞、同款模型等),擴大召回。 例如,為保護消費者我們需要攔截 “產(chǎn)地為某核污染區(qū)域的食品”,推理引擎翻譯為 “找到產(chǎn)地為該區(qū)域,且屬性項與“產(chǎn)地”同義,屬性值是該區(qū)域下位實體的食品,以及與命中的食品是同款的食品”。
2. 不一致推理。在與問題賣家對弈過程中,我們需要對商品標題、屬性、圖片、商品資質(zhì)、賣家資質(zhì)中的品牌、材質(zhì)、成分等基礎信息,做一致性校驗。比如說標題中的品牌是Nike而屬性或者吊牌中品牌是Nake,如下圖所示,左邊描述了商品標題、屬性、吊牌上的品牌信息是一致的,推理為一致。右邊為吊牌和商品品牌不一致的商品,被推理引擎判斷為有問題的商品。
3. 知識發(fā)現(xiàn)推理。一致性推理的目的是確保信息的確定性,例如通過一致性推理我們能確保數(shù)據(jù)覆蓋到的食品配料表正確。但消費者購物時很少看配料表那些繁雜的數(shù)字。消費者真正關心的是無糖、無鹽等強感知的知識點。為了提高消費者購物體驗,知識發(fā)現(xiàn)推理通過底層配料表數(shù)據(jù)和國家行業(yè)標準例如:
無糖:碳水化合物≤ 0.5 g /100 g(固體)或100 mL(液體)
無鹽:鈉≤5mg /100 g 或100 mL
我們可以把配料表數(shù)據(jù)轉(zhuǎn)化為“無糖”“無鹽”等知識點。從而真正地把數(shù)據(jù)變成了知識。通過AB test驗證,類似知識點在前端導購中極大地改善了消費者購物體驗。
推理引擎背后技術框架
首先,推理引擎把自然語言通過語義解析(semantic parsing)轉(zhuǎn)換為邏輯表達式(logical form)。語義解析采用了結合神經(jīng)網(wǎng)絡和符號邏輯執(zhí)行的方式:自然語言經(jīng)過句法、語法分析、 NER、 Entity Linking, 被編碼為分布式表示(distributed representation),句子的分布式表示被進一步轉(zhuǎn)義為邏輯表達式。
在分布式表示轉(zhuǎn)換為邏輯表達式的過程中,我們首先面臨表示和謂詞邏輯(predicate)操作之間映射的問題。我們把謂詞當做動作,通過訓練執(zhí)行symbolicoperation,類似neural programmer中利用attention機制選擇合適的操作,即選擇最有可能的謂詞操作,最后根據(jù)分析的句法等把謂詞操作拼接為可能的邏輯表達式,再把邏輯表達式轉(zhuǎn)換為查詢等。過程示意如下圖所示。
其次,邏輯表達式會觸發(fā)后續(xù)的邏輯推理和圖推理。邏輯表達式在設計過程中遵循以下幾個原則:邏輯表達式接近人的自然語言,同時便于機器和人的理解。表達能力滿足知識圖譜數(shù)據(jù)、知識表示的要求。應該易于擴展,能夠非常方便的增加新的類、實體和關系,能夠支持多種邏輯語言和體系,如Datalog、OWL等,即這些語言及其背后的算法模塊是可插拔的,通過可插拔的功能,推理引擎有能力描述不同的邏輯體系。
以上下位和等價推理為例:“產(chǎn)地為中國的食品”,”
用邏輯表達式描述為:
∀x: 食物(x) ⊓ (∀ y: 同義詞(y,產(chǎn)地)) (x, (∀ z: 包括下位實體(中國, z)))
隨后找同款:
∀t, x: ($ c:屬于產(chǎn)品(x, c) ⊓屬于產(chǎn)品(t, c))
此外,推理引擎還用于知識庫自動補全。我們基于embedding做知識庫補全。主要思路是把知識庫中的結構信息等加入embedding,考慮了Trans系列的特征,還包括邊、相鄰點、路徑、實體的文本描述 (如詳情)、圖片等特征,用于新關系的預測和補全。
阿里知識圖譜經(jīng)過我們?nèi)甑慕ㄔO,已經(jīng)形成了巨大的知識圖譜和海量的標準數(shù)據(jù),同時與浙江大學陳華鈞教授團隊成立聯(lián)合項目組,引入了前沿的自然語言處理、知識表示和邏輯推理技術,在阿里巴巴新零售、國際化戰(zhàn)略下發(fā)揮著越來越重要的作用。
【本文為51CTO專欄作者“阿里巴巴官方技術”原創(chuàng)稿件,轉(zhuǎn)載請聯(lián)系原作者】