自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

電信網(wǎng)絡(luò)運營事件知識圖譜構(gòu)建

人工智能 算法
中國電信股份有限公司北京研究院的 AI 研發(fā)中心承擔集團和研究院雙重項目研發(fā),重點圍繞網(wǎng)絡(luò)運營領(lǐng)域研發(fā)網(wǎng)絡(luò) AI 算法能力。本文將分享 AI 研發(fā)中心在電信網(wǎng)絡(luò)運營場景下的事件知識圖譜構(gòu)建工作。

一、電信網(wǎng)絡(luò)運營場景

首先向大家介紹下電信網(wǎng)絡(luò)運營的背景:

  • 電信網(wǎng)絡(luò)運營場景介紹
  • 網(wǎng)絡(luò)運營知識來源
  • 基于知識圖譜的智能網(wǎng)絡(luò)運營技術(shù)方案

1、電信網(wǎng)絡(luò)運營場景介紹

圖片

電信網(wǎng)絡(luò)運營主要是處理網(wǎng)絡(luò)的故障和問題,這些故障和問題是記錄在工單中的,其中包含著很多的專業(yè)術(shù)語,同時具有數(shù)據(jù)量大、結(jié)構(gòu)多樣、缺乏規(guī)范等特點。此類數(shù)據(jù)是非常有價值的,需要通過較好的分析和應(yīng)用來體現(xiàn)。以往都是依靠專家經(jīng)驗來處理工單中對應(yīng)的實時發(fā)生的網(wǎng)絡(luò)問題,這種處理方式面臨以下多種問題:

  • 運行工作量逐年增長:比如集團云網(wǎng)運營部維護網(wǎng)元數(shù)同比增加10%,甚至更多;故障單同比增加5%以上。
  • 運維模式陳舊:當前運維模式主要依賴于專家經(jīng)驗和規(guī)則來維護網(wǎng)絡(luò)的穩(wěn)定,自動化流程占比還比較少。
  • 業(yè)務(wù)數(shù)據(jù)利用率低:業(yè)務(wù)中所產(chǎn)生的工單數(shù)據(jù)、案例數(shù)據(jù)以及專家手冊等還沒有得到很好的利用,缺乏結(jié)構(gòu)化的知識沉淀。
  • 智能化程度低:當前結(jié)構(gòu)化數(shù)據(jù)資源匱乏,深度學習技術(shù)還未較好利用,無法提供足夠的智能化應(yīng)用。

圖片

針對上述問題,AI 研發(fā)中心希望基于知識圖譜來探索輔助電信網(wǎng)絡(luò)運營、提高運維效率的途徑。知識圖譜的關(guān)系表達能力強,基于圖的方式可以處理多樣的關(guān)聯(lián)分析,在一定程度上能夠像人類一樣進行知識推理,而且相較于傳統(tǒng)的存儲方式,在查詢時具有更高的結(jié)果反饋速度。

此外圖數(shù)據(jù)庫呈現(xiàn)數(shù)據(jù)的方式更加直觀、靈活,具備高性能的深度關(guān)系查詢、分析、推理能力。在網(wǎng)絡(luò)領(lǐng)域可以支持完成網(wǎng)絡(luò)安全、網(wǎng)絡(luò)優(yōu)化、故障診斷、智能問答等智能化應(yīng)用。

2、網(wǎng)絡(luò)運營知識來源

圖片

這部分介紹網(wǎng)絡(luò)運營知識的一些數(shù)據(jù)特點,表中列出的是能夠從業(yè)務(wù)中獲取到的數(shù)據(jù)。比如對于工單來講,在判斷所發(fā)生的網(wǎng)絡(luò)故障問題之后,會進行相應(yīng)的告警,同時會派出網(wǎng)絡(luò)運維工單,之后運維工人再根據(jù)運維工單跟進處理,這一故障解決的過程都會記錄在原始的故障問題工單中。其中包含的大部分數(shù)據(jù)其實是屬于半結(jié)構(gòu)化的數(shù)據(jù),反饋不分則主要是大量的非機構(gòu)化文本。工單數(shù)據(jù)的優(yōu)點是數(shù)據(jù)量大、來源穩(wěn)定;缺點是工人在問題分析和處理過程中可能會因為著急處理問題而簡化記錄和反饋的內(nèi)容,導(dǎo)致信息的缺失。

此外還有一部分是案例數(shù)據(jù)。這部分數(shù)據(jù)是專家、運維人員在處理大量的網(wǎng)絡(luò)故障問題過程中所積累的經(jīng)驗,寫成案例文檔幫助解決后續(xù)再遇到的類似問題。案例數(shù)據(jù)雖然記錄全面,包含了故障問題發(fā)現(xiàn)、分析、處理的全過程,但是案例數(shù)據(jù)量比較少,而且不同的專家有自己的文檔撰寫風格,導(dǎo)致案例數(shù)據(jù)有很多種樣式,來源也不穩(wěn)定。

第三種是業(yè)務(wù)規(guī)則數(shù)據(jù),主要是運維人員在實際處理網(wǎng)絡(luò)故障問題時所編寫和使用的業(yè)務(wù)規(guī)則邏輯。這些業(yè)務(wù)邏輯規(guī)則在實際使用中非常有效,是很重要的知識信息,但是同樣具有格式多樣、來源不一等問題,實際使用時可能是從多個不同的系統(tǒng)中導(dǎo)出的,需要有專家解讀才能準確理解所表達的含義。

最后一種是專家經(jīng)驗,是沉淀在專家腦海中的專業(yè)性強、價值較高的實際處置經(jīng)驗。需要通過與專家溝通、言傳身教才能夠體系地了解這部分內(nèi)容。由于主要依賴于專家的撰寫輸出,所以時效性也是比較低的。

3、基于知識圖譜的智能網(wǎng)絡(luò)運營技術(shù)方案

圖片

基于上面所總結(jié)的不同種類數(shù)據(jù)特點,通過對案例數(shù)據(jù)、工單數(shù)據(jù)、運維手冊等進行多元異構(gòu)數(shù)據(jù)的知識抽取,構(gòu)建網(wǎng)路運營結(jié)構(gòu)化知識庫。基于構(gòu)建的知識庫來打造檢索平臺、推理平臺,進而實現(xiàn)業(yè)務(wù)場景下的網(wǎng)絡(luò)故障知識檢索、處置措施智能決策等應(yīng)用。面向現(xiàn)場運維人員構(gòu)建一個數(shù)據(jù)加知識驅(qū)動的智能運維體系。圖中是該系統(tǒng)的基礎(chǔ)技術(shù)架構(gòu)。

二、網(wǎng)絡(luò)運營事件知識圖譜構(gòu)建

第二部分主要介紹網(wǎng)絡(luò)運營事件知識圖譜的構(gòu)建過程,包括:

  • 網(wǎng)絡(luò)運營事件知識圖譜構(gòu)建流程
  • 網(wǎng)絡(luò)運營事件知識圖譜本體構(gòu)建
  • 網(wǎng)絡(luò)運營事件知識圖譜知識抽取
  • 網(wǎng)絡(luò)運營事件知識圖譜構(gòu)建結(jié)果

1、網(wǎng)絡(luò)運營事件知識圖譜構(gòu)建流程

圖片

知識圖譜構(gòu)建的流程大家都比較熟悉。首先是要進行本體構(gòu)建,該部分由于需要對業(yè)務(wù)的理解非常強,所以主要依賴于專家協(xié)作完成。在知識抽取部分借鑒了業(yè)界效果比較好的 UIE 模型來進行實體抽取和屬性抽取,而關(guān)系抽取則是不太需要的,因為在進行本體構(gòu)建的過程中已經(jīng)把關(guān)系的映射方式固定下來了,主要關(guān)心原因、故障、解決方案等內(nèi)容及其之間的固定關(guān)系。在知識融合部分則主要是基于專業(yè)詞匯的消歧來實現(xiàn)實體層面的消歧。在以上過程中得到的結(jié)構(gòu)化數(shù)據(jù)主要是存儲在Neo4j圖數(shù)據(jù)庫中。以上是網(wǎng)絡(luò)運營事件知識圖譜的整體構(gòu)建流程,下面的部分會再進行詳細的介紹。

2、網(wǎng)絡(luò)運營事件知識圖譜本體構(gòu)建 

圖片

左邊圖是針對工單數(shù)據(jù)定義了本體的構(gòu)建。工單記錄了真實發(fā)生的網(wǎng)絡(luò)運營事件,包含工單號、業(yè)務(wù)分級、大類小類、業(yè)務(wù)類別等信息,同時也重點提取了故障原因、故障處置方法、處置結(jié)果等內(nèi)容,在處置過程所發(fā)生的交互也會被記錄下來,在交互的過程中抽取一系列的處置動作,將處理的處置事件關(guān)聯(lián)起來。

比如最開始進行了指標原因的排查分析,然后去查看設(shè)備的狀態(tài)以及業(yè)務(wù)的指標,檢查完一系列內(nèi)容之后去進行相關(guān)的操作,如果所面對的疑難是比較耗時的或者由于自然災(zāi)害、需要更換設(shè)備等不可抗因素需要長時間等待的,運維人員就可以申請掛起來避免超出時效,這是一個比較重要的網(wǎng)絡(luò)運營事件。另外告警信息也比較重要,因為告警信息詳細記錄了發(fā)生的故障,包含告警名稱、設(shè)備號、網(wǎng)聯(lián)號、網(wǎng)聯(lián)相關(guān)地址、機房和類別。

案例的本體構(gòu)建主要利用經(jīng)驗總結(jié)數(shù)據(jù)。數(shù)據(jù)中包含基本的關(guān)聯(lián)設(shè)備、關(guān)聯(lián)工單、所屬網(wǎng)絡(luò)層等信息,重點是需要抽取其中的故障發(fā)生現(xiàn)象、故障原因、故障處置方式、處置效果信息,這個處置過程會記錄的特別詳細,分析過程也會比較清楚,所以應(yīng)用價值也是比工單數(shù)據(jù)要高的。

3、網(wǎng)絡(luò)運營事件知識圖譜知識抽取

圖片

這部分會跟大家介紹在做知識抽取時所進行的操作步驟。首先會用標注工具對工單數(shù)據(jù)進行實體信息的標注,因為主要使用的是 UIE 模型,所以需要的標注數(shù)據(jù)量并不大,不會像之前使用 BERT 模型等需要大量的標注數(shù)據(jù),進行大概1000份左右的工單數(shù)據(jù)標注就能夠滿足要求;標注時主要針對故障原因、解決方案、網(wǎng)聯(lián)告警設(shè)備、地址、時間等信息。

在進行數(shù)據(jù)標注之后,第二步則是基于 UIE 強大的統(tǒng)一抽取模型基座去訓練抽取模型,再用訓練好的抽取模型來進行結(jié)果抽取和抽取結(jié)果校驗。最后設(shè)置不同的 prompt 策略,用 UIE 進行事件抽取,事件主要是故障分析解決、設(shè)備處置狀態(tài)等。

以上則是進行知識抽取時的主要步驟,下面會再詳細介紹其中的事件抽取任務(wù)。

圖片

事件抽取任務(wù)主要是檢測文本中一個事件的存在,并將事件結(jié)構(gòu)、事件內(nèi)容以結(jié)構(gòu)化的形式輸出。比如將工單中的一個完整告警處置過程理解為以下事件:出現(xiàn)、處理過程、是否有掛起。針對出現(xiàn)事件主要會有指標異常、設(shè)備故障、網(wǎng)元鏈路異常等。對于不同的事件,對應(yīng)的參數(shù)角色等也不相同,比如指標異常會有一些指標的告警值、期限值等信息;網(wǎng)元鏈路異常則主要會關(guān)注告警部位、告警單元、異?,F(xiàn)象信息。

在處理過程中會有加派工位、回單確認、告警恢復(fù)確認、設(shè)備維護以及其他相關(guān)設(shè)備指標排查和問題分析:

  • 加派工位是指當前的網(wǎng)絡(luò)故障問題需要增加運維人員或者派給更專業(yè)的運維人員來進行處置,需要確定派給誰、預(yù)計需要多長時間。
  • 回單確認是指運維人員完成處置過程之后給一個回單的確認。
  • 告警恢復(fù)確認是指進行相關(guān)操作接觸告警之后,需要給出的告警恢復(fù)的確認反饋信息,比如確認單位、是否影響業(yè)務(wù)、恢復(fù)時長、時間戳等信息。
  • 設(shè)備維護主要是指故障設(shè)備、故障點位、操作類型、時間記錄等,操作類型比如有更換板卡、割接或者升級等。

最后針對掛起事件,掛起主要是因為一些疑難的網(wǎng)絡(luò)故障需要較長時間去處置。在掛起事件中需要填寫掛起的原因、掛起的時長,跟進故障事件以便快速解決;其次還有觀察階段,主要是在故障處理完并且告警恢復(fù)之后進行一段時間的觀察,如果一段時間內(nèi)沒有再出現(xiàn)同樣的問題就表明問題已經(jīng)解決了。觀察之后還有調(diào)測的步驟,調(diào)測是在問題解決之后調(diào)測一些相關(guān)的電路,驗證確保相關(guān)的業(yè)務(wù)也已經(jīng)恢復(fù)。

4、網(wǎng)絡(luò)運營事件知識圖譜構(gòu)建結(jié)果 

圖片

事件知識圖譜構(gòu)建整體上主要是將原始工單、案例等非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)整理成實體-關(guān)系結(jié)構(gòu)化數(shù)據(jù),使得信息利用更加高效、方便。其次結(jié)構(gòu)化的運維知識庫可以將告警、工單、案例等信息進行關(guān)聯(lián),只要說的是同樣的網(wǎng)絡(luò)故障,那么就能夠?qū)⑺邢嚓P(guān)的知識都獲取到,可以更全面地了解相關(guān)問題如何處置,以便給出更精準的問題處理建議。

數(shù)據(jù)庫存儲方面選擇的是 Neo4j 圖數(shù)據(jù)庫,在數(shù)據(jù)量級上不及互聯(lián)網(wǎng)大廠的知識圖譜,主要是在電信網(wǎng)絡(luò)運營領(lǐng)域內(nèi)的知識庫。構(gòu)建的道德知識庫主要應(yīng)用于運維知識檢索、運維知識管理,比如針對工單案例的專業(yè)知識問答、針對專業(yè)名詞的知識檢索,在知識抽取的應(yīng)用上主要是進行圖譜實體關(guān)系的抽取、關(guān)系列表的管理等操作。

三、網(wǎng)絡(luò)運營知識圖譜應(yīng)用

接下來介紹如何將已經(jīng)構(gòu)建好的事件知識圖譜應(yīng)用于網(wǎng)絡(luò)運營場景中去,主要包括以下應(yīng)用:

  • 智行云網(wǎng)大腦知識庫平臺
  • 智行云網(wǎng)大腦智能助手
  • 網(wǎng)絡(luò)運維工單處置動態(tài)推薦

1、智行云網(wǎng)大腦知識庫平臺

圖片

基于工單和案例數(shù)據(jù)構(gòu)建的知識圖譜,打造智行云網(wǎng)大腦知識庫平臺,通過這個平臺可以對工單、案例進行高效的圖譜式智能檢索,也支持運維知識的高效快速查找、知識關(guān)聯(lián)、案例查重以及輔助案例撰寫和修改。右側(cè)是已經(jīng)在集團內(nèi)上線的智行云網(wǎng)大腦知識庫平臺。在系統(tǒng)圖中可以看到主要有工單、案例、專業(yè)詞匯輔助撰寫以及問答等功能,下面的結(jié)構(gòu)圖中也詳細列出了系統(tǒng)中所具備的功能模塊。

2、智行云網(wǎng)大腦智能助手

圖片

第二部分的應(yīng)用是在智行云網(wǎng)大腦上建設(shè)智能運維助手。早在2022年時就已經(jīng)在業(yè)務(wù)流程中設(shè)置了數(shù)字工位,這個數(shù)字工位不包括前端機器人形象的展現(xiàn),他可以針對用戶交互過程中出現(xiàn)的問題給出相應(yīng)的回答和指導(dǎo)推薦。后續(xù)基于運維知識庫,采用自然語言處理相關(guān)技術(shù)來進行工單案例的推薦,打造具有豐富運維知識的智能助手,助力集團和公司解決運維過程中的繁雜工作。在實際應(yīng)用中智能運維助手不會影響原本的線網(wǎng)系統(tǒng)的內(nèi)容,是一個比較輕量好用的工具。

此外專家們也可以利用智行云網(wǎng)知識庫查詢歷史網(wǎng)絡(luò)運維過程中發(fā)生的故障數(shù)量、故障原因種類數(shù)、每類故障對應(yīng)的解決方案以及實際處理過程中的問題解決方案、最終的處理效果等。除了查詢功能,還能夠幫助專家進行知識沉淀,輔助專家撰寫相關(guān)案例,極大地提升了工作效率。通過建設(shè)知識+AI的智能交互運維助手,提升了網(wǎng)絡(luò)運維中故障問題處置的自動化率。

3、網(wǎng)絡(luò)運維工單處置動態(tài)推薦 

圖片

第三部分應(yīng)用時在網(wǎng)絡(luò)運維工單處置過程中的動態(tài)推薦。處置過程主要是工單的流轉(zhuǎn),針對圖中的故障工單,通過自動抽取故障描述、故障類別等故障實體,以及其他相關(guān)告警描述信息,來實現(xiàn)故障的精準定位,并通過故障知識圖譜檢索來得到知識庫中的相似故障或者是相似的故障原因,基于這些歷史信息推薦相關(guān)的解決方案。在此過程中,隨著讀取到的工單信息越來越多,故障定位也會越來越準確,新的相關(guān)信息也會進行更新并加入到檢索判斷條件中重新生成推薦結(jié)果,通過動態(tài)更新推薦結(jié)果來賦能一線人員,精準指導(dǎo)運維人員進行相關(guān)的業(yè)務(wù)操作。

圖中展示的是上述過程的邏輯結(jié)構(gòu)。最上邊是在讀的工單,會有工單號、故障類別、告警描述以及故障描述等信息。通過這些信息從歷史圖數(shù)據(jù)庫中進行檢索,比如找到70.5%概率是因為單板狀態(tài)故障導(dǎo)致的問題,針對這個原因的解決方案有復(fù)位修復(fù)和更換設(shè)備,比如先嘗試復(fù)位修復(fù),若復(fù)位修復(fù)不成功說明設(shè)備老化或者損壞了,則再通過更換相關(guān)的設(shè)備來進行維修。此外當前的故障也有15.5%的概率是有升級操作時調(diào)測造成的,這種情況下是在正常業(yè)務(wù)操作過程中出現(xiàn)的告警信息,是可以申請進行屏蔽的,不需要進行相關(guān)的處置?;谝陨狭鞒虒崿F(xiàn)了故障處置過程中的準確指導(dǎo)。

四、展望

圖片

最后一部分內(nèi)容是因為受到 ChatGPT 的沖擊所帶來的展望思考。首先針對知識圖譜構(gòu)建過程中的知識生產(chǎn)環(huán)節(jié),在 ChatGPT 的輔助下可以進一步地簡化,比如將專業(yè)的非結(jié)構(gòu)化數(shù)據(jù)給到 ChatGPT,實現(xiàn)零樣本或者100以內(nèi)數(shù)據(jù)標注情況下的專業(yè)抽取結(jié)果,甚至能夠自動完成領(lǐng)域知識的融合。

第二點是將已積累建設(shè)的知識圖譜加入到 ChatGPT 模型中,作為垂直領(lǐng)域的知識補充。在運維交互過程中可以使得智能助手的水平更上一層,針對業(yè)務(wù)人員使用過程中的反饋還可以對模型進行迭代更新,實現(xiàn)知識自動迭代升級的閉環(huán)。

第三點主要是 ChatGPT 在助力網(wǎng)絡(luò)運維智能化的過程中所體現(xiàn)的智能化、自動化處置進一步減輕了運維的工作量,讓運維人員只關(guān)注其中20%的工作,比如設(shè)計類型的工作或者是針對系統(tǒng)本身的一些思考性工作。

以上是基于已有歷史工作所做的一些思考,給大家提供一些相關(guān)的思路,希望大家能夠發(fā)揮更多的想象力在這些方向進行嘗試和努力。我們對通信領(lǐng)域的模型合作比較感興趣,希望將模型應(yīng)用到網(wǎng)絡(luò)運營過程中,在業(yè)務(wù)過程中帶來效率的提升以及識別的準確率,減少運維人員的工作量。

五、Q&A

Q1:在有了大模型之后,智行云網(wǎng)大腦智能助手通過知識圖譜的方式構(gòu)建還合適嗎?因為KBQA或者FAQ的問答方式在大模型背景下可能會受到降維打擊。

A1:這一部分需要通過實踐來進行探索,不太好說大模型能不能完全替代KBQA。但是對于我們網(wǎng)絡(luò)運維場景,維護網(wǎng)絡(luò)時知識的準確性以及好的交互效果相對來說更重要一些,所以前期還是會依賴于解釋起來更直觀的知識圖譜的形式,這種形式在我們的實際應(yīng)用落地中占有更多的優(yōu)勢。

在大模型這方面我們也會積極地進行相關(guān)的實踐,主要是利用大模型來快速地幫助我們構(gòu)建可視化的知識圖譜,提供知識支撐來輔助解決運維故障問題。我們也就大模型問題與一線業(yè)務(wù)人員進行過溝通,業(yè)務(wù)人員覺得大模型不能夠像知識圖譜那樣對于推薦的解決方案給出合理的解釋,不足以對于推薦的結(jié)論給出有力的依據(jù),這會導(dǎo)致信任問題,所以大模型的實際應(yīng)用落地仍需要進一步的探索。

Q2:電信網(wǎng)絡(luò)運營事件知識圖譜的本體是如何構(gòu)建的呢?

A2:本體部分的構(gòu)建主要是基于對業(yè)務(wù)的理解。我們的數(shù)據(jù)源是工單這種格式,相當于是表單,表單中會記錄相關(guān)的業(yè)務(wù)設(shè)備、發(fā)生的故障、故障時間等一系列的信息,我們從中總結(jié)出一套結(jié)構(gòu)來形成本體部分的內(nèi)容。

在這個結(jié)構(gòu)中會有比較詳細的業(yè)務(wù)內(nèi)容。比如首先會有工單號作為唯一標識來關(guān)聯(lián)相關(guān)的知識,根據(jù)工單號可以關(guān)聯(lián)到故障、告警信息、故障原因、問題解決方案,此外工單號也可以與處理該問題的人員關(guān)聯(lián)起來,記錄其處置方式和記錄反饋。針對業(yè)務(wù)本身,也會有分級體系,其中包含著不同的大類和小類,以及其他業(yè)務(wù)方面的分析。

責任編輯:姜華 來源: DataFunTalk
相關(guān)推薦

2019-05-07 10:01:49

Redis軟件開發(fā)

2024-10-08 10:37:12

語言數(shù)據(jù)自然語言

2022-08-11 14:11:14

知識圖譜人工智能

2017-03-06 16:48:56

知識圖譜構(gòu)建存儲

2021-01-19 10:52:15

知識圖譜

2025-04-27 00:10:00

AI人工智能知識圖譜

2023-04-26 06:22:45

NLPPython知識圖譜

2021-01-25 10:36:32

知識圖譜人工智能

2024-06-03 07:28:43

2012-08-22 14:32:01

2021-01-18 10:42:36

深度學習知識圖譜

2020-11-13 15:38:12

深度學習編程人工智能

2023-09-08 07:45:32

2021-01-18 10:50:29

知識圖譜人工智能深度學習

2017-04-13 11:48:05

NLP知識圖譜

2017-05-04 13:18:18

深度學習知識圖譜

2021-02-01 22:41:05

語義網(wǎng)知識圖譜

2021-04-12 11:47:21

人工智能知識圖譜

2023-06-29 07:27:26

知識圖譜Shopee
點贊
收藏

51CTO技術(shù)棧公眾號