社交媒體帖子是熱門且有價值的信息的來源。雖然大多數(shù)人使用社交媒體討論貓、狗、名人以及孩子相關(guān)話題，但也有一些帖子呼吁暴力、討論網(wǎng)絡(luò)安全攻擊和宣布突發(fā)新聞。但在不斷增長的內(nèi)容堆中手動發(fā)現(xiàn)此類帖子或異常幾乎是不可能的。

在本文中，我們將討論借助人工智能 (AI) 算法和 Python 工具構(gòu)建此類解決方案的關(guān)鍵組件。本文對于計劃開發(fā)社交媒體異常檢測解決方案的項目經(jīng)理、AI 團(tuán)隊和 SaaS 開發(fā)團(tuán)隊非常有用。

為什么要檢測社交媒體上的異常情況？人工智能如何提供幫助？

在 IT 系統(tǒng)中，異常是指偏離預(yù)期的事件或數(shù)據(jù)記錄。在社交媒體背景下，異常檢測有助于分析事件、趨勢或個性，并捕捉個人和群體行為的有意義的變化。非典型用戶行為、熱門新話題和仇恨言論都可以被視為異常。 

以前，此類工作是手動完成的。例如，警察可以監(jiān)控社交網(wǎng)絡(luò)上的當(dāng)?shù)厝后w以發(fā)現(xiàn)威脅，記者可以在社交媒體上尋找新的故事和討論主題。

現(xiàn)在，人工智能驅(qū)動的技術(shù)使組織能夠自動化這些活動。使用機(jī)器學(xué)習(xí) (ML) 和人工智能算法來檢測異常更加有效，原因如下：

如何使用 Python 工具構(gòu)建人工智能驅(qū)動的 SaaS 平臺（上）

盡管有這些好處，基于人工智能的異常檢測無法取代分析異常并根據(jù)該分析做出決策的專家。這樣的解決方案只能節(jié)省數(shù)據(jù)收集和初步分析的時間。

誰可以從社交媒體異常檢測解決方案中受益？

社交網(wǎng)絡(luò)不再只是與朋友交談的地方。人們用它們來開展業(yè)務(wù)、閱讀和發(fā)布新聞，甚至計劃事件和活動。這就是為什么許多組織需要監(jiān)控社交網(wǎng)絡(luò)以發(fā)現(xiàn)不同類型的異常情況。 

社交媒體上基于人工智能的異常檢測對于在各個行業(yè)運(yùn)營的組織非常有用：

如何使用 Python 工具構(gòu)建人工智能驅(qū)動的 SaaS 平臺（上）

社交網(wǎng)絡(luò)。任何社交網(wǎng)絡(luò)都必須能夠檢測和阻止仇恨言論、虛假新聞、冒充和機(jī)器人攻擊等事件。社交網(wǎng)絡(luò)開發(fā)人員可以依靠支持員工和用戶報告來檢測此類威脅，但這需要大量時間和金錢。相反，他們可以實施基于人工智能的異常檢測，以確保為用戶提供舒適的環(huán)境。

公共行政。防止對人民的威脅是任何政府的主要目標(biāo)之一。監(jiān)控社交媒體上的文本和視頻使政府組織能夠發(fā)現(xiàn)違反公共秩序、身體虐待、對國家安全的威脅以及其他類型的潛在非法活動。它對于揭露發(fā)生在公眾視野之外的事件（例如家庭暴力和非法交易）特別有用。

軍事。國家和國際軍事組織監(jiān)控社交媒體以發(fā)現(xiàn)潛在的軍事威脅并收集情報。社交媒體上的異常對于開源情報 (OSINT)操作也很重要，因為它們可能表明信息泄露、隱藏的用戶個人資料、未經(jīng)宣布的軍事行動等。

網(wǎng)絡(luò)安全。對于網(wǎng)絡(luò)安全專家來說，與安全相關(guān)的社交媒體中的異常可能是潛在惡意活動的跡象。它們可以揭示黑客企圖、內(nèi)部攻擊、數(shù)據(jù)泄露等的準(zhǔn)備情況。此類數(shù)據(jù)有助于防止安全威脅并改善組織的整體網(wǎng)絡(luò)安全狀況。

教育。學(xué)生的人身安全是教育組織日益關(guān)注的問題。通過社交媒體監(jiān)控和異常檢測，學(xué)校和大學(xué)可以隨時了解校園內(nèi)的討論以及來自外部的可能威脅。 

新聞媒體。監(jiān)控社交媒體上的帖子是任何記者日常工作的重要組成部分。記者尋找新聞、專家意見和新趨勢，從數(shù)據(jù)分析的角度來看，這些都是異?，F(xiàn)象。為這項任務(wù)應(yīng)用專用的異常檢測解決方案可以為新聞媒體組織的員工節(jié)省大量時間，并使他們能夠更快地發(fā)布新聞。

如此廣泛的用例意味著不可能有一種一刀切的社交媒體異常檢測解決方案。您可以使用各種開發(fā)方法和工具來構(gòu)建適合您確切需求的解決方案。

Python為開發(fā)人員提供了大量的AI開發(fā)工具和廣泛的集成選項。這種語言有幾個專用于人工智能開發(fā)的包和大量庫。使用它們可以大大減少開發(fā)時間，因為在大多數(shù)情況下，您不需要發(fā)明自己的解決方案。如果您這樣做，您可以從詳細(xì)的 Python 文檔和強(qiáng)大的社區(qū)獲得幫助。

在云中部署異常檢測解決方案可讓您受益于所有 SaaS 優(yōu)勢：24/7 可用性、通過互聯(lián)網(wǎng)連接從任何位置和設(shè)備進(jìn)行訪問、經(jīng)濟(jì)高效的資源使用等等。如果考慮到人工智能發(fā)展的蓬勃發(fā)展可能導(dǎo)致GPU 短缺，訪問云硬件也很方便。

讓我們看一下可以幫助您檢測社交媒體上的異常情況的關(guān)鍵非人工智能功能。

哪些 SaaS 功能對于異常檢測很重要？

讓我們仔細(xì)看看設(shè)計異常檢測系統(tǒng)時需要注意的核心功能：

如何使用 Python 工具構(gòu)建人工智能驅(qū)動的 SaaS 平臺（上）

存儲和數(shù)據(jù)庫。異常檢測解決方案收集、處理和生成大量數(shù)據(jù)。您可以使用Amazon S3或Google Cloud Storage等云服務(wù)來存儲這些數(shù)據(jù)。對于數(shù)據(jù)庫，請考慮使用Apache Cassandra或MongoDB，因為它們都可以有效管理大量通用數(shù)據(jù)，并且可以在重負(fù)載下快速工作。  

網(wǎng)絡(luò)爬蟲。這部分解決方案必須搜索社交媒體并下載數(shù)據(jù)供人工智能分析。您可以配置爬蟲下載的數(shù)據(jù)類型。根據(jù)您項目的需求和要求，您可以使用Scrapy等開源框架來實現(xiàn)網(wǎng)絡(luò)爬蟲或開發(fā)自定義功能。Python 提供了可用于此任務(wù)的Request和Beautiful Soup庫。

警報和通知。使用云和人工智能進(jìn)行異常檢測的主要優(yōu)勢之一是近乎實時地標(biāo)記異常內(nèi)容。為了幫助用戶快速分析和響應(yīng)異常情況，您可以以桌面消息、電子郵件和消息通知的形式實施警報。Gmail、Slack 和 Telegram 等常見通信工具提供了 API，您可以將其集成到您的解決方案中，以通過您首選的通信渠道自動發(fā)送通知。

內(nèi)容過濾器。為了能夠在異常檢測解決方案收集的一堆數(shù)據(jù)中找到某個事件，最終用戶需要一個過濾系統(tǒng)。您可以在解決方案中構(gòu)建基本過濾器，并為用戶提供配置自定義過濾器的能力。例如，考慮添加內(nèi)容源、內(nèi)容類型、發(fā)現(xiàn)日期、檢測到的異常和可信度的過濾器。為了實現(xiàn)此類過濾器，Python 提供了PyOD、tsfresh、anomatools、PyCaret、anomalize和其他庫。

儀表板和數(shù)據(jù)可視化。此功能顯著簡化了數(shù)據(jù)分析，并幫助用戶在檢測到的異常中找到模式。將儀表板與數(shù)據(jù)過濾器相結(jié)合，用戶可以分析一段時間內(nèi)的特定異常，將其與其他異常進(jìn)行比較，合并多個來源的數(shù)據(jù)，創(chuàng)建報告等。您可以使用Matplotlib、Folium、Seaborn和其他 Python 庫實現(xiàn)各種數(shù)據(jù)可視化選項。

用戶管理。每個最終用戶都必須擁有一個具有一定權(quán)限級別的配置文件、登錄憑據(jù)以及用戶信息（例如 ID、姓名、頭像、角色等）。用戶管理允許管理員創(chuàng)建、編輯和刪除用戶，根據(jù)權(quán)限配置其功能。他們的角色，并控制用戶活動。您可以查找適合您需求的可用用戶管理模塊，或者使用Flask或Django實現(xiàn)自定義模塊。

身份和訪問管理?？刂茖τ脩魩艉陀脩魴?quán)限的訪問是確保解決方案安全的重要步驟之一?？紤]實施多重身份驗證，以識別使用Google Authenticator或2FA Authenticator等現(xiàn)成工具訪問系統(tǒng)的用戶。您還可以添加用戶角色、組和訪問限制，以允許解決方案管理員控制用戶訪問。

這些核心功能將使最終用戶能夠有效地與異常檢測解決方案進(jìn)行交互。請記住，此列表并不詳盡，您的解決方案可能需要其他功能，具體取決于您的用例和產(chǎn)品要求。

在下篇文章中，讓我們看看人工智能在哪里以及如何檢測異常。

本文翻譯自：https://www.apriorit.com/dev-blog/ai-anomaly-detection-in-social-media如若轉(zhuǎn)載，請注明原文地址