對(duì)于企業(yè)和專業(yè)人士來(lái)說(shuō)，Thomson Reuters 是全球領(lǐng)先智能信息來(lái)源之一，也是全球最受信任的新聞組織之一。它為公司提供尋找可信答案所需的智能、技術(shù)和人類專業(yè)知識(shí)，幫助公司更迅速作出更明智的決策。其客戶覆蓋金融、風(fēng)險(xiǎn)、法律、稅務(wù)、會(huì)計(jì)和媒體市場(chǎng)。

[[422143]]

挑戰(zhàn)

Thomson Reuters 有數(shù)百種產(chǎn)品和服務(wù)，面向從法律事務(wù)所、銀行到消費(fèi)者等各行各業(yè)的客戶。2016 年，Thomson Reuters 決定構(gòu)建一種解決方案來(lái)捕獲、分析和可視化其產(chǎn)品/服務(wù)生成的分析數(shù)據(jù)，從而提供洞察意見(jiàn)來(lái)幫助產(chǎn)品團(tuán)隊(duì)持續(xù)提升用戶體驗(yàn)。

市場(chǎng)上有很多現(xiàn)成的商用使用情況分析服務(wù)。然而，Thomson Reuters 決定構(gòu)建自己的分析服務(wù)，以便管理成本、掌握分析數(shù)據(jù)所有權(quán)，并通過(guò)文件元數(shù)據(jù)之類的其他信息豐富分析數(shù)據(jù)。

該公司清楚自己希望在云中構(gòu)建這種解決方案，并且知道底層平臺(tái)的諸多要求。首先，需要利用動(dòng)態(tài)和靜態(tài)加密保護(hù)信息。還需要每秒處理數(shù)千事件，并需要彈性擴(kuò)展以適應(yīng)突發(fā)新聞時(shí)雙倍或三倍增長(zhǎng)的流量。而且，由于負(fù)責(zé)構(gòu)建該解決方案的小組規(guī)模相當(dāng)小，公司需要最大程度縮減行政和管理任務(wù)，以便他們能專注于構(gòu)建新功能和支持產(chǎn)品團(tuán)隊(duì)。最后，Thomson Reuters 希望解決方案能快速上線，他們只有五個(gè)月的時(shí)間。

為什么選擇 Amazon Web Services

Thomson Reuters 很快就意識(shí)到 Amazon Web Services (AWS) 是能夠滿足其所有需求的唯一平臺(tái)。該公司已然在眾多功能中使用 AWS，很熟悉它的能力和規(guī)模。Thomson Reuters 構(gòu)建的分析解決方案 Product Insight 依賴于多種 AWS 服務(wù)。

初始事件攝取層由 Elastic Load Balancing 以及 Auto Scaling 組中的自定義 NGINX Web 服務(wù)器組成。在 SSL/TLS 結(jié)束后，攝取層使用元數(shù)據(jù)增加事件并使用 AWS Key Management Service (KMS) 將它們加密。

攝取層將受保護(hù)的數(shù)據(jù)傳遞到由 Amazon Kinesis Streams、Amazon Kinesis Firehose 和 AWS Lambda 無(wú)服務(wù)器計(jì)算構(gòu)成的流式數(shù)據(jù)管道。Thomson Reuters 評(píng)估了包括 Apache Kafka 在內(nèi)的其他流式數(shù)據(jù)工具，但發(fā)現(xiàn)它們難以管理和擴(kuò)展。該公司不希望在管理軟件堆棧和服務(wù)器隊(duì)列上殫精竭慮，因此選擇了完全托管的 Amazon Kinesis。

Amazon Kinesis 流式處理數(shù)據(jù)管道能夠自動(dòng)批處理數(shù)據(jù)并以經(jīng)濟(jì)高效的方式將其傳遞到主要數(shù)據(jù)集，從而永久存儲(chǔ)到支持跨區(qū)域復(fù)制的 Amazon Simple Storage Service (Amazon S3) 存儲(chǔ)桶內(nèi)。通過(guò)主要數(shù)據(jù)集，Thomson Reuters 可以應(yīng)用額外轉(zhuǎn)換步驟、在系統(tǒng)處于丟失狀態(tài)時(shí)恢復(fù)事件中的數(shù)據(jù)，并支持新的業(yè)務(wù)案例。如果事件無(wú)法即時(shí)從攝取層分派到數(shù)據(jù)管道，故障轉(zhuǎn)移機(jī)制會(huì)將它們傳遞到 Amazon S3，以待系統(tǒng)恢復(fù)正常運(yùn)行時(shí)重新執(zhí)行相應(yīng)操作。

在 AWS Lambda 的幫助下，Thomson Reuters 能夠以經(jīng)濟(jì)高效的方式加載和處理流式數(shù)據(jù)，而無(wú)需預(yù)置或管理任何服務(wù)器。Lambda 會(huì)從 Kinesis 管道收集數(shù)據(jù)并將其加載到 Amazon S3 中的主要數(shù)據(jù)集。另外，每當(dāng)有新數(shù)據(jù)存儲(chǔ)時(shí)，Amazon S3 的數(shù)據(jù)通知會(huì)觸發(fā) Lambda，從而對(duì)主要數(shù)據(jù)集執(zhí)行額外轉(zhuǎn)換。僅當(dāng)數(shù)據(jù)通過(guò)集成 Kinesis 和 Amazon S3 觸發(fā) Lambda 時(shí)，Lambda 才會(huì)運(yùn)行代碼;并且僅當(dāng)代碼運(yùn)行時(shí)，才需要對(duì)計(jì)算處理付費(fèi)。

附加到 Amazon Kinesis 流的并行實(shí)時(shí)管道會(huì)通過(guò)連接到 Thomson Reuters Services 平臺(tái)的自定義提取、轉(zhuǎn)換和加載 (ETL) 服務(wù)器將事件傳遞到安全的多租戶 Elasticsearch 集群。所有環(huán)節(jié)均在 AWS 中托管。Kibana 這個(gè)開(kāi)源的數(shù)據(jù)分析和可視化工具會(huì)將實(shí)時(shí)數(shù)據(jù)提供給經(jīng)授權(quán)的 Thomson Reuters 產(chǎn)品團(tuán)隊(duì)。

另外，Thomson Reuters Services 平臺(tái)使用 AWS Identity and Access Management (IAM) 和 Amazon S3 跨賬戶訪問(wèn)功能提供身份驗(yàn)證和授權(quán)層。為監(jiān)控解決方案，該公司使用了 Amazon CloudWatch。

效益

Product Insight 早于計(jì)劃時(shí)間兩個(gè)月發(fā)布，超出了技術(shù)性預(yù)期。“我們最初的目標(biāo)是每秒處理 2000 個(gè)事件。”Thomson Reuters 產(chǎn)品創(chuàng)新高級(jí)經(jīng)理 Anders Fritz 說(shuō)道，“我們的測(cè)試顯示 AWS 上的 Product Insight 可以每秒處理多達(dá) 4000 個(gè)事件，并且預(yù)期可以在一年內(nèi)提升到每秒處理 10000 多個(gè)事件。” 這意味著每個(gè)月可以處理超過(guò) 250 億次事件。

即便是這么高的吞吐量，系統(tǒng)從始至終都沒(méi)有丟失任何數(shù)據(jù)。“因?yàn)閺?qiáng)大的故障轉(zhuǎn)移架構(gòu)和 AWS 的技術(shù)能力，我們從開(kāi)始收集數(shù)據(jù)起就沒(méi)有丟失過(guò)一次事件。”Fritz 說(shuō)。

這期間還發(fā)生了美國(guó)總統(tǒng)大選和英國(guó)脫歐之類的新聞事件，遭遇過(guò)使用量暴增。“即使每日事件數(shù)量雙倍增加，攝取管道也能平穩(wěn)擴(kuò)展和收縮，沒(méi)有絲毫問(wèn)題。”Thomson Reuters 首席軟件工程師 Marco Pierleoni 說(shuō)道。

內(nèi)部產(chǎn)品團(tuán)隊(duì)很快采納了 Product Insight，并快速且輕松地將它們加入系統(tǒng)中。“我們可以快速建立團(tuán)隊(duì)，時(shí)間從幾小時(shí)到幾天不等。”Fritz 說(shuō)道，“大多數(shù)時(shí)間都用來(lái)計(jì)劃團(tuán)隊(duì)想要分析的數(shù)據(jù)。在后端，我們可以設(shè)置系統(tǒng)，在幾分鐘內(nèi)接收產(chǎn)品收據(jù)。” 上手過(guò)程在 SDK 和標(biāo)準(zhǔn)化數(shù)據(jù)架構(gòu)的作用下獲得了加速。

由于 Product Insight 是使用 Amazon Kinesis 在流式數(shù)據(jù)架構(gòu)上創(chuàng)建，因此產(chǎn)品團(tuán)隊(duì)幾乎可以實(shí)時(shí)訪問(wèn)數(shù)據(jù)。“使用 Amazon Kinesis，我們的解決方案可以在 10 秒內(nèi)將新事件傳遞到用戶控制面板。”Fritz 說(shuō)道，“我們的產(chǎn)品團(tuán)隊(duì)可以即時(shí)了解并響應(yīng)使用模式，而我們的運(yùn)營(yíng)專業(yè)人員可以監(jiān)控表現(xiàn)以便及時(shí)檢測(cè)并緩解異常情況，以免影響客戶體驗(yàn)。”

因?yàn)?Product Insight 要求最小化行政參與，所以工程師可以集中精力與產(chǎn)品團(tuán)隊(duì)合作增加業(yè)務(wù)價(jià)值，而不是花時(shí)間管理基礎(chǔ)設(shè)施。而且，AWS Key Management Service 實(shí)現(xiàn)的安全性可以幫助確保解決方案滿足內(nèi)外合規(guī)性要求。