譯者 | 布加迪

審校 | 重樓

隨著許多公司日益受到數(shù)據(jù)和軟件的驅(qū)動，技術(shù)領(lǐng)導(dǎo)者要求縮短數(shù)據(jù)生成時間與數(shù)據(jù)使用時間之間的延遲差距。我們在許多行業(yè)和用例中看到了這一幕：

• 零售和金融服務(wù)中的欺詐預(yù)防，包括支付處理
• 零售、游戲和廣告中的個性化
• 運輸路線優(yōu)化
• 緩解網(wǎng)絡(luò)安全中的突發(fā)威脅

如果數(shù)據(jù)移動出現(xiàn)延遲，所有這些例子都會釀成嚴(yán)重后果，所以縮短總的行動時間以保持競爭力就很重要。

本文將著重介紹一個用例：將數(shù)十億個數(shù)據(jù)和數(shù)千家公司在短短幾毫秒內(nèi)聚集在一起，以做出即時決策：實時在線廣告競標(biāo)。

廣告界有句老話：“我花在廣告上的錢有一半是浪費的；問題在于，我不知道是哪一半。”而在數(shù)字時代，獲取數(shù)據(jù)容易得多。比如說，廣告交易平臺可以匿名分享這個信息：某網(wǎng)站的訪問者最近訪問了StubHub和Lionel Messi的Instagram頁面。在該頁面上為國際邁阿密球隊的球衣做付費廣告是值得投入的，而且比為其他球隊或運動項目的球衣做沒有針對性的廣告更有可能吸引滿意的客戶。

像這樣的交互（評估、購買和投放廣告的決定）在幾毫秒內(nèi)發(fā)生，每天發(fā)生數(shù)百萬次。這些交易的關(guān)鍵是數(shù)據(jù)的自由流動，以便及時做出行動，實時數(shù)據(jù)庫和流數(shù)據(jù)平臺常常提供了便利。不妨看看需求方平臺（DSP）如何使用流數(shù)據(jù)平臺Redpanda和實時數(shù)據(jù)庫Aerospike來實施解決方案，從而在快節(jié)奏的實時競標(biāo)環(huán)境中取得成功。

Aerospike簡介

Aerospike是一種實時數(shù)據(jù)庫，可以攝取、存儲和檢索數(shù)據(jù)，每秒處理數(shù)百萬個事務(wù)（TPS）的吞吐量，延遲時間不到1毫秒。事件流是攝入到Aerospike數(shù)據(jù)庫中的常見數(shù)據(jù)源之一。Aerospike可以直接或通過連接件將事件攝取到Redpanda、Apache Kafka及Apache Pulsar等流數(shù)據(jù)平臺。

這種情形很常見：將數(shù)據(jù)從流主題攝取到Aerospike中，對該數(shù)據(jù)進(jìn)行多次評估，并將數(shù)據(jù)發(fā)布到另一個主題，這一切都在幾毫秒內(nèi)完成。在廣告技術(shù)領(lǐng)域，Aerospike的一個關(guān)鍵用例是充當(dāng)用戶簡檔存儲系統(tǒng)。這個存儲系統(tǒng)擁有大量關(guān)于個人用戶的匿名信息，從偏好到過去的交互，不一而足。

Redpanda簡介

您可以把Redpanda想象成一個重新構(gòu)建的Kafka。Kafka是最受歡迎的流平臺之一，可確保在線生態(tài)系統(tǒng)的各部分之間無縫聯(lián)系。Redpanda使用Kafka API來確保與現(xiàn)有生態(tài)系統(tǒng)兼容，但它是用C++從頭開始重寫的，以最大限度地提高現(xiàn)代硬件的利用率。Redpanda的賣點之一是，它能夠可靠地處理大容量峰值，平均每秒支持高達(dá)數(shù)GB的數(shù)據(jù)。

實時競標(biāo)中的需求方平臺

為了理解DSP如何適應(yīng)廣告技術(shù)領(lǐng)域，我們需要了解實時競標(biāo)（RTB）。在RTB中，廣告商競相在網(wǎng)站上實時展示廣告，這需要供應(yīng)方平臺（SSP）、DSP、網(wǎng)站和廣告交易平臺之間的復(fù)雜互動。DSP扮演著至關(guān)重要的角色，它們代表廣告商，瞬間做出廣告位競標(biāo)方面的決定。DSP必須通過快速處理數(shù)據(jù)、瞄準(zhǔn)正確的受眾以及優(yōu)化競標(biāo)以贏得拍賣，從而使自己與眾不同。

圖1. 實時競標(biāo)概覽

DSP的實時數(shù)據(jù)架構(gòu)

在DSP的互聯(lián)世界中，多個關(guān)鍵數(shù)據(jù)組件發(fā)揮作用：用戶簡檔、可用廣告位、歷史數(shù)據(jù)和廣告創(chuàng)意。DSP需要根據(jù)可用數(shù)據(jù)快速創(chuàng)建潛在用戶的簡檔，評估來自SSP或廣告交易平臺的廣告位機會，以及設(shè)計符合用戶偏好和當(dāng)前活動的競標(biāo)。這個過程需要有效的數(shù)據(jù)移動和快速決策。

這時候Redpanda和Aerospike就有了用武之地。Redpanda提供了一種高性能的流引擎，使數(shù)據(jù)量的塊峰值能夠在幾毫秒內(nèi)通過DSP的內(nèi)部環(huán)境移動以及跨廣告技術(shù)生態(tài)系統(tǒng)的其余部分移動。Aerospike充當(dāng)數(shù)據(jù)歷史保管員，提供快速檢索數(shù)據(jù)查詢的功能，比如用戶、設(shè)備和會話。它能迅速檢索用戶簡檔和過去的交互信息，使DSP能夠根據(jù)個人喜好設(shè)計競標(biāo)。

圖2. DSP的實時數(shù)據(jù)架構(gòu)

如圖2所示，DSP整合了來自廣告交易平臺和發(fā)行方的信息，比如可用的廣告格式、匿名化的用戶興趣和地理位置數(shù)據(jù)。一些DSP僅留出10毫秒的余地來加載所有這些數(shù)據(jù)，為它們的競標(biāo)流程提供信息。Aerospike可以在1毫秒內(nèi)攝取數(shù)據(jù)，通常會直接連接到廣告交易平臺的API。

在許多例子中，數(shù)據(jù)生產(chǎn)者與數(shù)據(jù)消費者實現(xiàn)脫離更有意義。在這種情況下，Aerospike可以使用其Kafka連接件將廣告交易平臺數(shù)據(jù)發(fā)布到Redpanda主題，使DSP內(nèi)的多個服務(wù)能夠訂閱該主題。比如說，一項定價優(yōu)化服務(wù)可以利用關(guān)于目標(biāo)用戶的歷史信息來豐富新的實時數(shù)據(jù)，從而幫助預(yù)測即將到來的競標(biāo)的廣告支出。

Redpanda提供了Kafka API，可以穩(wěn)定地提供低至5毫秒的p50延遲。一些DSP的外部數(shù)據(jù)將直接進(jìn)入到Redpanda的主題，比如關(guān)于廣告印象和競標(biāo)結(jié)果的數(shù)據(jù)。Aerospike還可以是任何這些主題的訂閱者，因為它擴展了歷史數(shù)據(jù)庫。

DSP利用Kafka API快速處理入站數(shù)據(jù)、評估廣告機會并生成競標(biāo)。實時競標(biāo)環(huán)境要求速度、準(zhǔn)確性以及處理巨大數(shù)據(jù)流的能力。Aerospike和Redpanda的結(jié)合既提供了實時數(shù)據(jù)流，又提供了幾乎即時地檢索過去數(shù)據(jù)的功能，以幫助DSP做出量身定制的明智競標(biāo)。這種數(shù)據(jù)的流動和整合確保了競標(biāo)請求、廣告機會和決策無縫流動，從而實現(xiàn)及時的廣告投放。

結(jié)論：駕馭實時領(lǐng)域

在動態(tài)的實時競標(biāo)領(lǐng)域，需求方平臺（DSP）依賴強大的現(xiàn)代平臺和高效的工具，在短短幾毫秒內(nèi)移動和匯總不同的數(shù)據(jù)，最終為客戶設(shè)計最佳競標(biāo)。在一個這樣的架構(gòu)中，Redpanda的高性能Kafka API與Aerospike快速檢索用戶簡檔的功能相輔相成，確保DSP擁有它們需要的所有信息，以便設(shè)計對用戶而言高度個性化的實時競標(biāo)。有了這種平臺，DSP可以靈活而精確地駕馭復(fù)雜的實時競標(biāo)生態(tài)系統(tǒng)，為成功的廣告投放和豐富的用戶體驗鋪平道路。

原文標(biāo)題：Implementing High-Performance Ad Tech Demand-Side Platforms，作者：Daniel Landsman