譯者 | 李睿

審校 | 重樓

YouTube Shorts、Facebook Reels和TikTok等短視頻平臺(tái)的迅速崛起，徹底顛覆了人們消費(fèi)數(shù)字內(nèi)容的方式，每日吸引全球范圍內(nèi)數(shù)以億計(jì)的用戶沉浸其中。這些平臺(tái)依靠先進(jìn)的推薦系統(tǒng)，通過提供個(gè)性化的視頻建議來吸引用戶。然而，將短視頻和長視頻放在一起排序時(shí)將會(huì)面臨一個(gè)重大挑戰(zhàn)：時(shí)長偏見。

與傳統(tǒng)的推薦系統(tǒng)依賴于明確的用戶行為（例如點(diǎn)贊或分享）不同，視頻平臺(tái)主要利用觀看時(shí)間和完成率作為衡量用戶參與度的指標(biāo)。這種轉(zhuǎn)變?cè)?/span>自直接用戶反饋數(shù)據(jù)獲取難度的增加，從而使得觀看相關(guān)指標(biāo)成為了評(píng)估用戶興趣的有效替代手段。然而，這種方法引入了一種固有的偏見，即短視頻與同樣引人入勝的長視頻相比更受歡迎，因?yàn)樗鼈冏匀痪哂懈叩耐瓿陕?。例如，如果用戶在一個(gè)30秒的視頻中觀看了15秒（50%的完成率），但在一個(gè)2分鐘的視頻中僅觀看了30秒（25%的完成率），推薦系統(tǒng)可能會(huì)錯(cuò)誤地將前者視為更具吸引力的內(nèi)容，并因此更傾向于推薦短視頻，盡管這兩個(gè)視頻對(duì)用戶來說可能同樣有趣。這種對(duì)短視頻的系統(tǒng)性偏好不僅影響了整個(gè)生態(tài)系統(tǒng)，降低了用戶滿意度，限制了內(nèi)容多樣性，并影響了創(chuàng)作者制作長視頻的積極性。

要解決這個(gè)問題，不僅要調(diào)整參數(shù)，還需要對(duì)用戶行為模式、內(nèi)容消費(fèi)動(dòng)態(tài)以及視頻時(shí)長與用戶參與度之間的復(fù)雜關(guān)系有更細(xì)致的理解。隨著短視頻平臺(tái)持續(xù)塑造數(shù)字娛樂的未來，解決時(shí)長偏見問題對(duì)于維護(hù)一個(gè)既能有效服務(wù)用戶又能滿足創(chuàng)作者需求的健康內(nèi)容生態(tài)系統(tǒng)來說至關(guān)重要。

無論是機(jī)器學(xué)習(xí)工程師，還是視頻平臺(tái)的產(chǎn)品經(jīng)理，還是對(duì)探索喜愛的視頻應(yīng)用幕后運(yùn)作機(jī)制充滿好奇的用戶，本文都將幫助人們深入了解解決時(shí)長偏見的理論基礎(chǔ)和實(shí)踐策略，從而創(chuàng)建平衡、公平和有效的推薦系統(tǒng)。

理解視頻推薦中的時(shí)長偏見

根據(jù)視頻推薦平臺(tái)所側(cè)重的用戶參與度指標(biāo)不同，時(shí)長偏見會(huì)以兩種不同方式表現(xiàn)出來。如果一個(gè)系統(tǒng)傾向于優(yōu)先考慮完成率，它將系統(tǒng)地推廣短視頻，因?yàn)橛脩舾锌赡芡瓿奢^短的視頻。與其相反，如果觀看時(shí)間是主要指標(biāo)，那么長視頻就會(huì)獲得一種不公平的優(yōu)勢(shì)，因?yàn)橛脩糇匀粫?huì)在長視頻上花費(fèi)更多的時(shí)間，而無論他們的實(shí)際興趣如何。

這種偏見產(chǎn)生了幾個(gè)下游效應(yīng)：

1.推薦算法通常難以公平地評(píng)估不同長度的視頻。例如，60秒的新聞?wù)赡芘c15秒的突發(fā)新聞具有相同的價(jià)值，但有偏見的參與度指標(biāo)可能無法捕捉到這種等效性。

2.當(dāng)推薦系統(tǒng)忽略了符合用戶興趣的高質(zhì)量長視頻或短視頻時(shí)，用戶體驗(yàn)就會(huì)受到影響，因?yàn)橐曨l長度會(huì)影響用戶參與度指標(biāo)。

3.內(nèi)容創(chuàng)作者經(jīng)常感到有壓力要調(diào)整視頻長度以獲得更好的的傳播效果，即使這會(huì)影響內(nèi)容質(zhì)量。例如，教育創(chuàng)作者可能會(huì)將10分鐘的課程分成幾個(gè)更短的片段，從而影響學(xué)習(xí)流程。與其相反，一個(gè)可以在幾秒鐘內(nèi)最好地傳達(dá)的簡短笑話可能會(huì)被不必要地拉長，從而削弱其影響力。

在現(xiàn)實(shí)世界的平臺(tái)上解決時(shí)長偏見需要采用一系列復(fù)雜的技術(shù)解決方案，這些解決方案考慮了用戶跳過或者重放內(nèi)容的實(shí)際觀看模式，不同用戶群體的注意力跨度不同，以及需要規(guī)范不同視頻長度的用戶參與度指標(biāo)。任何解決方案都必須在服務(wù)于數(shù)百萬用戶的實(shí)時(shí)推薦系統(tǒng)的約束下運(yùn)行，同時(shí)平衡多個(gè)相互競(jìng)爭的目標(biāo)，例如用戶參與度、內(nèi)容多樣性和創(chuàng)作者公平性。

解決時(shí)長偏見的技術(shù)解決方案

時(shí)長偏見帶來的挑戰(zhàn)促使研究人員和行業(yè)從業(yè)者開發(fā)各種創(chuàng)新方法來解決這一問題。以下探討一下近年來出現(xiàn)的解決方案的主要類別。

觀看時(shí)間標(biāo)準(zhǔn)化

解決時(shí)長偏見的最簡單方法是將絕對(duì)觀看時(shí)間標(biāo)準(zhǔn)化，以便在不同長度的視頻之間進(jìn)行更公平的比較。播放完成率（PCR）是一種常見的方法，它衡量用戶觀看視頻的百分比，而不是根據(jù)原始觀看時(shí)間進(jìn)行衡量。然而，盡管這種方法簡單，但存在明顯的局限性。它傾向于過度偏愛短視頻而不是長視頻，并且沒有考慮到視頻重放等行為，將所有完成的視頻觀看視為同樣積極的信號(hào)，而不考慮視頻的實(shí)際長度。

為了克服這些局限性，研究人員開發(fā)了更細(xì)致的方法來整合多種信號(hào)，例如觀看時(shí)間、觀看百分位數(shù)和基于時(shí)長的分層。其中一個(gè)指標(biāo)是Root Log Time Percentile Watch (RLTPW)，它將絕對(duì)觀看時(shí)間與視頻完成的百分位數(shù)混合在一起，以創(chuàng)造一個(gè)更平衡的測(cè)量方法。當(dāng)在一個(gè)服務(wù)于數(shù)百萬用戶的真實(shí)平臺(tái)上進(jìn)行測(cè)試時(shí)，這種方法不僅提高了用戶參與度和用戶保留率，還確保了不同長度視頻的推薦分布更加均衡。

盡管取得了這些進(jìn)步，但人工定義這些指標(biāo)是一項(xiàng)勞動(dòng)密集型的工作，可能與平臺(tái)的具體目標(biāo)并不完全一致。隨著平臺(tái)的發(fā)展，對(duì)智能自動(dòng)化系統(tǒng)的需求越來越大，這些系統(tǒng)可以根據(jù)具體情況動(dòng)態(tài)生成高質(zhì)量的參與標(biāo)簽。

反事實(shí)觀看時(shí)長

一種解決時(shí)長偏見的更先進(jìn)方法是評(píng)估反事實(shí)觀看時(shí)長（CWT）——這實(shí)際上是問，“如果視頻無限長，這個(gè)用戶會(huì)看多久？”（，）。例如，如果用戶完整地觀看了一個(gè)15秒的短視頻，與觀看3分鐘視頻的2分鐘相比，這并不一定意味著更感興趣。CWT通過模擬假設(shè)的“假設(shè)”場(chǎng)景來解決這個(gè)問題——如果視頻時(shí)長不是限制因素，估計(jì)用戶會(huì)在哪里停止觀看。

CWT將視頻時(shí)長的直接影響（希望去除的偏見）與其間接影響（關(guān)于用戶偏好的真實(shí)信號(hào)）分開。它沒有假設(shè)觀看時(shí)長和視頻時(shí)長之間存在線性關(guān)系，而是將觀看視頻視為一種經(jīng)濟(jì)交易，用戶投入的時(shí)間和注意力來獲得感知到的娛樂價(jià)值。這種方法估計(jì)每個(gè)用戶的自然停止點(diǎn)，而不考慮視頻的實(shí)際時(shí)長。

在大規(guī)模的實(shí)際應(yīng)用時(shí)，CWT通過平衡用戶之間的短視頻和長視頻內(nèi)容，顯著提升了推薦系統(tǒng)的整體質(zhì)量。然而，它需要仔細(xì)調(diào)整反事實(shí)估計(jì)，并假設(shè)合理的用戶行為，而這些假設(shè)可能并不總是準(zhǔn)確的。此外，該方法還增加了一些計(jì)算復(fù)雜性，盡管其可行性已在生產(chǎn)環(huán)境中得到了證明。

CWT通過結(jié)合行為經(jīng)濟(jì)學(xué)和機(jī)器學(xué)習(xí)技術(shù)來應(yīng)對(duì)推薦系統(tǒng)中的復(fù)雜挑戰(zhàn)，展示了其強(qiáng)大的能力。通過跨學(xué)科的視角重新審視用戶參與度，這種方法為解決時(shí)長偏見提供了令人信服的解決方案。

基于分位數(shù)的時(shí)長感知方法

基于分位數(shù)的方法對(duì)用戶如何與不同長度的視頻進(jìn)行交互進(jìn)行建模，已經(jīng)成為解決視頻推薦中時(shí)長偏見的有效解決方案。這些方法不是將觀看時(shí)間或完成率作為成功指標(biāo)，而是分析用戶觀看模式在視頻時(shí)長范圍內(nèi)的全面分布情況。這可以進(jìn)行更準(zhǔn)確的比較，并確保推薦反映真正的用戶參與度水平。

該領(lǐng)域的一個(gè)關(guān)鍵創(chuàng)新是基于時(shí)長去混雜的分位數(shù)（D2Q）框架，該框架將視頻分成時(shí)長組，并學(xué)習(xí)回歸模型來預(yù)測(cè)每個(gè)組中的觀看時(shí)長分位數(shù)。這使系統(tǒng)能夠理解，例如觀看30秒視頻中的15秒與觀看3分鐘視頻中的15秒代表不同的參與程度。通過將視頻分組并分析其獨(dú)特模式，D2Q有效地減少了視頻時(shí)長的混淆效應(yīng)，同時(shí)保留了用戶行為的洞察力。

在此基礎(chǔ)上，觀看時(shí)間增益（WTG）指標(biāo)將用戶的觀看時(shí)間與相似時(shí)長的視頻的平均觀看時(shí)間進(jìn)行比較。例如，如果用戶通常觀看60秒視頻中的40%，那么已經(jīng)觀看50%的用戶就會(huì)獲得積極的WTG，這表明無論絕對(duì)觀看時(shí)間有多長，用戶參與度都高于平均水平。

例如條件分位數(shù)估計(jì)（CQE）等更先進(jìn)的技術(shù)，通過估計(jì)分布中的多個(gè)點(diǎn)來模擬觀看時(shí)長預(yù)測(cè)中的不確定性。例如，1分鐘的視頻只觀看10秒的概率為30%，觀看10～30秒的概率為50%，觀看更長時(shí)間的概率為20%。這種細(xì)致入微的理解有助于更有效地捕捉不同的用戶參與模式。

去偏多語義提取標(biāo)簽（DML）是另一種具有前景的方法，它直接解決了事件標(biāo)簽創(chuàng)建過程中的時(shí)長偏見問題。通過應(yīng)用因果推理，該方法生成固有地考慮視頻時(shí)長影響的訓(xùn)練標(biāo)簽，從而消除了復(fù)雜的后處理或額外模型架構(gòu)的需求。

這些方法在主要平臺(tái)上的離線評(píng)估和實(shí)際A/B測(cè)試中都展示了令人印象深刻的結(jié)果。它們的好處包括不同長度視頻的更平衡的推薦，更好地代表真實(shí)的用戶偏好，更公平地對(duì)待內(nèi)容創(chuàng)作者，以及改進(jìn)的用戶參與度指標(biāo)。

然而，實(shí)施這些方法也面臨著一些挑戰(zhàn)，例如定義適當(dāng)?shù)臅r(shí)長桶以及管理實(shí)時(shí)分位數(shù)估計(jì)的計(jì)算開銷。盡管存在這些復(fù)雜性，但它們?cè)谔幚硪曨l時(shí)長與用戶參與度之間復(fù)雜關(guān)系方面的能力使其成為現(xiàn)代推薦系統(tǒng)不可或缺的工具。

多目標(biāo)優(yōu)化

多目標(biāo)優(yōu)化已經(jīng)成為解決視頻推薦系統(tǒng)中時(shí)長偏見的有效策略，同時(shí)保持高用戶參與度。最近的研究強(qiáng)調(diào)了從互補(bǔ)的角度解決這一挑戰(zhàn)的三種創(chuàng)新方法。

VLDRec引入了一個(gè)雙目標(biāo)框架，同時(shí)優(yōu)化原始觀看時(shí)間和視頻完成率。通過同時(shí)考慮這兩個(gè)指標(biāo)，該系統(tǒng)能夠識(shí)別出真正吸引人的內(nèi)容，而不受時(shí)長限制。例如，一個(gè)被完整觀看的2分鐘視頻，可能比用戶通常在3分鐘后放棄的10分鐘視頻排名更高，即使后者累積了更多的原始觀看時(shí)間。

SWaT采用一種更細(xì)粒度的方法，將視頻劃分為時(shí)長桶，并在每個(gè)桶中分別建模用戶行為模式。這使得系統(tǒng)能夠更公平地比較用戶參與度——例如，將一個(gè)5分鐘的視頻與其他5分鐘的視頻進(jìn)行比較，而不是與所有時(shí)長進(jìn)行比較。該框架明確地模擬了不同的用戶觀看行為，例如順序觀看和隨機(jī)搜索，生成了比原始觀看時(shí)間更豐富的參與信號(hào)，以實(shí)現(xiàn)更平衡的推薦。

LabelCraft通過自動(dòng)標(biāo)簽生成來解決這個(gè)問題，并將其表述為一個(gè)雙層優(yōu)化問題。該方法學(xué)習(xí)生成訓(xùn)練標(biāo)簽，幫助推薦模型針對(duì)多個(gè)指標(biāo)進(jìn)行優(yōu)化，包括觀看時(shí)間、明確的用戶參與度（例如點(diǎn)贊或分享）和用戶留存率。通過平衡這些目標(biāo)，LabelCraft確保推薦不僅引人入勝，而且多樣化和以用戶為中心。

這些方法的共同之處在于，它們成功地實(shí)現(xiàn)了對(duì)視頻時(shí)長這一關(guān)鍵信號(hào)的平衡考量，避免了其過度主導(dǎo)推薦過程的情況。它們并沒有完全去除時(shí)長的影響，而是將其與其他指標(biāo)整合在一起，以產(chǎn)生一個(gè)公平而有意義的內(nèi)容排名。實(shí)證研究結(jié)果表明，這些方法在關(guān)鍵指標(biāo)（包括用戶留存率、公平性和用戶參與度）上始終優(yōu)于單一目標(biāo)基準(zhǔn)。

然而，多目標(biāo)優(yōu)化引入了一些復(fù)雜性，例如確定每個(gè)目標(biāo)的適當(dāng)權(quán)重以及確保多個(gè)競(jìng)爭目標(biāo)下穩(wěn)定的訓(xùn)練動(dòng)態(tài)。VLDRec和SWaT使用謹(jǐn)慎的規(guī)范化策略來解決這些挑戰(zhàn)，而LabelCraft采用動(dòng)態(tài)平衡方案。計(jì)算效率是另一個(gè)考慮因素，因?yàn)閮?yōu)化多個(gè)目標(biāo)會(huì)占用大量資源。諸如基于桶的歸一化（SWaT）、對(duì)抗性訓(xùn)練（VLDRec）和元學(xué)習(xí)（LabelCraft）等技術(shù)已經(jīng)被提出來緩解這些挑戰(zhàn)。

對(duì)于從業(yè)者來說，從更簡單的基于桶的歸一化方法開始可能是一個(gè)有效的切入點(diǎn)。在此基礎(chǔ)上，采用更先進(jìn)的元學(xué)習(xí)或?qū)辜夹g(shù)可以帶來更多的好處。除了時(shí)長偏見，這些方法還為解決推薦系統(tǒng)中其他形式的算法偏差提供了模板，證明了多目標(biāo)優(yōu)化不僅僅是一種工具，而且是在不犧牲用戶參與度的情況下構(gòu)建公平有效平臺(tái)的一種思維方式。

技術(shù)挑戰(zhàn)和未來方向

隨著視頻推薦系統(tǒng)的發(fā)展，在有效解決時(shí)長偏見方面出現(xiàn)了新的挑戰(zhàn)和機(jī)遇。以下是研究人員和從業(yè)人員需要關(guān)注的關(guān)鍵領(lǐng)域：

1.多模態(tài)信號(hào)集成

雖然目前的方法主要關(guān)注觀看時(shí)長，但現(xiàn)代視頻平臺(tái)收集各種用戶信號(hào)，例如分享、點(diǎn)贊、評(píng)論和留存模式等，這些信號(hào)均受到視頻時(shí)長的影響。例如，短視頻因其快速消費(fèi)的特性往往獲得更多分享，而中等長度視頻的留存率可能與極短或極長內(nèi)容有所不同。未來系統(tǒng)需要智能地整合這些信號(hào)，考慮到時(shí)長如何獨(dú)特地影響每個(gè)指標(biāo)，而不僅僅依賴于觀看時(shí)長。

2.擴(kuò)展規(guī)模的挑戰(zhàn)

隨著數(shù)以百萬計(jì)的用戶和不斷發(fā)展的內(nèi)容庫，消除時(shí)長偏見的計(jì)算需求極為龐大。解決這個(gè)問題需要高效的近似算法、分布式計(jì)算策略和方法來降低問題的維度，同時(shí)保持有效性。

3.跨平臺(tái)的適應(yīng)性

每個(gè)視頻平臺(tái)提供不同類型的內(nèi)容和用戶行為。穩(wěn)健的去偏方法必須適應(yīng)這些變化，而不需要完全重新設(shè)計(jì)。這可能涉及針對(duì)平臺(tái)特定內(nèi)容分布量身定制的靈活時(shí)長桶，跨平臺(tái)共享見解的可轉(zhuǎn)移學(xué)習(xí)模型，以及與獨(dú)特平臺(tái)目標(biāo)相一致的可定制目標(biāo)函數(shù)。

4.內(nèi)容冷啟動(dòng)問題

當(dāng)考慮到時(shí)長偏見時(shí)，很少甚至沒有用戶參與度數(shù)據(jù)的新內(nèi)容構(gòu)成了獨(dú)特的挑戰(zhàn)。傳統(tǒng)的冷啟動(dòng)解決方案可能無法確保在時(shí)長組內(nèi)進(jìn)行公平比較。未來的解決方案可能包括使用內(nèi)容特征的更好的初始化策略、快速學(xué)習(xí)方法以快速建立可靠的基于時(shí)長的分位數(shù)，以及在冷啟動(dòng)和成熟內(nèi)容之間無縫轉(zhuǎn)換的混合模型。

解決這些挑戰(zhàn)將確保視頻平臺(tái)能夠提供公平和引人入勝的個(gè)性化推薦，同時(shí)跟上用戶行為和內(nèi)容多樣性的發(fā)展趨勢(shì)。

結(jié)論：實(shí)現(xiàn)生產(chǎn)系統(tǒng)的最佳實(shí)踐

1.定期監(jiān)測(cè)時(shí)長偏見指標(biāo)

持續(xù)跟蹤不同視頻時(shí)長桶的原始和標(biāo)準(zhǔn)化用戶參與度指標(biāo)，以便盡早識(shí)別系統(tǒng)偏差模式。例如，如果短視頻突然在推薦中占主導(dǎo)地位，這可能意味著需要調(diào)整消除偏見策略。構(gòu)建和使用健壯的監(jiān)控工具來適應(yīng)不斷變化的用戶行為和內(nèi)容趨勢(shì)，確保系統(tǒng)隨著時(shí)間的推移保持有效。

2.采用漸進(jìn)式去偏方法

避免試圖一次性消除所有視頻時(shí)長的影響。從簡單的策略開始，例如基于桶的歸一化，它根據(jù)時(shí)長對(duì)視頻進(jìn)行分組，以便進(jìn)行更公平的比較。隨著時(shí)間的推移，基于數(shù)據(jù)洞察力和A/B測(cè)試來完善這些方法。增加的復(fù)雜性應(yīng)該通過關(guān)鍵指標(biāo)的明顯改進(jìn)來證明。

3.培養(yǎng)創(chuàng)作者的透明度

這些方法為創(chuàng)作者提供關(guān)于視頻時(shí)長如何影響內(nèi)容分發(fā)與性能的清晰洞察與指導(dǎo)。這使他們能夠制作高質(zhì)量、引人入勝的視頻，從而增強(qiáng)整體內(nèi)容生態(tài)系統(tǒng)。定期評(píng)估去除偏見對(duì)用戶參與度和創(chuàng)作者公平性的影響，努力在不損害任何一方的情況下實(shí)現(xiàn)平衡。

原文標(biāo)題：Duration Bias in Video Recommendations: A Complete Guide to Fair Content Ranking，作者：Amey Porobo Dharwadker