一、整體概述

2024年得物算法團(tuán)隊(duì)基于交易搜索的場(chǎng)景特點(diǎn)與數(shù)據(jù)現(xiàn)狀，圍繞“多場(chǎng)景建?！遍_展了一系列工作，取得了較大幅度的在線業(yè)務(wù)指標(biāo)提升；同時(shí)我們利用碎片時(shí)間將積累的技術(shù)經(jīng)驗(yàn)形成相應(yīng)的論文，成功被搜索推薦/數(shù)據(jù)挖掘領(lǐng)域頂級(jí)會(huì)議WWW'2025（CCF-A）、DASFAA'2025（CCF-B）錄用。三篇文章具體信息如下：

（1）WWW'2025（industry track長(zhǎng)文）：Disentangling Scenario-wise Interest Network for Multi-scenario Recommendation. （錄用率僅為：22.4% (63/281)）

（2）DASFAA'2025（research track長(zhǎng)文oral）：Towards Scenario-adaptive User Behavior Modeling for Multi-scenario Recommendation. （錄用率僅為：20.7% (137 / 662)）

（3）DASFAA'2025（industry track長(zhǎng)文oral）：When Multi-scenario Meets Multi-attribute: Scenario and Attribute-aware Recommendation with Contrastive Learning. （錄用率為：41.7% (15 / 36)）

下面詳細(xì)介紹下這三項(xiàng)工作的具體內(nèi)容。

二、背景介紹

近年來(lái)，線上購(gòu)物平臺(tái)在用戶日常生活中扮演著越來(lái)越重要的角色。為了滿足用戶多樣化的購(gòu)物需求，當(dāng)前大多電商App往往會(huì)集成多種購(gòu)物場(chǎng)景（首頁(yè)瀑布流、詳情頁(yè)、訂單頁(yè)等等），為不同用戶提供量身定制的購(gòu)物服務(wù)。隨之而來(lái)，多場(chǎng)景學(xué)習(xí)（Multi-scenario Learning，MSL）在電商平臺(tái)的搜索推薦系統(tǒng)中也取得了蓬勃發(fā)展。下面我們從得物App整體和得物App搜索兩個(gè)角度出發(fā)，深入分析不同場(chǎng)景的特性。

得物App整體多場(chǎng)景

以得物App整體為例，圖1展示了其幾種常見(jiàn)場(chǎng)景：

（1）首頁(yè)瀑布流：用戶一訪問(wèn)應(yīng)用就能在首頁(yè)上看到推薦的商品。該場(chǎng)景根據(jù)用戶的歷史行為偏好展示吸引用戶的多種類型的商品。

（2）購(gòu)物車頁(yè)面或訂單頁(yè)面：該場(chǎng)景在用戶將某些特定商品加入購(gòu)物車或購(gòu)買后向其推薦商品，推薦的商品更多取決于用戶過(guò)去的購(gòu)買記錄。

圖1. 得物App整體多場(chǎng)景示例圖

顯然這些典型場(chǎng)景彼此之間的差異很大。不同場(chǎng)景下用戶的行為和興趣（例如，用戶對(duì)特定品牌、價(jià)格或類別的偏好）也存在很大差異。具體來(lái)說(shuō)，首頁(yè)瀑布流上的用戶興趣比購(gòu)物車頁(yè)面或訂單頁(yè)面更加發(fā)散，因?yàn)楹髢蓚€(gè)場(chǎng)景中展示的商品更多受到用戶歷史加購(gòu)和下單行為的限制。比如首頁(yè)上的人往往有多樣化的興趣（用戶喜歡瀏覽更多類別和品牌的商品，它們的價(jià)格選擇范圍更廣）；相反，用戶在訂單頁(yè)里可能會(huì)表現(xiàn)出更具體和集中的偏好。如果用戶最近在訂單頁(yè)面購(gòu)買了一部新手機(jī)，他可能接下來(lái)會(huì)更關(guān)注手機(jī)殼和耳機(jī)等電子設(shè)備。用戶行為也會(huì)受到他們所購(gòu)買過(guò)的商品引導(dǎo)。

得物App搜索多場(chǎng)景

以得物App搜索為例，我們從用戶搜索流量來(lái)源角度出發(fā)進(jìn)行場(chǎng)景劃分，圖2展示了其對(duì)應(yīng)的場(chǎng)景。

圖2. 得物App搜索多場(chǎng)景示例圖

通過(guò)對(duì)不同Query來(lái)源的用戶數(shù)據(jù)進(jìn)行分析后我們發(fā)現(xiàn)用戶在不同來(lái)源下的價(jià)格、類目和品牌偏好存在較為顯著的差異。因此我們考慮將不同Query來(lái)源作為場(chǎng)景化信息，并在CTR預(yù)估任務(wù)中引入多場(chǎng)景學(xué)習(xí)做精細(xì)化建模。

主要問(wèn)題

我們可以歸納出得物搜索多場(chǎng)景建模需要解決的兩個(gè)主要問(wèn)題：

（1）用戶行為興趣（價(jià)格、類目、品牌等偏好）在不同場(chǎng)景下的差異如何進(jìn)行有效刻畫？

（2）在搜索推薦領(lǐng)域用戶行為序列建模通常是對(duì)用戶興趣表達(dá)最為有效的手段，我們?cè)撊绾螌?chǎng)景化信息優(yōu)雅地融入到行為序列建模當(dāng)中以實(shí)現(xiàn)最有效的多場(chǎng)景興趣建模？

三、整體優(yōu)化思路

SACN：針對(duì)問(wèn)題（1），我們考慮既然用戶在不同場(chǎng)景下對(duì)價(jià)格、類目和品牌等商品屬性存在顯式的偏好差異，而以往的用戶行為序列建模通用做法也引入了商品多屬性作為side info來(lái)豐富用戶的興趣表達(dá)，那么我們能否將多場(chǎng)景的先驗(yàn)信息和多屬性序列建模進(jìn)行深入結(jié)合，達(dá)到解決問(wèn)題的目的？基于此，我們提出在多場(chǎng)景建模下引入多屬性信息去刻畫用戶在特定場(chǎng)景下的多粒度畫像偏好，同時(shí)更好輔助刻畫不同場(chǎng)景下的用戶興趣差異。我們?cè)贒ASFAA'2025（industry track）提出了Scenario and Attribute-aware Contrastive Network（SACN），它首次將多場(chǎng)景建模和用戶行為序列多屬性建模結(jié)合，構(gòu)造兩種不同粒度的用戶興趣偏好提取組件，即Item-level Preference Extracting (IPE)和Attribute-level Preference Extracting (APE)，并結(jié)合對(duì)比學(xué)習(xí)對(duì)用戶在不同目標(biāo)場(chǎng)景（target scenario）下的興趣進(jìn)行區(qū)分。

SACN雖然對(duì)問(wèn)題（1）進(jìn)行了一定程度優(yōu)化，但它和其他工業(yè)界通用的多場(chǎng)景建模方法（PEPNet、SAR-Net等）類似，僅僅考慮了目標(biāo)場(chǎng)景（target scenario）信息。而沒(méi)有對(duì)用戶的歷史行為來(lái)源于哪個(gè)場(chǎng)景做區(qū)分，即它們均未對(duì)問(wèn)題（2）進(jìn)行過(guò)深入討論和優(yōu)化。從我們過(guò)往的用戶行為序列建模迭代經(jīng)驗(yàn)中得到啟發(fā)，我們遵循如下兩個(gè)優(yōu)化思路，考慮在行為序列中引入豐富的場(chǎng)景化信息。

• 思路1：把用戶每一次歷史行為所屬場(chǎng)景來(lái)源作為和商品屬性類似的side info加入到序列中；
• 思路2：參考序列建模SIM的方式，把用戶的歷史行為按照所屬場(chǎng)景來(lái)源進(jìn)行分組，對(duì)用戶興趣進(jìn)行更精確表達(dá)；

SAINet：SAINet沿著思路1展開優(yōu)化。我們?cè)贒ASFAA'2025（research track）中提出Scenario-adaptive Interest Network（SAINet），SAINet首先堆疊了多個(gè)由Scenario-aware Interest Extracting (SIE) 和Scenario Tailoring Module (STM) 組成的Scenario-adaptive Block。SIE 自適應(yīng)地將場(chǎng)景上下文（類似于行為序列中每一個(gè)商品的屬性信息方式）融入到用戶行為序列，以更精確地捕捉用戶的興趣差異。通過(guò)堆疊的方式實(shí)現(xiàn)深度網(wǎng)絡(luò)，增強(qiáng)了模型對(duì)場(chǎng)景間差異建模的能力。

DSWIN：DSWIN沿著思路2展開優(yōu)化。受序列建模SIM方法的啟發(fā)（即按照類目過(guò)濾篩選與目標(biāo)商品類目相關(guān)的歷史序列），我們按照?qǐng)鼍皩?duì)用戶行為序列進(jìn)行劃分，更有效地提取與目標(biāo)場(chǎng)景相關(guān)的興趣偏好。DSWIN提出了Global Interest Aggregation（GIA）和Local Interest Resolution（LIR）模塊分別建模用戶全局的興趣偏好和用戶場(chǎng)景內(nèi)的興趣偏好。最后引入Interest Disentangling Module將場(chǎng)景的興趣差異進(jìn)行顯式解分離。

四、相關(guān)工作

傳統(tǒng)方法通常使用場(chǎng)景特定的數(shù)據(jù)為每個(gè)場(chǎng)景訓(xùn)練單獨(dú)的模型。然而，這種孤立的模型訓(xùn)練方法通常需要更復(fù)雜的計(jì)算和維護(hù)成本。此外，單獨(dú)的模型無(wú)法捕捉場(chǎng)景之間的相互關(guān)系。目前，最先進(jìn)的模型通常使用所有場(chǎng)景的合并數(shù)據(jù)訓(xùn)練統(tǒng)一模型，以學(xué)習(xí)場(chǎng)景之間的共性和特定特征。目前有兩種主流的多場(chǎng)景建模方法：

Scenario-specific

network structures

Scenario-specific network structures受到多任務(wù)學(xué)習(xí) (MTL)的啟發(fā)。這些方法針對(duì)每個(gè)場(chǎng)景應(yīng)用特定網(wǎng)絡(luò)，并輸出多個(gè)場(chǎng)景特定CTR分?jǐn)?shù)，即把每個(gè)場(chǎng)景當(dāng)作一個(gè)任務(wù)建模，然后沿用多任務(wù)建模思路構(gòu)造模型。MoE提出根據(jù)共享底部輸入選擇子專家。MMoE通過(guò)在所有任務(wù)之間共享子網(wǎng)絡(luò)來(lái)調(diào)整MoE結(jié)構(gòu)，同時(shí)訓(xùn)練輕量級(jí)門控網(wǎng)絡(luò)以優(yōu)化每個(gè)任務(wù)。然而，MMoE 存在蹺蹺板現(xiàn)象（即某一任務(wù)的效果提升通常會(huì)導(dǎo)致其他任務(wù)的效果下降）。為了解決這個(gè)問(wèn)題，PLE明確提出共享專家和任務(wù)特定專家，并采用漸進(jìn)式路由機(jī)制逐步提取和分離更深層的語(yǔ)義知識(shí)，從而在一般設(shè)置中提高跨任務(wù)聯(lián)合表示學(xué)習(xí)和信息傳遞的效率。HMoE利用MMoE隱式識(shí)別場(chǎng)景之間的差別和共同點(diǎn)。然而，由于多場(chǎng)景數(shù)據(jù)集很復(fù)雜，HMoE很難明確捕獲共享和特定信息?？紤]到這一點(diǎn)，SAML引入了場(chǎng)景感知Embedding模塊來(lái)學(xué)習(xí)全局和場(chǎng)景特定視角下的特征表征，并提出了一個(gè)交互單元來(lái)學(xué)習(xí)場(chǎng)景之間的相似性。AESM2提出了一種新穎的專家網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)計(jì)算 KL散度自動(dòng)選擇最合適的共享和特定專家網(wǎng)絡(luò)。

然而Scenario-specific network structures在模型底層表征Embedding上忽略了場(chǎng)景之間的差異，它們都是由很重的網(wǎng)絡(luò)結(jié)構(gòu)組成也不利于實(shí)際上線，因此Parameter adaptive network structures這種輕量結(jié)構(gòu)的多場(chǎng)景模型是目前業(yè)界的主流。

Parameter adaptive

network structures

受語(yǔ)音識(shí)別領(lǐng)域提出的 LHUC算法算法的影響，這些方法提出將場(chǎng)景上下文信息作為輸入，通過(guò)門機(jī)制動(dòng)態(tài)調(diào)整模型底層Embedding和頂層DNN隱藏單元，以學(xué)習(xí)場(chǎng)景多樣性。AdaSparse為每個(gè)場(chǎng)景學(xué)習(xí)自適應(yīng)稀疏結(jié)構(gòu)，增強(qiáng)跨域泛化能力。SASS設(shè)計(jì)了一個(gè)場(chǎng)景自適應(yīng)傳輸模塊，將有用信息從整個(gè)場(chǎng)景注入到單個(gè)場(chǎng)景。DFFM將場(chǎng)景相關(guān)信息納入特征交互和用戶行為模塊的參數(shù)中。3MN提出了一種基于三元網(wǎng)絡(luò)的新穎方法來(lái)建模復(fù)雜的任務(wù)-任務(wù)、場(chǎng)景-場(chǎng)景和任務(wù)-場(chǎng)景相互關(guān)系。PEPNet將場(chǎng)景相關(guān)特征作為輸入，并通過(guò)門機(jī)制動(dòng)態(tài)縮放底層嵌入和頂層DNN隱藏單元。SFPNet包含一系列稱為場(chǎng)景定制模塊，通過(guò)重新定義基本輸入特征并在粗粒度級(jí)別上集成場(chǎng)景信息。

然而這些方法都將用戶的整個(gè)歷史行為序列視為一個(gè)整體，無(wú)法區(qū)分行為序列中的每個(gè)行為交互來(lái)自哪個(gè)場(chǎng)景。如圖 3 (a) 所示，粗粒度的權(quán)重調(diào)整方法（例如 PEPNet）對(duì)從歷史行為聚合而成的表征向量統(tǒng)一施加相同的權(quán)重。圖3 (b) 中的 SAR-Net嘗試在通過(guò)目標(biāo)注意機(jī)制計(jì)算序列中每個(gè)行為的權(quán)重時(shí)融合目標(biāo)場(chǎng)景信息。但它們均無(wú)法區(qū)分行為序列中每個(gè)行為的所屬場(chǎng)景。而正如背景介紹的，不同場(chǎng)景下的用戶行為差異很大，這不可避免地會(huì)降低CTR模型的準(zhǔn)確性。

圖3. PEPNet和SAR-Net中的場(chǎng)景信息利用示意圖

五、SACN：When Multi-scenario Meets Multi-attribute: Scenario and Attribute-aware Recommendationwith Contrastive Learning

整體結(jié)構(gòu)

SACN模型結(jié)構(gòu)如圖4所示。

圖4. SACN示意圖

問(wèn)題定義

令分別表示用戶集合、商品集合、商品ID集合、第j類商品屬性集合和場(chǎng)景集合。表示用戶按時(shí)間順序排列的歷史行為序列，其中是用戶交互序列中的第i個(gè)商品，N是序列的最大長(zhǎng)度。假設(shè)我們有m種商品屬性，則，其中是第i個(gè)交互商品的ID，表示第i個(gè)交互商品的第j種屬性。給定目標(biāo)商品, 目標(biāo)場(chǎng)景及交互歷史，多場(chǎng)景建模的目標(biāo)是預(yù)測(cè)用戶u在場(chǎng)景下對(duì)目標(biāo)商品感興趣的概率。考慮CTR預(yù)估任務(wù)，可將其形式化為：。

具體方法

Item-level Preference Extracting

為了捕捉用戶的粗粒度（Item-level）偏好，Item-level Preference Extracting（IPE）模塊采用場(chǎng)景感知多頭自注意力（MHSA）機(jī)制來(lái)處理商品ID構(gòu)成的用戶歷史序列。我們對(duì)目標(biāo)場(chǎng)景和商品相關(guān)信息在模型里的重要性進(jìn)行了加強(qiáng)。表示行為序列商品ID的Embedding矩陣，目標(biāo)場(chǎng)景和目標(biāo)商品ID特征向量可表示為。場(chǎng)景感知 MHSA的最終輸出計(jì)算如下：

為了使得目標(biāo)商品和歷史行為商品充分交互，并利用目標(biāo)場(chǎng)景指導(dǎo)用戶歷史行為編碼，Q、K、V 將目標(biāo)場(chǎng)景和商品 ID對(duì)應(yīng)的Embedding集成到自注意力的參數(shù)當(dāng)中。集成流程如下：

其中為變換矩陣，表示逐元素乘積。由目標(biāo)場(chǎng)景和商品ID的Embedding重新reshape而成，與變換矩陣維度相同。這樣，目標(biāo)場(chǎng)景和商品ID的信息就可以逐元素、全面地參與到粗粒度用戶偏好提取過(guò)程中。IPE的最終偏好表示公式如下：

類似地，融合其他場(chǎng)景信息的偏好表征向量可以計(jì)算為，只需將Q、K、V 計(jì)算公式中的替換為，其中K表示場(chǎng)景數(shù)量。

Attribute-level Preference Extracting

商品的屬性對(duì)于在不同場(chǎng)景下更全面地捕捉用戶的偏好至關(guān)重要。然而，據(jù)我們所知現(xiàn)有的多屬性建模模型都沒(méi)有利用目標(biāo)場(chǎng)景和商品信息，這會(huì)導(dǎo)致信息丟失，限制網(wǎng)絡(luò)的表達(dá)能力。令表示歷史行為的第j個(gè)商品屬性；目標(biāo)場(chǎng)景和第j個(gè)目標(biāo)商品屬性特征的Embedding矩陣，分別表示為。對(duì)稱地，我們分別用和替換IPE 模塊Q、K、V 計(jì)算公式中的X和。然后Attribute-level Preference Extracting（APE）模塊可以獲得對(duì)應(yīng)于m種商品屬性類型的m個(gè)Attribute-level偏好表征。表示第j個(gè)表征。為了捕捉用戶對(duì)屬性（例如類別或品牌）的不同偏好，我們將融合目標(biāo)場(chǎng)景信息的m個(gè)Attribute-level偏好表征利用原始的注意力網(wǎng)絡(luò)進(jìn)行融合，其定義如下：

類似地，我們可以得到融合其他場(chǎng)景信息的Attribute-level偏好表征。

Scenario Contrastive Module

如前所述，不同場(chǎng)景下的用戶興趣存在顯著差異。利用自監(jiān)督學(xué)習(xí)來(lái)刻畫該差異性。具體而言，我們將融合當(dāng)前目標(biāo)場(chǎng)景信息的Item-level偏好表征和Attribute-level偏好表征視為正對(duì)比樣本，將融合其他場(chǎng)景信息的相應(yīng)表征視為負(fù)樣本。我們利用對(duì)比學(xué)習(xí)損失指導(dǎo)模型增強(qiáng)兩個(gè)正樣本之間的相似度得分，削弱負(fù)樣本和兩個(gè)正樣本之間的相似度得分。因此有兩個(gè)對(duì)比任務(wù)如下：

其中表示相似度函數(shù)，用于計(jì)算兩個(gè)實(shí)例之間的余弦距離。是溫度參數(shù)。Scenario Contrastive Module (SCM) 最終自監(jiān)督學(xué)習(xí)場(chǎng)景之間的區(qū)別興趣，并提高模型辨別場(chǎng)景間區(qū)別的能力。

Prediction and Optimization

我們將IPE和APE的輸出、場(chǎng)景特征和目標(biāo)商品特征連接起來(lái)，然后將它們輸入多層DNN塔：

是用戶與目標(biāo)商品交互的概率。我們使用通用的交叉熵?fù)p失作為目標(biāo)函數(shù)：

其中是樣本的標(biāo)簽。M是樣本數(shù)量。聯(lián)合損失函數(shù)利用超參數(shù)gamma平衡監(jiān)督目標(biāo)和自監(jiān)督目標(biāo)，公式如下：

實(shí)驗(yàn)部分

實(shí)驗(yàn)設(shè)置

數(shù)據(jù)集

我們?cè)贒ewu收集并采樣了多個(gè)場(chǎng)景的樣本作為我們的實(shí)驗(yàn)數(shù)據(jù)集。該數(shù)據(jù)集中的商品屬性包括價(jià)格、三級(jí)類目和商品品牌。所有商品的屬性都是離散類別特征。

評(píng)估指標(biāo)

對(duì)于離線評(píng)估，我們使用ROC曲線下面積 (AUC) 作為評(píng)估指標(biāo)，該指標(biāo)在工業(yè)推薦系統(tǒng)中被廣泛采用。

baseline

為了驗(yàn)證所提出的SACN的有效性，我們將我們的模型的性能與一系列最先進(jìn)的多場(chǎng)景學(xué)習(xí) (MSL) 方法進(jìn)行了比較，即 MMoE、PLE、M2M、PEPNet和MARIA。

整體實(shí)驗(yàn)結(jié)果

我們重復(fù)每個(gè)模型三次并報(bào)告平均結(jié)果。離線比較結(jié)果如表1所示。

表1. SACN和其他方法離線效果對(duì)比

主要觀察結(jié)果總結(jié)如下：

（1）選擇MMOE作為基礎(chǔ)模型是因?yàn)樗贛SL中具有代表性。與MMOE相比，PLE通過(guò)將專家網(wǎng)絡(luò)劃分為兩個(gè)不同的組，實(shí)現(xiàn)了跨場(chǎng)景的更高穩(wěn)定性，并更有效地提取了場(chǎng)景之間的差異和共同點(diǎn)，因此性能更佳。

（2）MMOE和PLE都在模型頂部引入了場(chǎng)景特定的DNN塔，并為不同場(chǎng)景輸出多個(gè)分?jǐn)?shù)。然而，它們忽略了模型的底層（例如Embedding層）優(yōu)化，這將嚴(yán)重降低多場(chǎng)景建模的效果。PEPNet使用場(chǎng)景感知門控單元自適應(yīng)地調(diào)整Embedding層和隱藏層。M2M引入了一種新穎的meta單元，它結(jié)合了豐富的場(chǎng)景知識(shí)來(lái)顯式學(xué)習(xí)場(chǎng)景相關(guān)性，并增強(qiáng)了捕獲場(chǎng)景特定特征表示的能力。它們都比MMoE和PLE表現(xiàn)更好。

（3）MARIA通過(guò)優(yōu)化模型的底層和上層結(jié)構(gòu)而勝過(guò)其他模型。然而，所有這些方法在多場(chǎng)景建模時(shí)對(duì)于用戶行為的利用都只考慮商品ID，而沒(méi)有考慮商品的多種屬性的影響，而這些屬性對(duì)于生成豐富的潛在興趣表征和反映用戶在不同場(chǎng)景下的興趣差異是必不可少的。由于在多場(chǎng)景建模中利用了商品屬性信息，我們的SACN模型在所有場(chǎng)景中都取得了與其他模型相比最好的性能。

消融實(shí)驗(yàn)

為了驗(yàn)證所提出的SACN中每個(gè)組件的有效性，特別是多屬性相關(guān)模塊，我們進(jìn)行了幾項(xiàng)消融實(shí)驗(yàn)：

（1）w/o APE從SACN模型中刪除了APE模塊，代表未引入商品屬性信息；

（2）w/o APE（w DIF-SR）用DIF-SR替換了APE模塊，DIF-SR是一種基于自注意力的屬性感知行為建模方法，但其不考慮目標(biāo)場(chǎng)景和商品信息；

（3）w/o APE（w ASIF）用 ASIF替換了APE模塊， ASIF也是一種具有對(duì)齊商品ID和屬性信息的屬性感知行為序列建模方法；

（4）w/o SCM是從SACN中刪除了SCM模塊，這意味著興趣差異沒(méi)有進(jìn)行明確區(qū)分；

消融實(shí)驗(yàn)結(jié)果如表2所示。我們發(fā)現(xiàn)刪除APE后，模型效果會(huì)顯著下降，甚至比PEPNet更差。這一觀察證明了在對(duì)多種場(chǎng)景進(jìn)行建模時(shí)利用商品屬性的正確性和必要性。當(dāng)用其他多屬性感知行為建模方法替換APE而不使用目標(biāo)場(chǎng)景和商品信息時(shí)，也會(huì)觀察到AUC在下降，這意味著這目標(biāo)場(chǎng)景和商品信息有利于學(xué)習(xí)細(xì)粒度的偏好表征。此外，如果沒(méi)有SCM，模型性能在所有場(chǎng)景中都會(huì)顯著下降。這表明，把融合了場(chǎng)景信息的Item-level偏好和Attribute偏好作為自監(jiān)督信號(hào)對(duì)于區(qū)分場(chǎng)景間的興趣非常有幫助。

表2. SACN變體消融實(shí)驗(yàn)結(jié)果

AB實(shí)驗(yàn)

為了進(jìn)一步證明所提出的SACN的有效性，我們將其部署在平臺(tái)上進(jìn)行 A/B 測(cè)試。由于工業(yè)環(huán)境限制，無(wú)法在線比較所有基線模型。因此，我們選擇PEPNet作為比較的基線模型。在線評(píng)估指標(biāo)是pvctr，即點(diǎn)擊次數(shù)除以展示次數(shù)。經(jīng)過(guò)一周的在線A/B測(cè)試，我們發(fā)現(xiàn)所提出的SACN比PEPNet模型實(shí)現(xiàn)了持續(xù)改進(jìn)，即總體上實(shí)現(xiàn) 了pvctr+1.02%的提升幅度。簡(jiǎn)而言之，在線A/B測(cè)試結(jié)果再次證明了我們的SACN模型在工業(yè)環(huán)境中的有效性和實(shí)用性。

結(jié)論

在本文中，我們提出了一種用于多場(chǎng)景學(xué)習(xí)的新方法SACN，在對(duì)用戶行為進(jìn)行建模時(shí)同時(shí)引入了場(chǎng)景信息和商品屬性信息。SACN可以利用商品ID和屬性來(lái)捕獲用戶的粗粒度和細(xì)粒度偏好。偏好提取過(guò)程還考慮了使用目標(biāo)場(chǎng)景和目標(biāo)商品先驗(yàn)信息來(lái)得到更好的效果。在自監(jiān)督學(xué)習(xí)的幫助下，SACN結(jié)合用戶的Item-level和Attribute-level興趣表示對(duì)不同場(chǎng)景中用戶的偏好差異進(jìn)行區(qū)分。通過(guò)大量實(shí)驗(yàn)表明，SACN始終優(yōu)于最先進(jìn)的基線模型。

六、SAINet：Towards Scenario-adaptive User Behavior Modeling for Multi-scenario Recommendation

整體結(jié)構(gòu)

如圖 5 (a) 所示，PEPNet對(duì)從歷史行為聚合（可以使用concat、pooling等聚合方式）而成的表征向量統(tǒng)一施加相同的權(quán)重。圖5 (b) 中的SAR-Net嘗試在通過(guò)目標(biāo)注意機(jī)制計(jì)算序列中每個(gè)行為的權(quán)重時(shí)融合目標(biāo)場(chǎng)景信息。但它們僅僅用到了目標(biāo)場(chǎng)景的信息，均無(wú)法區(qū)分行為序列中每個(gè)行為的所屬場(chǎng)景。圖5（c)中我們提出的SAINet則把場(chǎng)景信息作為一種屬性side info自適應(yīng)地加入到用戶歷史行為序列中，同時(shí)使用級(jí)聯(lián)堆疊的方式讓場(chǎng)景信息在深層的網(wǎng)絡(luò)結(jié)構(gòu)中得到有效表達(dá)。SAINet的具體結(jié)構(gòu)如圖6所示，它主要由一系列Scenario-adaptive Block，Target-aware Interest Fusion和Scenario-aware DNN Tower三大部分組成。

圖5. SAINet和PEPNet、SAR-Net的對(duì)比

圖6. SAINet示意圖

問(wèn)題定義

令為包含個(gè)商品的集合，表示包含K個(gè)場(chǎng)景的集合。表示用戶u的歷史行為按時(shí)間順序排列的序列，N表示序列的長(zhǎng)度。給定目標(biāo)商品、目標(biāo)場(chǎng)景和其他特征，多場(chǎng)景建模任務(wù)旨在設(shè)計(jì)一個(gè)統(tǒng)一的排序模型，以同時(shí)在K個(gè)場(chǎng)景中提供準(zhǔn)確和個(gè)性化的商品推薦。我們選擇點(diǎn)擊率 (CTR) 預(yù)測(cè)作為我們的任務(wù)，其公式如下：

CTR預(yù)測(cè)是預(yù)測(cè)用戶u在場(chǎng)景中與目標(biāo)商品交互的概率。我們采用業(yè)界通用的Embedding技術(shù)將稀疏特征轉(zhuǎn)換為低維dense向量。例如，分別表示目標(biāo)商品和其他特征的Embedding。

具體方法

Scenario-adaptive Block

如圖5所示，現(xiàn)有方法在進(jìn)行多場(chǎng)景建模時(shí)，無(wú)法區(qū)分不同場(chǎng)景下用戶行為的差異，而行為序列中蘊(yùn)含的場(chǎng)景感知先驗(yàn)知識(shí)對(duì)提升模型結(jié)果的準(zhǔn)確率有重要影響。因此，我們?cè)O(shè)計(jì)了Scenario-adaptive Block，它自適應(yīng)地將場(chǎng)景感知上下文注入用戶行為序列，獲得全面、細(xì)粒度的興趣表征，同時(shí)根據(jù)目標(biāo)場(chǎng)景信息定制用戶興趣表征，進(jìn)一步捕捉與當(dāng)前場(chǎng)景密切相關(guān)的用戶興趣。Scenario-adaptive Block由L層堆疊而成，每個(gè)Block包含兩個(gè)模塊（Scenario-aware Interest Extracting和Scenario Tailoring Module）。通過(guò)堆疊Block，SAINet構(gòu)建了一個(gè)深度網(wǎng)絡(luò)，逐步增強(qiáng)了其對(duì)不同場(chǎng)景行為差異的建模能力。為了闡明這一點(diǎn)，我們給出了第l個(gè)Block內(nèi)的計(jì)算過(guò)程，如下所示：

Scenario-aware Interest Extracting

Scenario-aware Interest Extracting (SIE) 模塊旨在整合來(lái)自歷史行為的場(chǎng)景先驗(yàn)信息并提取更細(xì)粒度的用戶興趣。我們采用了包含特定場(chǎng)景知識(shí)的改進(jìn)多頭自注意力 (MHA) 。表示第（l-1）個(gè)block的輸出，N表示歷史交互商品的數(shù)量。經(jīng)過(guò)MHA后，的編碼興趣矩陣記為，編碼計(jì)算方法如下：

Q、K、V 將場(chǎng)景Embedding集成到第（l-1）個(gè)block的輸出中，以獲得更精確的興趣表征。令表示每個(gè)行為所來(lái)自場(chǎng)景的Embedding矩陣。然后集成過(guò)程可以定義為：

其中h表示head數(shù)量。表示輸出線性變換的權(quán)重矩陣，其中。分別是query、key、value對(duì)應(yīng)的第i個(gè)head的投影矩陣。是場(chǎng)景Embedding的變換矩陣。

Scenario Tailoring Module

盡管SIE考慮利用歷史行為中的場(chǎng)景信息，但它忽略了目標(biāo)場(chǎng)景信息，而目標(biāo)場(chǎng)景信息對(duì)于顯式捕捉與當(dāng)前場(chǎng)景相關(guān)的用戶興趣非常重要。我們提出了Scenario Tailoring Module (STM) 來(lái)進(jìn)一步定制處理用戶的興趣表征（即。STM由N個(gè)輕量級(jí)門控單元組成。第i個(gè)門控調(diào)節(jié)計(jì)算如下：

其中分別是投影矩陣和偏置項(xiàng)。是縮放因子，用于進(jìn)一步壓縮和放大定制信號(hào)。表示目標(biāo)場(chǎng)景的Embedding。是逐元素乘積。最后，第l個(gè)block的興趣表征可以定義為Scenario-adaptive Bloc塊迭代L次，以提高其捕捉場(chǎng)景間行為差異的能力。特別地，第一個(gè)block的原始輸入（即）定義為：

其中表示用戶行為序列的Embedding矩陣

Target-aware Interest Fusion

在經(jīng)過(guò)Scenario-adaptive Block后，會(huì)生成多個(gè)興趣表征。所有表征必須首先進(jìn)行融合，以方便其與傳輸?shù)较掠?DNN網(wǎng)絡(luò)的其他特征向量融合。我們采用Target-aware Interest Fusion (TIF) 通過(guò)注意力機(jī)制進(jìn)行融合：

其中表示與目標(biāo)商品和目標(biāo)場(chǎng)景相對(duì)應(yīng)的融合興趣表征向量。是可學(xué)習(xí)參數(shù)。是注意力權(quán)重，可以按如下公式計(jì)算：

其中之間的相關(guān)性。表示目標(biāo)商品Embedding和場(chǎng)景Embedding拼接后得到的向量。是可學(xué)習(xí)參數(shù)。

Scenario-aware DNN Tower

雖然我們優(yōu)先考慮底層架構(gòu)（即用戶行為）的優(yōu)化，但模型頂層的優(yōu)化也是不容忽視的。因此，我們通過(guò)在預(yù)測(cè)階段引入Scenario-aware DNN Tower(SDT)對(duì)DNN頂層的隱層單元進(jìn)行動(dòng)態(tài)縮放。我們首先將所有輸出連接起來(lái)：

然后使用Scenario-aware DNN Tower(SDT)來(lái)預(yù)測(cè)用戶點(diǎn)擊目標(biāo)商品的概率：

其中sDNN中第j層的具體計(jì)算為：

其中為Sigmoid激活函數(shù)。分別為第j層的權(quán)重和bias。對(duì)于CTR任務(wù)，我們使用如下交叉熵?fù)p失作為目標(biāo)函數(shù)：

其中是樣本的ground truth。|D|是樣本的數(shù)量。

實(shí)驗(yàn)部分

我們進(jìn)行了大量實(shí)驗(yàn)來(lái)驗(yàn)證我們提出的SAINet模型的有效性并回答以下問(wèn)題：

RQ1：與最先進(jìn)的基線相比，SAINet的表現(xiàn)如何？

RQ2：SAINet中的每個(gè)模塊是如何工作的？

RQ3：所提出的 SAINet 中的超參數(shù)如何影響其性能？

實(shí)驗(yàn)設(shè)置

1.數(shù)據(jù)集

我們?cè)谝韵聝蓚€(gè)真實(shí)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。數(shù)據(jù)集統(tǒng)計(jì)信息見(jiàn)表3。

AliCCP：AliCCP是淘寶發(fā)布的帶有訓(xùn)練和測(cè)試集的公開數(shù)據(jù)集，在推薦領(lǐng)域的相關(guān)文獻(xiàn)中被廣泛使用。我們根據(jù)上下文特征值將數(shù)據(jù)集分為三個(gè)場(chǎng)景（縮寫為#C1至#C3）。

Dewu數(shù)據(jù)集：它涉及五個(gè)場(chǎng)景（表示為#A1至#A5）的用戶日志，通過(guò)隨機(jī)抽樣得到。

表3. 數(shù)據(jù)集基本信息統(tǒng)計(jì)

2.評(píng)估指標(biāo)

我采用廣泛使用的準(zhǔn)確率指標(biāo)AUC來(lái)驗(yàn)證模型性能。AUC表示測(cè)試集上ROC曲線下的面積。AUC的小幅提升可能會(huì)導(dǎo)致真實(shí)工業(yè)平臺(tái)上CTR指標(biāo)的顯著提升。

3.baseline

為了證明我們提出的模型的有效性，我們將SAINet與多場(chǎng)景建模中的三類方法進(jìn)行了比較。

General recommenders：所有場(chǎng)景的樣本被合并以訓(xùn)練統(tǒng)一的排名模型。

• DNN：這是一個(gè)通用模型，由全參數(shù)共享的單DNN塔進(jìn)行預(yù)測(cè)打分。
• DeepFM：它結(jié)合了factorization machines和DNN組件，消除了人工特征工程。

Scenario-specific network structures：每個(gè)場(chǎng)景都被視為不同任務(wù)，由多個(gè)場(chǎng)景特定的網(wǎng)絡(luò)構(gòu)成。

• SharedBottom (SBT)：在底層共享所有參數(shù)，在頂層采用多個(gè)場(chǎng)景特定的DNN塔。
• MMoE：將原有的多任務(wù)學(xué)習(xí)轉(zhuǎn)移到多場(chǎng)景學(xué)習(xí)。MMoE應(yīng)用門控網(wǎng)絡(luò)調(diào)整底層專家輸出表征向量，然后是場(chǎng)景特定的塔，并學(xué)習(xí)從數(shù)據(jù)中建模場(chǎng)景關(guān)系。
• LE：在MMoE的基礎(chǔ)上引入場(chǎng)景共享專家和場(chǎng)景特定專家，有效緩解蹺蹺板現(xiàn)象。
• STAR: 設(shè)計(jì)星型拓?fù)浣Y(jié)構(gòu)，一個(gè)中心網(wǎng)絡(luò)維護(hù)所有場(chǎng)景的共性信息，一組場(chǎng)景特定網(wǎng)絡(luò)區(qū)分場(chǎng)景差異信息。
• AESM2: 提出一種新穎的專家網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)計(jì)算KL散度自動(dòng)選擇細(xì)粒度專家，動(dòng)態(tài)選擇最合適的共享專家和特定專家。

Parameter adaptive network structures：場(chǎng)景上下文直接應(yīng)用于Embedding層和DNN的隱藏層，并根據(jù)場(chǎng)景變化動(dòng)態(tài)調(diào)整模型參數(shù)。

• PEPNet：以場(chǎng)景相關(guān)特征為輸入，通過(guò)門控機(jī)制動(dòng)態(tài)縮放模型中底層嵌入和頂層DNN隱藏單元。
• AdaSparse (ADS) 自適應(yīng)學(xué)習(xí)每個(gè)場(chǎng)景的稀疏結(jié)構(gòu)，通過(guò)學(xué)習(xí)權(quán)重修剪冗余神經(jīng)元，增強(qiáng)跨場(chǎng)景泛化能力。
• SFPNet:由一系列場(chǎng)景定制模塊組成，通過(guò)重新定義基礎(chǔ)特征，在粗粒度級(jí)別集成場(chǎng)景信息，同時(shí)將目標(biāo)場(chǎng)景信息融入行為建模中，支持目標(biāo)場(chǎng)景感知的用戶興趣建模。

整體實(shí)驗(yàn)結(jié)果

表4顯示了所有方法在兩個(gè)數(shù)據(jù)集上的比較結(jié)果。對(duì)于每種方法，我們重復(fù)實(shí)驗(yàn)五次并報(bào)告平均結(jié)果。使用t-test進(jìn)行統(tǒng)計(jì)顯著性檢驗(yàn)。我們的方法相對(duì)于最佳基線的效果在0.05水平上具有統(tǒng)計(jì)意義顯著性。

表4. SAINet和其他方法離線效果對(duì)比

基于此我們可以得出以下結(jié)論：

• 所有General recommenders方法在兩個(gè)數(shù)據(jù)集上的表現(xiàn)都不如其他方法。這是因?yàn)樗鼈兌己雎粤藞?chǎng)景之間的相互關(guān)系和差異。為了解決這個(gè)問(wèn)題，Scenario-specific network structures被提出并實(shí)現(xiàn)了顯著的性能提升。SharedBottom增加了幾個(gè)場(chǎng)景特有的DNN塔來(lái)利用場(chǎng)景特定的知識(shí)，這無(wú)法捕捉場(chǎng)景之間復(fù)雜的相互作用。MMoE使用專家和門控網(wǎng)絡(luò)來(lái)提取不同場(chǎng)景的共性并得到更好的結(jié)果。但MMoE在多個(gè)場(chǎng)景中表現(xiàn)出蹺蹺板現(xiàn)象（即一個(gè)場(chǎng)景的改進(jìn)往往會(huì)導(dǎo)致其他場(chǎng)景的性能下降）。例如，與DeepFM相比，MMoE在工業(yè)數(shù)據(jù)集的場(chǎng)景#A4和場(chǎng)景#A5中的表現(xiàn)不盡如人意，因?yàn)檫@些場(chǎng)景具有更多不同的特性和不均勻的數(shù)據(jù)分布，而MMoE不足以處理它。PLE 通過(guò)將專家分為兩組（即部分場(chǎng)景共享和部分場(chǎng)景特有），緩解了這一現(xiàn)象，并在兩個(gè)數(shù)據(jù)集上都表現(xiàn)出比MMoE 更好的性能。AESM2進(jìn)一步引入了專家自動(dòng)選擇機(jī)制，以獲得比PLE更好的性能。
• Scenario-specific network structures僅優(yōu)化了網(wǎng)絡(luò)的頂層部分。然而，底層Embedding表征中場(chǎng)景之間的差異對(duì)于實(shí)現(xiàn)良好的性能也至關(guān)重要。PEPNet通過(guò)將場(chǎng)景相關(guān)特征作為輸入，并通過(guò)門機(jī)制動(dòng)態(tài)縮放模型中的底層Embedding和頂層DNN隱藏單元，在兩個(gè)數(shù)據(jù)集上都獲得了良好的性能改進(jìn)。與PEPNet相比，AdaSparse的性能較差，因?yàn)橄∈桦[藏單元的機(jī)制難以學(xué)習(xí)。SFPNet在實(shí)驗(yàn)中表現(xiàn)出所有基線中的最佳性能，因?yàn)樗闪藞?chǎng)景信息重新定義基本特征，同時(shí)將目標(biāo)場(chǎng)景信息和行為融合以支持場(chǎng)景感知的用戶興趣建模。然而，所有這些研究都忽略了利用歷史行為序列和目標(biāo)商品中涉及的場(chǎng)景先驗(yàn)知識(shí)來(lái)有效地建模用戶在不同場(chǎng)景中的興趣差異。我們提出的SAINet通過(guò)引入豐富的場(chǎng)景上下文明確地建模了不同場(chǎng)景中用戶行為的差異。此外，它還可以輕松捕捉跨場(chǎng)景的興趣遷移。如表4所示，SAINet在兩個(gè)數(shù)據(jù)集上的所有場(chǎng)景中都優(yōu)于所有基線。

消融實(shí)驗(yàn)

為了評(píng)估SAINet中每個(gè)模塊的有效性，我們還將SAINet與其變體進(jìn)行了比較。考慮了以下變體：

• w/o SIE：從Scenario-adaptive Block中刪除了SIE，這意味著該模塊不再?gòu)?qiáng)調(diào)歷史行為中的場(chǎng)景信息。
• w/o STM：從Scenario-adaptive Block中刪除了STM，這意味著目標(biāo)場(chǎng)景信息不用于定制化興趣表征。
• w/o TIF：從SAINet中刪除了TIF模塊，并將其替換為mean pooling操作。
• w/o SDT：從SAINet中刪除了SDT模塊，并將其替換為正常的DNN網(wǎng)絡(luò)。

具體的消融實(shí)驗(yàn)結(jié)果如表5所示。

表5. SAINet變體消融實(shí)驗(yàn)結(jié)果

如表5所示，每個(gè)模塊都對(duì)SAINet的性能做出有效貢獻(xiàn)。具體而言，SIE模塊的缺失（w/o SIE）會(huì)影響所有場(chǎng)景的預(yù)測(cè)性能，表明在增強(qiáng)對(duì)不同場(chǎng)景的用戶興趣差異進(jìn)行建模的能力時(shí)，整合來(lái)自歷史行為的場(chǎng)景先驗(yàn)知識(shí)是至關(guān)重要的。此外，STM的移除（w/o STM）也會(huì)導(dǎo)致模型的預(yù)測(cè)性能明顯下降。這有力地驗(yàn)證了定制用戶興趣表示以捕捉與當(dāng)前場(chǎng)景顯著相關(guān)的用戶偏好的有效性。此外，如果沒(méi)有TIF模塊，模型性能在兩個(gè)數(shù)據(jù)集中都會(huì)有所下降。這反映了引入目標(biāo)注意機(jī)制而不是mean pooling的興趣融合對(duì)于確保預(yù)測(cè)準(zhǔn)確性非常有幫助。最后，刪除SDT將損害模型的性能。這表明，在場(chǎng)景信息的幫助下調(diào)整頂層網(wǎng)絡(luò)參數(shù)也不容忽視，以獲得更好的結(jié)果。

超參實(shí)驗(yàn)

我們進(jìn)行了大量實(shí)驗(yàn)來(lái)檢驗(yàn)幾個(gè)關(guān)鍵超參數(shù)的影響，其中包括Scenario-adaptive Block的數(shù)量L、STM模塊中的縮放因子、SIE模塊中的head數(shù)量h。

Block數(shù)量L的影響：圖7 (a) 說(shuō)明了不同L對(duì)模型效果的影響。隨著數(shù)值的增加，AUC呈現(xiàn)出改善的趨勢(shì)。這主要是因?yàn)殡S著L的增大，興趣表示和場(chǎng)景上下文之間的相互作用得到加強(qiáng)，而將L增加到 2以上并沒(méi)有帶來(lái)顯著的收益。

的影響：縮放因子在 {0.8, 1.2, 1.6, 2.0, 2.4, 2.8} 中進(jìn)行多組實(shí)驗(yàn)。根據(jù)圖7（b) 所示的曲線，當(dāng)因子值等于2時(shí)，SAINet在AUC上表現(xiàn)最佳，而將值增加到2以上會(huì)降低其性能。因此，我們?cè)谒袑?shí)驗(yàn)中將SAINet及其變體中的縮放因子設(shè)置為2。

head數(shù)量h的影響：h在 {2, 4, 6, 8, 10} 進(jìn)行選擇。圖7 (c) 顯示了head數(shù)量對(duì)SIE中多頭注意力機(jī)制的影響。當(dāng)head等于4時(shí)，AUC曲線達(dá)到峰值，而引入超過(guò)4的head數(shù)量會(huì)帶來(lái)更差的性能。因此，在所有實(shí)驗(yàn)中將h設(shè)置為 4。

圖7. SAINet超參實(shí)驗(yàn)曲線圖

結(jié)論

本文強(qiáng)調(diào)了區(qū)分不同場(chǎng)景下用戶行為差異對(duì)興趣建模的必要性，并提出SAINet模型。它首先引入了一系列Scenario-adaptive Block，將場(chǎng)景先驗(yàn)知識(shí)融合到用戶行為當(dāng)中以捕捉用戶的細(xì)粒度興趣，并根據(jù)目標(biāo)場(chǎng)景上下文定制興趣表示。通過(guò)堆疊block，可以增強(qiáng)對(duì)不同場(chǎng)景興趣差異的建模能力。SAINet還利用場(chǎng)景感知DNN Tower (SDT) 來(lái)自動(dòng)調(diào)節(jié)頂層 DNN隱藏單元，從而獲得更好的預(yù)測(cè)結(jié)果。大量實(shí)驗(yàn)證明了SAINet在多場(chǎng)景建模中的優(yōu)勢(shì)。

七、DSWIN：Disentangling Scenario-wise Interest Network for Multi-scenario Recommendation

整體結(jié)構(gòu)

如圖8所示，和SAINet類似，我們把DSWIN和PEPNet、SAR-Net進(jìn)行對(duì)比。圖8 (a) PEPNet對(duì)從歷史行為聚合（可以使用concat、pooling等聚合方式）而成的表征向量統(tǒng)一施加相同的權(quán)重。圖8 (b) 中的SAR-Net嘗試在通過(guò)目標(biāo)注意機(jī)制計(jì)算序列中每個(gè)行為的權(quán)重時(shí)融合目標(biāo)場(chǎng)景信息。但它們僅僅用到了目標(biāo)場(chǎng)景的信息，均無(wú)法區(qū)分行為序列中每個(gè)行為的所屬場(chǎng)景。圖8（c)中我們提出的DSWIN則按照?qǐng)鼍靶畔?duì)用戶行為進(jìn)行分組，并引入Global Interest Aggregation建模用戶全局行為興趣，Local Interest Resolution建模用戶在每個(gè)場(chǎng)景內(nèi)的局部興趣，最后Interest Disentangling Module對(duì)用戶在不同場(chǎng)景下的興趣進(jìn)行解分離。DSWIN的具體結(jié)構(gòu)如圖9所示，它主要由Global Interest Aggregation，Local Interest Resolution和Interest Disentangling Module三大部分組成。

圖8. DSWIN和PEPNet、SAR-Net的對(duì)比

圖9. DSWIN示意圖

問(wèn)題定義

令個(gè)商品組成的集合，表示K個(gè)場(chǎng)景組成的集合。表示用戶u的歷史行為按時(shí)間順序排列的序列，N表示序列的長(zhǎng)度。表示用戶在第k個(gè)場(chǎng)景中發(fā)生行為的子序列，滿足。給定目標(biāo)商品、目標(biāo)場(chǎng)景和其他特征，多場(chǎng)景建模任務(wù)旨在設(shè)計(jì)一個(gè)統(tǒng)一的排名模型，同時(shí)在多個(gè)場(chǎng)景中提供準(zhǔn)確且個(gè)性化的推薦。我們的工作考慮了點(diǎn)擊率 (CTR) 預(yù)測(cè)任務(wù)，其公式如下：

CTR 預(yù)測(cè)是利用行為序列和其他上下文特征，預(yù)測(cè)用戶u在給定場(chǎng)景中點(diǎn)擊目標(biāo)商品。我們利用廣泛使用的Embedding技術(shù)將稀疏特征轉(zhuǎn)換為低維dense向量。例如，分別表示目標(biāo)商品和其他特征的Embedding向量。

具體方法

Global Interest Aggregation

如圖8所示，先前的研究將用戶的歷史行為序列視為一個(gè)整體，而忽略了行為產(chǎn)生來(lái)源場(chǎng)景的信息。因此，我們首先設(shè)計(jì)了Global Interest Aggregation（GIA）模塊，該模塊動(dòng)態(tài)融合用戶的全局行為和場(chǎng)景感知的上下文信息，旨在獲得全面、細(xì)粒度的興趣表征。

Scenario-aware Context Aggregation Module

我們首先設(shè)計(jì)了Scenario-aware Context Aggregation Module（SCAM），它使用注意力機(jī)制對(duì)來(lái)自不同場(chǎng)景的行為進(jìn)行聚合。同時(shí)，我們考慮將來(lái)自歷史行為和當(dāng)前樣本的目標(biāo)場(chǎng)景先驗(yàn)信息集成到SCAM中，以更好地理解用戶的場(chǎng)景感知全局興趣。因此，SCAM可以表述如下：

其中表示與當(dāng)前樣本和目標(biāo)場(chǎng)景相對(duì)應(yīng)的興趣表征向量，它是由歷史交互商品的加權(quán)聚合而成，是可學(xué)習(xí)參數(shù)。是注意力權(quán)重，可以表示如下：

其中是目標(biāo)商品與用戶在行為序列中第j個(gè)交互商品之間的相關(guān)性。表示目標(biāo)商品Embedding向量與場(chǎng)景Embedding向量的拼接。類似地，表示第j個(gè)點(diǎn)擊商品Embedding向量與對(duì)應(yīng)場(chǎng)景Embedding向量的拼接。是學(xué)習(xí)參數(shù)。

Context Feedback Fusion Module

盡管SCAM考慮在計(jì)算權(quán)重時(shí)利用場(chǎng)景信息，但其表達(dá)目標(biāo)場(chǎng)景與用戶行為之間復(fù)雜相互作用的能力有限。為了進(jìn)一步捕捉與當(dāng)前目標(biāo)場(chǎng)景密切相關(guān)的用戶全局興趣，我們提出了Context Feedback Fusion Module（CFFM），通過(guò)非線性特征交互將行為的興趣表征向量與相應(yīng)的上下文（即目標(biāo)商品和場(chǎng)景）融合在一起。具體來(lái)說(shuō)，CFFM 由具有k個(gè)block的MLP組成：

其中是第k層的輸出，是可學(xué)習(xí)參數(shù)。初始化輸入公式如下：

其中*表示逐元素乘積。我們最終可以獲得與目標(biāo)場(chǎng)景上下文和當(dāng)前樣本相對(duì)應(yīng)的全局興趣。

Local Interest Resolution

為了明確區(qū)分不同場(chǎng)景下用戶興趣的差異，我們?cè)O(shè)計(jì)了Local Interest Resolution（LIR）模塊，以明確提取每個(gè)子場(chǎng)景中用戶的場(chǎng)景興趣。LIR將全局行為按場(chǎng)景拆分為多個(gè)子序列，并由多個(gè)結(jié)構(gòu)對(duì)稱的Interest Extracting Unit（IEU）組成?？紤]到同一場(chǎng)景下的用戶行為更加集中和明確，每個(gè)IEU采用改進(jìn)的多頭自注意力（MHA），在IEU里引入特定場(chǎng)景信息作為偏差項(xiàng)來(lái)建模每個(gè)子序列并獲得用戶在不同場(chǎng)景中的局部興趣表征。此外，MHA使LIR能夠從多個(gè)興趣角度建模用戶的偏好。

Interest Extracting Unit

表示用戶在第k個(gè)場(chǎng)景中發(fā)生交互的行為子序列，表示發(fā)生交互的商品數(shù)量。經(jīng)過(guò)Embedding變換后，可表示場(chǎng)景中的行為Embedding矩陣。經(jīng)過(guò)MHA編碼后矩陣，記為，計(jì)算方法如下：

Q、K、V 將場(chǎng)景Embedding作為偏置項(xiàng)集成到行為Embedding矩陣中，以指導(dǎo)局部興趣解析。它們的定義如下：

其中h表示head的數(shù)量。表示輸出線性變換的權(quán)重矩陣，。分別是query、key、value對(duì)應(yīng)的第i個(gè)head的投影矩陣。是偏置項(xiàng)的變換矩陣。隨后，輸出矩陣經(jīng)過(guò)mean pooling層處理，得到一個(gè)表征向量，表示用戶在第k個(gè)場(chǎng)景中的局部興趣。特別地，對(duì)于當(dāng)前場(chǎng)景。最后，LIR的輸出由所有K個(gè)場(chǎng)景的表示組成：

Interest Disentangling Module

如前所述，不同場(chǎng)景下的用戶興趣既有重疊之處，也有差異之處。由于不存在用戶興趣的標(biāo)注信息（沒(méi)有一個(gè)顯式的信號(hào)告訴模型兩個(gè)興趣表征是否相似），目前的監(jiān)督建模方法缺乏明確的監(jiān)督信號(hào)來(lái)充分區(qū)分不同場(chǎng)景的興趣。因此，我們利用自監(jiān)督學(xué)習(xí)來(lái)解分離場(chǎng)景間的興趣。與現(xiàn)有的結(jié)合對(duì)比學(xué)習(xí)的方法不同，這些方法往往側(cè)重于復(fù)雜的數(shù)據(jù)增強(qiáng)技術(shù)，我們分析特定領(lǐng)域問(wèn)題并基于原始數(shù)據(jù)設(shè)計(jì)對(duì)比策略。具體而言，我們將當(dāng)前目標(biāo)場(chǎng)景的全局興趣表征和局部興趣表征作為正對(duì)比樣本，將其他場(chǎng)景的局部興趣表征作為負(fù)樣本。我們利用對(duì)比學(xué)習(xí)損失來(lái)教導(dǎo)模型增強(qiáng)兩個(gè)正樣本之間的相似度得分，削弱負(fù)樣本和兩個(gè)正樣本之間的相似度得分。因此有兩個(gè)對(duì)比任務(wù)如下：

上述優(yōu)化目標(biāo)通過(guò)InfoNCE損失計(jì)算，如下所示：

其中表示相似度函數(shù)，用于計(jì)算兩個(gè)實(shí)例之間的余弦距離。是溫度參數(shù)。LIR最終通過(guò)強(qiáng)烈的自監(jiān)督信號(hào)監(jiān)督場(chǎng)景興趣的分離，并提高模型辨別不同場(chǎng)景差異的能力。

Prediction and Optimization

我們將GIA和LIR的輸出、場(chǎng)景特征、目標(biāo)商品特征和其他特征連接起來(lái)：

然后結(jié)合多層DNN塔來(lái)預(yù)測(cè)用戶點(diǎn)擊目標(biāo)商品的可能性：

其中是sigmoid激活函數(shù)。對(duì)于 CTR 預(yù)測(cè)等監(jiān)督任務(wù)，我們使用交叉熵?fù)p失作為目標(biāo)函數(shù)：

其中是樣本的 ground truth。|D|是樣本的數(shù)量。我們以端到端的方式在監(jiān)督和自監(jiān)督目標(biāo)上訓(xùn)練模型。具體來(lái)說(shuō)，聯(lián)合損失函數(shù)帶有一個(gè)超參數(shù)來(lái)平衡目標(biāo)，可以表述如下：

實(shí)驗(yàn)部分

我們進(jìn)行了大量實(shí)驗(yàn)來(lái)驗(yàn)證我們提出的框架的有效性，并回答以下問(wèn)題：

RQ1：與最先進(jìn)的基線模型相比，DSWIN的表現(xiàn)如何？

RQ2：DSWIN中每個(gè)模塊如何工作？

RQ3：提出的DSWIN中的超參數(shù)如何影響其性能？

RQ4：DSWIN能否有效地根據(jù)場(chǎng)景解分離用戶興趣？

實(shí)驗(yàn)設(shè)置

同第二篇文章SAINet所述。

整體實(shí)驗(yàn)結(jié)果

表6分別顯示了所有方法在工業(yè)和公共數(shù)據(jù)集上的比較結(jié)果。對(duì)于每種方法，我們重復(fù)實(shí)驗(yàn)五次并報(bào)告平均結(jié)果。使用t-test進(jìn)行統(tǒng)計(jì)顯著性檢驗(yàn)。我們的模型相對(duì)于最佳基線的性能在0.05水平上具有統(tǒng)計(jì)顯著性。可以得出以下結(jié)論。

表6. DSWIN和其他方法離線效果對(duì)比

所有General recommenders方法在兩個(gè)數(shù)據(jù)集上與其他解決方案相比，效果始終不盡如人意。DNN使用單個(gè)DNN塔來(lái)處理所有場(chǎng)景，完全忽略了場(chǎng)景之間的相互關(guān)系和差異。雖然DeepFM嘗試在特征交互方面進(jìn)行一些優(yōu)化，但當(dāng)數(shù)據(jù)集表現(xiàn)出明顯的場(chǎng)景變化時(shí)，效果并沒(méi)有得到明顯改善。

為了解決General recommenders方法的問(wèn)題，Scenario-specific network structures被提出。它們都比 General recommenders帶來(lái)了顯著的性能提升。SharedBottom 為每個(gè)場(chǎng)景添加了幾個(gè)特定的DNN塔，以利用場(chǎng)景特定的知識(shí)，這不足以捕捉場(chǎng)景之間復(fù)雜的相互作用。MMoE使用專家和門控網(wǎng)絡(luò)來(lái)提取有關(guān)場(chǎng)景和用戶的更有效信息，STAR使用共享網(wǎng)絡(luò)來(lái)維護(hù)整個(gè)場(chǎng)景的共性。MMoE和STAR均增強(qiáng)了模型跨場(chǎng)景學(xué)習(xí)共享知識(shí)的能力，因此優(yōu)于 SharedBottom。MMoE 和STAR在多個(gè)場(chǎng)景中也表現(xiàn)出蹺蹺板現(xiàn)象（即一個(gè)場(chǎng)景的改進(jìn)往往導(dǎo)致其他場(chǎng)景的性能下降）。例如，與最好的General recommenders模型相比，MMoE和STAR在工業(yè)數(shù)據(jù)集的場(chǎng)景#A4和場(chǎng)景#A5中的表現(xiàn)較差。這表明 MMoE和STAR不足以處理具有更多不同特征和不均勻數(shù)據(jù)分布的場(chǎng)景。PLE通過(guò)將專家分為兩組（即部分場(chǎng)景共享和部分場(chǎng)景特定）緩解了這種現(xiàn)象，并在兩個(gè)數(shù)據(jù)集上都表現(xiàn)出比 MMoE 顯著的改進(jìn)。AESM2進(jìn)一步引入了專家自動(dòng)選擇機(jī)制，以獲得比 PLE 更好的性能。

然而，Scenario-specific network structures僅僅注重網(wǎng)絡(luò)頂層的優(yōu)化，而忽略了底層表征中場(chǎng)景之間的差異，而這些差異對(duì)于實(shí)現(xiàn)最優(yōu)性能至關(guān)重要。PEPNet以場(chǎng)景相關(guān)特征為輸入，通過(guò)門控機(jī)制動(dòng)態(tài)調(diào)整模型中的底層Embedding和頂層DNN隱藏單元，在兩個(gè)數(shù)據(jù)集上都獲得了良好的性能提升。AdaSparse的性能與 PEPNet 相比并不理想，因?yàn)橄∈桦[藏單元的機(jī)制相對(duì)難以學(xué)習(xí)。SFPNet在實(shí)驗(yàn)中表現(xiàn)出所有基線中的最佳性能，因?yàn)樗诤狭藞?chǎng)景信息重新定義了基本特征，同時(shí)將場(chǎng)景上下文融入行為以支持場(chǎng)景感知的用戶興趣建模。但很明顯，它們都將用戶的整個(gè)歷史行為序列視為一個(gè)整體，而忽略了對(duì)跨場(chǎng)景用戶興趣差異的建模。我們提出的DSWIN以細(xì)粒度的方式明確地模擬了不同場(chǎng)景中用戶行為的差異，并了解了用戶的場(chǎng)景興趣，其表現(xiàn)優(yōu)于兩個(gè)數(shù)據(jù)集上所有場(chǎng)景的所有基線，如表6所示。

消融實(shí)驗(yàn)

為了評(píng)估DSWIN中每個(gè)模塊的有效性，我們還在實(shí)驗(yàn)中將DSWIN與其變體進(jìn)行了比較。我們有三個(gè)變體，如下所示：

• w/o GIA：刪除了GIA中的SCAM和CFFM模塊，直接用普通的DIN網(wǎng)絡(luò)替換它進(jìn)行全局序列建模。
• w/o LIR：從DSWIN中刪除了LIR模塊，同時(shí)IDM模塊也被分離。這意味著在不同場(chǎng)景中沒(méi)有提取明確的局部興趣。
• w/o IDM：從DSWIN中刪除了IDM模塊，這意味著興趣差異沒(méi)有得到強(qiáng)調(diào)和解分離。

表7. DSWIN變體消融實(shí)驗(yàn)結(jié)果

如表7所示，每個(gè)模塊都做出了相當(dāng)大的貢獻(xiàn)，以確保DSWIN在所有場(chǎng)景中的預(yù)測(cè)結(jié)果的質(zhì)量。具體而言，GIA的缺失（w/o GIA）會(huì)影響所有場(chǎng)景的預(yù)測(cè)性能，表明在增強(qiáng)針對(duì)用戶行為的場(chǎng)景特定定制能力時(shí)，整合來(lái)自歷史行為和當(dāng)前實(shí)例的場(chǎng)景先驗(yàn)信息非常重要。此外，GIA模塊中的CFFM還可以捕捉與當(dāng)前目標(biāo)場(chǎng)景密切相關(guān)的用戶全局興趣。此外，LIR的移除（w/o LIR）也會(huì)導(dǎo)致模型預(yù)測(cè)性能明顯下降。這有力地驗(yàn)證了我們區(qū)分個(gè)人行為來(lái)自哪種場(chǎng)景并明確捕捉不同場(chǎng)景中用戶興趣差異的原理。同時(shí)，LIR有效地學(xué)習(xí)了同一場(chǎng)景中用戶行為的內(nèi)在相關(guān)性。最后，如果沒(méi)有IDM，模型在兩個(gè)數(shù)據(jù)集中的性能都會(huì)顯著下降。這反映了注入無(wú)監(jiān)督信號(hào)的自監(jiān)督學(xué)習(xí)對(duì)于解開場(chǎng)景興趣和確保預(yù)測(cè)準(zhǔn)確性非常有幫助。

超參實(shí)驗(yàn)

我們進(jìn)行了大量實(shí)驗(yàn)來(lái)檢驗(yàn)幾個(gè)關(guān)鍵超參數(shù)的影響，其中包括CFFM中的block數(shù)量k、對(duì)比損失中的溫度、平衡監(jiān)督損失和無(wú)監(jiān)督損失的權(quán)重。

CFFM中block數(shù)量的影響： 圖10 (a) 說(shuō)明了不同k的影響。隨著數(shù)值增加，AUC顯示出改善的趨勢(shì)。這主要是因?yàn)殡S著k變大，興趣表示和上下文之間的相互作用更深，而將k增加到2以上并沒(méi)有帶來(lái)顯著的收益。

溫度系數(shù)的影響：溫度在 {0.1, 0.2, 0.4, 0.8} 內(nèi)經(jīng)過(guò)精心調(diào)整實(shí)驗(yàn)。根據(jù)圖10 (b) 中所示的曲線，我們發(fā)現(xiàn)的最佳選擇因數(shù)據(jù)集而異。太小的值（例如0.1）或太大的值（例如0.8）都不合適。較大的值會(huì)削弱對(duì)負(fù)樣本的區(qū)分能力。相反，太小的值會(huì)過(guò)度夸大某些負(fù)樣本的作用，導(dǎo)致性能不佳。

損失平衡權(quán)重的影響：我們進(jìn)行了實(shí)驗(yàn)，將從 {1e0, 1e-1, 1e-2, 1e-3, 1e-4}中進(jìn)行變化。特別地，當(dāng)為0時(shí)，相當(dāng)于刪除了模塊IDM。從圖10 (c) 中的結(jié)果可以看出，當(dāng)為1e-1時(shí)，性能達(dá)到峰值。隨著值的進(jìn)一步增加，模型性能變得越來(lái)越差。我們將其歸因于隨著的增大，主預(yù)測(cè)任務(wù)重要度降低，這驗(yàn)證了超參數(shù)平衡不同任務(wù)目標(biāo)的必要性。

圖10. DSWIN超參實(shí)驗(yàn)曲線圖

可視化分析

我們通過(guò)實(shí)驗(yàn)來(lái)探索IDM如何促進(jìn)興趣表征學(xué)習(xí)，以及該模塊是否理解不同場(chǎng)景下的興趣相似度。我們基于模塊LIR給出的Embedding向量計(jì)算了場(chǎng)景#A1和#A2輸出的余弦相似度，分別在引入和不引入對(duì)比損失的情況下，同時(shí)繪制了相似度得分的分布（圖11所示）。從結(jié)果中，我們可以觀察到DSWIN學(xué)習(xí)到的Embedding的相似度得分小于不使用IDM 學(xué)習(xí)到的分布。這一現(xiàn)象表明IDM使模型能夠有效地解分離場(chǎng)景化的興趣。

圖11. LIR輸出興趣相似度分布柱形圖

AB實(shí)驗(yàn)

我們基于實(shí)際流量進(jìn)行在線 A/B測(cè)試。具體來(lái)說(shuō)，我們?cè)谠诰€服務(wù)系統(tǒng)中部署DSWIN和baseline方法，并針對(duì)用戶的日常請(qǐng)求執(zhí)行推理任務(wù)。由于工業(yè)限制，在線系統(tǒng)中無(wú)法比較所有基線模型。因此，我們選擇PEPNet作為比較的基線模型。我們?nèi)∫恢軠y(cè)試的平均結(jié)果，DSWIN比PEPNet在線獲得了pvctr+1.51%的收益。1.51%在成熟的工業(yè)系統(tǒng)中是顯著的效果提升。

結(jié)論

在本文中，我們強(qiáng)調(diào)了區(qū)分不同場(chǎng)景中用戶行為差異對(duì)于興趣建模的必要性，并設(shè)計(jì)了一種名為DSWIN的新穎的scenario-wise interest disentangling network。它首先引入GIA模塊來(lái)融合用戶的全局行為和場(chǎng)景感知上下文信息，旨在動(dòng)態(tài)獲取全面、細(xì)粒度的用戶興趣表征。隨后，使用LIR模塊明確提取用戶在每個(gè)子場(chǎng)景中的場(chǎng)景興趣。最后，DSWIN利用對(duì)比學(xué)習(xí)技術(shù)按場(chǎng)景解分離興趣并辨別場(chǎng)景之間的區(qū)別。此外，我們提出的模型可以有效捕捉不同場(chǎng)景中興趣的遷移。大量的離線和在線實(shí)驗(yàn)證明了DSWIN在多場(chǎng)景建模中的優(yōu)勢(shì)。

八、總結(jié)與展望

1. 當(dāng)前實(shí)現(xiàn)的多場(chǎng)景建模方法只在搜索區(qū)分流量來(lái)源這一個(gè)維度上進(jìn)行實(shí)驗(yàn)，后續(xù)可以繼續(xù)思考如何將場(chǎng)景化信息泛化到人群（比如按照購(gòu)買力劃分、活躍度、新老客等），實(shí)現(xiàn)多人群精細(xì)化建模；
2. 進(jìn)一步也可以將多場(chǎng)景泛化到得物多個(gè)行業(yè)下（比如按照商品品類進(jìn)行差異化建模），實(shí)現(xiàn)多行業(yè)差異化建模；
3. 在當(dāng)前這三項(xiàng)工作中，對(duì)于用于行為序列中的商品side info還只是考慮ID類的特征（item ID，類目ID和品牌ID），而商品還有豐富的多模態(tài)（文本、圖片）信息也可以進(jìn)一步融合到建模當(dāng)中，實(shí)現(xiàn)多場(chǎng)景 & 多模態(tài)建模。