在現(xiàn)實世界的推薦系統(tǒng)中，大多數(shù)用戶只與少數(shù)項目互動，而大多數(shù)項目很少被消費，這導(dǎo)致了所謂的長尾挑戰(zhàn)。為了解決這一問題，研究者們提出了一種新框架LLM-ESR，它利用大型語言模型的強(qiáng)大語義理解能力來增強(qiáng)推薦系統(tǒng)的性能，專門優(yōu)化那些互動較少的用戶和項目的效果。

序列推薦系統(tǒng)（SRS）旨在基于用戶的歷史互動預(yù)測用戶隨后的選擇，并在電子商務(wù)和社交媒體等多個領(lǐng)域得到應(yīng)用。然而，在現(xiàn)實世界的系統(tǒng)中，大多數(shù)用戶只與少數(shù)項目互動，而大多數(shù)項目很少被消費。這兩個問題被稱為長尾用戶和長尾項目挑戰(zhàn)，常常給現(xiàn)有的SRS帶來困難。這些挑戰(zhàn)可能會對用戶體驗和賣家利益產(chǎn)生不利影響，因此解決它們至關(guān)重要。盡管一些工作已經(jīng)解決了這些挑戰(zhàn)，但它們?nèi)匀灰驗榛拥膬?nèi)在稀缺性而受到蹺蹺板效應(yīng)或噪聲問題的困擾。大型語言模型（LLMs）的進(jìn)步為從語義角度解決這些問題提供了有希望的解決方案。作為該領(lǐng)域的先驅(qū)之一，我們提出了序列推薦的大型語言模型增強(qiáng)框架（LLM-ESR）。該框架利用從LLMs派生的語義嵌入來增強(qiáng)SRS，而不會增加LLMs的額外推理負(fù)擔(dān)。為了解決長尾項目挑戰(zhàn)，我們設(shè)計了一個雙視圖建模框架，結(jié)合了LLMs的語義和傳統(tǒng)SRS的合作信號。對于長尾用戶挑戰(zhàn)，我們提出了一種檢索增強(qiáng)的自蒸餾方法，利用來自相似用戶的更有信息量的互動來增強(qiáng)用戶偏好表示。為了驗證我們提出的增強(qiáng)框架的有效性和通用性，我們在三個真實世界的數(shù)據(jù)集上進(jìn)行了廣泛的實驗，使用了三種流行的SRS模型。結(jié)果表明，我們的方法始終超過現(xiàn)有的基線，并特別有利于長尾用戶和項目。

1 引言

序列推薦的目標(biāo)是基于用戶的歷史記錄預(yù)測用戶下一個可能的項目[7, 53]。由于序列推薦的本質(zhì)是從未用戶互動記錄中提取用戶偏好，近年來提出了幾種創(chuàng)新架構(gòu)。例如，SASRec[18]應(yīng)用自注意力技術(shù)捕捉用戶的長期偏好，而FMLPRec[24]引入了一個純MLP架構(gòu)來識別用戶偏好的動態(tài)變化。

盡管在序列推薦方面取得了顯著進(jìn)展，但長尾挑戰(zhàn)繼續(xù)削弱其實際應(yīng)用價值。一般來說，這些挑戰(zhàn)可以分為影響用戶或項目方面的兩種類型。為了說明，我們在圖1中展示了在亞馬遜美容數(shù)據(jù)集上的知名SRS模型SASRec[18]的性能，以及其統(tǒng)計數(shù)據(jù)。

• i) 長尾用戶挑戰(zhàn)：在圖1（a）中，我們注意到超過80%的用戶與少于10個項目互動（即長尾用戶），與那些有更多互動記錄的用戶相比，SASRec的性能較差。這表明大多數(shù)用戶獲得的推薦服務(wù)不如預(yù)期。
• ii) 長尾項目挑戰(zhàn)：圖1（b）表明SASRec在更受歡迎的項目上表現(xiàn)更好。然而，直方圖表明，大約71.4%的項目擁有不超過30個互動記錄，意味著它們較少被消費。解決這些長尾挑戰(zhàn)對于提升用戶體驗和賣家利益至關(guān)重要。

為了解決長尾項目挑戰(zhàn)，現(xiàn)有研究[17, 20]檢查了流行項目和長尾項目之間的共現(xiàn)模式，旨在用流行項目的表示來豐富長尾項目的表示。然而，忽視項目之間真實關(guān)系可能會導(dǎo)致蹺蹺板問題[35]。至于長尾用戶挑戰(zhàn)，現(xiàn)有研究[36, 34]探索了所有用戶之間的互動歷史，試圖為尾部用戶增加偽項目。然而，這些方法仍然只依賴于合作信息，傾向于生成由于用戶之間不準(zhǔn)確的相似性而導(dǎo)致的噪聲項目[34]。此時，用戶或項目之間的出色語義關(guān)系可以發(fā)揮作用，這表明了利用語義來面對長尾挑戰(zhàn)的潛力。

大型語言模型（LLMs）的最新進(jìn)展為從語義角度減輕長尾挑戰(zhàn)提供了希望。然而，LLMs最初是為自然語言處理任務(wù)而不是推薦任務(wù)設(shè)計的。一些作品[62, 42]已經(jīng)做出了努力以適應(yīng)，但仍然存在兩個問題。i) 效率低下的整合：最近的研究探索了派生信息性提示以激活ChatGPT[54, 10]或修改LLaMA[25, 27, 58]的標(biāo)記化方法以進(jìn)行序列推薦。盡管它們表現(xiàn)出色，但這些方法在工業(yè)環(huán)境中難以應(yīng)用。這是因為推薦系統(tǒng)通常需要低延遲以進(jìn)行在線部署，而LLMs往往涉及高推理成本[11]。ii) 語義信息的缺陷：幾項最近的工作[13, 16]提出利用LLMs派生的嵌入來初始化序列推薦模型的項目嵌入層，從而整合語義信息。然而，如果微調(diào)過程中沒有凍結(jié)嵌入層，可能會侵蝕項目之間的原始語義關(guān)系。此外，這些方法只關(guān)注項目方面，忽視了在用戶方面整合語義信息的潛在好處，這可能有助于SRS的序列編碼器。

在本文中，為了更好地將LLMs整合到SRS中以解決長尾挑戰(zhàn)，我們設(shè)計了一個大型語言模型增強(qiáng)框架，用于序列推薦（LLM-ESR）。首先，我們通過編碼LLMs的提示文本來派生項目和用戶的語義嵌入。由于這些嵌入可以提前緩存，我們的整合不會增加LLMs的任何額外推理負(fù)擔(dān)。為了解決長尾項目挑戰(zhàn)，我們設(shè)計了一個雙視圖建模框架，結(jié)合了語義和合作信息。具體來說，為了避免語義的缺陷，凍結(jié)了從LLMs派生的嵌入。接下來，我們提出了一種檢索增強(qiáng)的自蒸餾方法，使用相似用戶來增強(qiáng)SRS模型的序列編碼器。用戶之間的相似性是通過LLMs的用戶表示來測量的。最后，重要的是要注意，所提出的框架是模型不可知的，允許它適應(yīng)任何序列推薦模型。本文的貢獻(xiàn)如下：

• 我們提出了一個大型語言模型增強(qiáng)框架，可以通過引入LLMs的語義信息來緩解SRS的長尾用戶和項目挑戰(zhàn)。
• 為了避免LLMs的推理負(fù)擔(dān)，我們設(shè)計了一個基于嵌入的增強(qiáng)方法。此外，派生的嵌入被直接使用，以保留原始的語義關(guān)系。
• 我們在三個真實世界的數(shù)據(jù)集上進(jìn)行了廣泛的實驗，使用了三種背景SRS模型，以驗證LLM-ESR的有效性和靈活性。

2 問題定義

序列推薦的目標(biāo)是基于用戶的互動記錄給出用戶可能互動的下一個項目。用戶集和項目集分別表示為U = {u1, ..., ui, ..., u|U|}和V = {v1, ..., vi, ..., v|V|}，其中|U|和|V|是用戶和項目的數(shù)量。每個用戶都有一個互動序列，按時間線排列互動的項目，表示為Su = {v(u)1, ..., v(u)i, ..., v(u)nu}。nu表示用戶u的互動數(shù)量。為簡便起見，我們在以下部分省略了上標(biāo)(u)。然后，序列推薦問題可以定義如下:

遵循與長尾SRS相關(guān)的現(xiàn)有工作[17, 20]，我們可以將用戶和項目分為尾部和頭部組。設(shè)nu和pv分別表示用戶互動序列的長度和項目v的流行度（即總互動數(shù)）。首先，我們按nu和pv的值降序排序用戶和項目。然后，根據(jù)帕累托原則[4]，取出前20%的用戶和項目作為頭部用戶和頭部項目，表示為Uhead和Vhead。其余的用戶和項目是尾部用戶和尾部項目，即Utail = U \ Uhead和Vtail = V \ Vhead。為了緩解長尾挑戰(zhàn)，我們的目標(biāo)是提高對Utail和Vtail的推薦性能。

3 LLM-ESR

3.1 概述

我們提出的LLM-ESR的概述如圖2所示。為了獲得語義信息，我們采用LLMs對用戶的文本歷史互動和項目的屬性進(jìn)行編碼，得到LLMs用戶嵌入和LLMs項目嵌入。然后，提出了兩個模塊分別增強(qiáng)長尾項目和長尾用戶，即雙視圖建模和檢索增強(qiáng)的自蒸餾。i) 雙視圖建模：該模塊由兩個分支組成。一個分支是語義視圖建模，旨在從用戶的互動序列中提取語義信息。它首先使用從LLMs項目嵌入派生的語義嵌入層對項目進(jìn)行編碼。然后，設(shè)計了一個適配器用于維度適配和空間轉(zhuǎn)換。輸出的項目嵌入序列將被送入交叉注意力進(jìn)行融合，然后通過序列編碼器得到用戶在語義視圖中的表示。另一個分支是合作視圖建模，它通過合作嵌入層將互動序列轉(zhuǎn)換為嵌入序列。接下來，通過交叉注意力和序列編碼器，獲得合作用戶偏好。在該模塊的最后，將兩個視圖中的用戶表示融合以進(jìn)行最終推薦。ii) 檢索增強(qiáng)的自蒸餾：該模塊希望通過相似用戶的有信息量的互動來增強(qiáng)長尾用戶。首先，將派生的LLMs用戶嵌入視為語義用戶基礎(chǔ)，用于檢索相似用戶。然后，將相似用戶送入雙視圖建模以獲得他們的用戶表示，這些表示是自蒸餾的引導(dǎo)信號。最后，派生的蒸餾損失將用作訓(xùn)練的輔助損失。

3.2 雙視圖建模

傳統(tǒng)的SRS模型擅長捕捉合作信號，可以很好地推薦流行項目[20, 17]。然而，由于缺乏語義，它們在長尾項目上妥協(xié)[2]。因此，我們從雙重視圖對用戶的偏好進(jìn)行建模，以同時覆蓋所有項目。此外，我們提出了兩級融合，以更好地結(jié)合這兩個視圖的好處。

語義視圖建模。一般來說，項目的屬性和描述包含豐富的語義。為了利用LLMs的強(qiáng)大語義理解能力，我們將屬性和描述組織成文本提示（提示模板可以在附錄A.1中找到）。然后，為了避免LLMs可能帶來的推理負(fù)擔(dān)，我們緩存了LLMs的嵌入以供使用。具體來說，可以通過取出開源LLMs（如LLaMA[50]）的最后一個隱藏狀態(tài)或公共API（如text-embedding-ada-0022）的嵌入來獲得嵌入。本文采用了后者。設(shè)Ese ∈ R|V|×dllm表示所有項目的LLMs嵌入，其中dllm是LLMs嵌入的維度。然后，可以從LLMs派生的語義嵌入層Ese用于語義視圖建模，以增強(qiáng)長尾項目。然而，以前的工作[13, 16]通常將其作為項目嵌入層的初始化，這可能會在微調(diào)期間破壞原始的語義關(guān)系。為了保留語義，我們凍結(jié)了Ese，并提出了一個適配器，將原始的語義空間轉(zhuǎn)換為推薦空間。對于每個項目i，我們可以通過取出Ese的第i行得到其LLMs嵌入ellm_i。然后，它將被送入可調(diào)的適配器以獲得語義嵌入：

其中Wa1 ∈ R^{dllm×dllm/2}, Wa2 ∈ R^{d×dllm/2} 和 ba1 ∈ R^{dllm/2×1}, ba2 ∈ R^{d×1} 是適配器的權(quán)重矩陣和偏置。通過這個過程，我們可以得到用戶互動記錄的項目嵌入序列，表示為Sse = [ese_1, ..., ese_nu]。類似于一般的SRS模型，我們采用序列編碼器fθ（例如，用于SASRec[18]的自注意力層）來獲得用戶在語義視圖中的偏好表示，如下所示：

其中use ∈ R^{d×1} 是用戶在語義視圖中的偏好表示，θ表示SRS模型中序列編碼器的參數(shù)。

合作視圖建模。為了利用合作信息，我們采用可訓(xùn)練的項目嵌入層，并通過互動數(shù)據(jù)對其進(jìn)行監(jiān)督更新。設(shè)Eco ∈ R^|V|×d 表示項目的合作嵌入層。然后，通過從Eco中提取相應(yīng)的行，獲得項目嵌入序列Sco = [eco_1, ..., eco_nu]。為了獲得用戶在合作視圖中的偏好uco，我們將嵌入序列輸入到序列編碼器，即，uco = fθ(Sco)。值得注意的是，序列編碼器fθ在語義和合作視圖中是相同的，用于共享的序列模式和更高的效率[45]。此外，兩個視圖中的嵌入層處于不平衡的訓(xùn)練階段（一個預(yù)先訓(xùn)練，另一個從頭開始），這可能導(dǎo)致優(yōu)化困難[1]。為了解決這個問題，我們通過降維的Ese初始化Eco。本文使用主成分分析（PCA）[43]作為降維方法。

兩級融合。有效整合語義視圖和合作視圖對于吸收這兩個視圖的好處至關(guān)重要。然而，直接合并雙視圖中的用戶表示可能會忽略項目序列之間的細(xì)微相互關(guān)系。因此，我們?yōu)殡p視圖建模模塊設(shè)計了一個兩級融合方法，即序列級和對數(shù)級。前者旨在隱式捕獲雙視圖中項目序列之間的相互關(guān)系，而后者明確針對推薦能力的組合。具體來說，我們提出了一個交叉注意力機(jī)制用于序列級融合。為了簡化描述，我們只取語義視圖與合作視圖的交互為例，另一個視圖也是如此。具體來說，Sse被視為查詢，Sco作為注意力機(jī)制中的鍵和值。設(shè)Q = SseWQ, K = ScoWK, V = ScoWV，其中WQ, WK, WV ∈ R^d×d 是權(quán)重矩陣。然后，交互的合作嵌入序列可以表示如下：

按照交叉注意力的相同過程，我們也可以得到相應(yīng)的語義嵌入序列?Sse。最后，Sse, Sco被?Sse, ?Sse替換，送入fθ(·)。至于對數(shù)級融合，我們將雙視圖的用戶和項目嵌入進(jìn)行拼接以進(jìn)行推薦。因此，為用戶u推薦項目j的概率分?jǐn)?shù)計算如下：

其中“:”表示兩個向量的拼接操作?；诟怕史?jǐn)?shù)，我們采用成對排名損失來訓(xùn)練框架：

其中v+k+1 和 v?k+1 是真實項目和配對的負(fù)項目。值得注意的是，排名損失可能會根據(jù)不同的SRS模型略有不同，例如GRU4Rec[14]的序列到一成對損失。

3.3 檢索增強(qiáng)的自蒸餾

長尾用戶問題源于SRS中序列編碼器捕獲用戶偏好的互動不足。因此，我們提出了一種自蒸餾方法來增強(qiáng)序列編碼器的提取能力。自蒸餾[12, 60]是一種知識蒸餾類型，它將一個模型視為學(xué)生和教師，用于模型增強(qiáng)。對于SRS，由于多個相似用戶擁有更有信息量的互動，將它們的知識轉(zhuǎn)移到目標(biāo)用戶上是有希望的。因此，這種知識轉(zhuǎn)移有兩個關(guān)鍵挑戰(zhàn)，即如何檢索相似用戶以及如何轉(zhuǎn)移知識。

檢索相似用戶。以前的工作已經(jīng)證實LLMs可以理解文本用戶互動記錄的語義含義，用于推薦[25, 10]?；谒麄兊挠^察，我們將用戶互動的項目標(biāo)題組織成文本提示（提示模板可以在附錄A.1中找到）。然后，類似于LLMs項目嵌入Ese的派生，我們可以獲得并保存LLMs用戶嵌入，表示為Ullm ∈ R^{|U|×dllm}。它也被稱為本文中的語義用戶基礎(chǔ)，因為語義關(guān)系已編碼在其中。對于每個目標(biāo)用戶k，我們可以檢索相似用戶集Uk如下：

其中cos(·, ·)是余弦相似性函數(shù)，用于測量兩個向量之間的距離。N表示相似用戶集的大小，這是一個超參數(shù)。

自蒸餾。如前所述，我們設(shè)計了自蒸餾，將幾個相似用戶的知識轉(zhuǎn)移到目標(biāo)用戶。由于用戶偏好表示，即use和uco，編碼了用戶的綜合知識，我們將這種表示配置為蒸餾的中介。為了獲得教師中介，我們首先利用雙視圖建?？蚣埽ǖ?.2節(jié)）為每個相似用戶獲得用戶表示，表示為{use_j, uco_j}^|Uk|_j=1。然后，教師中介通過平均池化計算，如下公式：

學(xué)生中介是目標(biāo)用戶k的表示，即[use_k : uco_k]?；诮處熀蛯W(xué)生中介，自蒸餾損失可以表示如下：

請注意，use_Tk和uco_Tk的梯度被停止，因為它們只提供引導(dǎo)信號而不是優(yōu)化模型。

3.4 訓(xùn)練和推理

訓(xùn)練?；诘?.2節(jié)和第3.3節(jié)的說明，我們在訓(xùn)練期間只更新合作嵌入層、適配器、交叉注意力和序列編碼器，同時凍結(jié)語義嵌入層和語義用戶基礎(chǔ)。由于原始LLMs嵌入Ese和Ullm被凍結(jié)，原始的語義關(guān)系得到了很好的保留。優(yōu)化的訓(xùn)練損失是成對排名損失和自蒸餾損失的組合，可以寫成如下：

其中α是調(diào)整自蒸餾幅度的超參數(shù)。

推理。在LLM-ESR的推理過程中，免除了檢索增強(qiáng)的自蒸餾模塊，因為不需要輔助損失。因此，我們遵循雙視圖建模過程，通過方程（5）進(jìn)行最終推薦。此外，由于語義嵌入層可以提前緩存，避免了對LLMs的調(diào)用，從而防止了額外的推理成本。由于空間有限，算法位于附錄A.2中，以更清晰。

4 實驗

4.1 實驗設(shè)置

數(shù)據(jù)集。我們應(yīng)用了三個真實世界的數(shù)據(jù)集進(jìn)行評估，即Yelp、亞馬遜時尚和亞馬遜美容。我們遵循以前的SRS工作[18, 49]進(jìn)行預(yù)處理和數(shù)據(jù)分割。更多關(guān)于數(shù)據(jù)集和預(yù)處理的詳細(xì)信息可以在附錄B.1中看到。

基線。為了驗證靈活性，我們將競爭基線和LLM-ESR與三種知名的SRS模型結(jié)合：GRU4Rec[14]、Bert4Rec[48]和SASRec[18]。然后，在實驗中比較了兩組基線。一組是傳統(tǒng)的長尾序列推薦增強(qiáng)框架，包括CITIES[17]和MELT[20]。另一組是基于LLM的增強(qiáng)框架，包括RLMRec[44]和LLMInit[13, 16]。更多關(guān)于基線的詳細(xì)信息已放入附錄B.2。

實現(xiàn)細(xì)節(jié)。所有實驗中使用的硬件是帶有Tesla V100 32G GPU的Intel Xeon Gold 6133平臺，而基本軟件要求是Python 3.9.5和PyTorch 1.12.0。超參數(shù)N和α從{2, 6, 10, 14, 18}和{1, 0.5, 0.1, 0.05, 0.01}中搜索。更多關(guān)于實現(xiàn)細(xì)節(jié)的詳細(xì)信息在附錄B.3中。實現(xiàn)代碼可在https://github.com/Applied-Machine-Learning-Lab/LLM-ESR獲得。

評估指標(biāo)。在實驗中，我們采用了Top-10列表進(jìn)行評估。具體來說，采用了命中率（H@10）和歸一化折扣累積增益（N@10）。按照[18]，我們隨機(jī)抽取了100個用戶未互動的項目作為負(fù)樣本配對以計算指標(biāo)。為了保證實驗結(jié)果的魯棒性，我們報告了三次測試的平均結(jié)果，隨機(jī)種子為{42, 43, 44}。

4.2 總體性能

為了驗證所提出的LLM-ESR的有效性和靈活性，我們在表1中展示了三個數(shù)據(jù)集上的總體、尾部和頭部性能。一目了然，我們發(fā)現(xiàn)所提出的LLM-ESR在所有SRS模型下都能超越所有競爭基線，驗證了我們框架的有用性。然后，我們通過以下分析得出更多結(jié)論。

表2：在Yelp數(shù)據(jù)集上以SASRec為背景SRS模型的消融研究。粗體表示最高分?jǐn)?shù)，下劃線表示模型的次優(yōu)結(jié)果。

總體比較。從結(jié)果中，我們觀察到所提出的LLM-ESR在兩個指標(biāo)下都領(lǐng)先于總體性能，這表明了更好的增強(qiáng)效果。LLMInit通常是次優(yōu)的。這一現(xiàn)象表明，從LLMs注入的語義實際上增強(qiáng)了SRS。然而，與其它基于LLM的方法相比，RLMRec通常表現(xiàn)不佳，因為它是為了協(xié)同過濾算法而設(shè)計的，與SRS不兼容。至于傳統(tǒng)基線，MELT在大多數(shù)情況下都處于領(lǐng)先地位。原因在于它同時解決了長尾用戶和長尾項目挑戰(zhàn)。相比之下，CITIES有時甚至不如背景SRS模型，因為蹺蹺板問題，即流行項目的急劇下降。

長尾項目和用戶比較。根據(jù)第2節(jié)中說明的分割方法，項目被分為尾部項目和頭部項目。從表1中，我們觀察到我們的LLM-ESR不僅在尾部項目組上取得了最佳成績，而且在頭部項目組上也獲得了第一名。這種性能比較突出了我們通過雙視圖建模結(jié)合語義和合作信號的組合。LLMInit在所有基線中領(lǐng)先于尾部組，這表明語義信息可以惠及長尾項目。值得注意的是，CITIES有時在尾部組表現(xiàn)更好，但對流行項目有害，這意味著它存在蹺蹺板問題。此外，結(jié)果表明MELT、LLMInit和LLM-ESR可以顯著增強(qiáng)尾部用戶組。MELT旨在增強(qiáng)尾部用戶，但由于其合作視角的局限性，不如我們的方法。盡管LLMInit也可以通過引入語義來惠及尾部用戶，但它忽略了從用戶端利用LLMs的潛力。

靈活性。表1顯示，所提出的框架可以在所有三種背景SRS模型上獲得最大的性能提升，這表明了LLM-ESR的靈活性。相比之下，其他基線傾向于依賴SRS的類型。傳統(tǒng)方法，即CITIES和MELT，傾向于對GRU4Rec表現(xiàn)更好，而LLMInit對Bert4Rec和SASRec更有益。

4.3 消融研究

消融研究的結(jié)果如表2所示。首先，我們移除合作視圖或語義視圖以研究雙視圖建模，表示為無合作視圖和無語義視圖。結(jié)果表明，無合作視圖顯著降低了頭部組的性能，而無語義視圖對尾部項目的性能損害明顯。這些變化表明合作和語義信息的明顯特點，突出了兩者的結(jié)合。無自蒸餾意味著放棄自蒸餾，這表明長尾用戶的性能下降。這表明所提出的檢索增強(qiáng)自蒸餾的效果。這些變體的結(jié)果驗證了為LLM-ESR設(shè)計每個組件的動機(jī)。無共享和無交叉注意力代表使用分開的序列編碼器和移除交叉注意力。這兩個的性能下降說明了共享設(shè)計和序列級融合的有效性。更多結(jié)果可以在附錄C.1中看到。

此外，我們有兩個設(shè)計來緩解整個LLM-ESR框架的優(yōu)化。一個是，我們使用降維的LLM項目嵌入來初始化合作嵌入層，而不是隨機(jī)初始化。另一方面，我們提出了一個雙層適配器來填補(bǔ)LLM嵌入和項目嵌入之間的大維度差距。為了說明這兩個設(shè)計的有效性，我們比較了1層適配器和隨機(jī)初始化變體的LLM-ESR。表2中的結(jié)果表明，這兩個變體都低于原始的LLM-ESR，驗證了我們特殊設(shè)計的成功。

圖3：在Yelp數(shù)據(jù)集上，自蒸餾損失的權(quán)重α和檢索到的相似用戶數(shù)量N的超參數(shù)實驗。結(jié)果基于SASRec模型。

圖4：所提出的LLM-ESR和競爭基線在詳細(xì)的用戶和項目組中的結(jié)果。結(jié)果基于SASRec模型的美容數(shù)據(jù)集。

4.4 超參數(shù)分析

為了研究LLM-ESR中的超參數(shù)的影響，我們展示了它們變化時的性能趨勢，如圖3所示。超參數(shù)α控制設(shè)計的自蒸餾在優(yōu)化中的影響程度。隨著α從1變化到0.01，推薦準(zhǔn)確性先上升后下降。大α的性能下降的原因在于過分強(qiáng)調(diào)自蒸餾會影響排名損失的收斂。較小的α也會降低性能，這表明設(shè)計的自蒸餾的有用性。至于檢索到的用戶數(shù)量N，最佳選擇是10。原因是更多的用戶可以提供更有信息量的互動。然而，過大的N可能會降低檢索到的用戶的相關(guān)性。

4.5 組分析

為了更細(xì)致的分析，我們根據(jù)序列長度nu和流行度pv將用戶和項目分為5組，并在圖4中展示了每組的性能。從結(jié)果中，我們觀察到基于LLM的框架在每個用戶和項目組中都取得了增長，而MELT對某些特定組有積極影響。它反映了MLET的蹺蹺板問題，并揭示了利用LLMs的語義嵌入的好處。比較LLMInit與LLM-ESR，LLM-ESR在長尾組（例如，1-4用戶組和1-9項目組）上可以獲得更多的增長，這證明了我們的框架更好地保留了LLMs的語義信息。以Bert4Rec和GRU4Rec為背景的組分析在附錄C.3中。

5 相關(guān)工作

5.1 序列推薦

序列推薦的核心是指捕捉序列模式以預(yù)測下一個可能的項目[29, 38, 31, 37, 59, 24, 23, 26, 39]。因此，在早期階段，研究人員專注于制造架構(gòu)以提高模型容量。GRU4Rec[14]和Caser[49]應(yīng)用RNN和CNN[21]進(jìn)行序列建模。后來，受到自注意力[51]在自然語言處理中的巨大成功的啟發(fā)，SASRec[18]和Bert4Rec[48]驗證了其在SRS中的潛力。此外，Zhou等人[65]提出了一個純MLP架構(gòu)，與SASRec相比，實現(xiàn)了類似的準(zhǔn)確性但更高的效率。盡管在SRS方面取得了巨大進(jìn)步，但長尾問題仍然未被充分探索。對于長尾項目問題，CITIES[17]設(shè)計了一個嵌入推斷函數(shù)，專門為長尾項目設(shè)計。就長尾用戶問題而言，數(shù)據(jù)增強(qiáng)是主要方式[36, 34]。只有一項工作，MELT[20]，同時解決了這兩個問題，但仍然堅持合作視角。相比之下，所提出的LLM-ESR通過引入LLMs，更好地從語義視角處理這兩個長尾問題。

5.2 為推薦使用LLMs

大型語言模型[62, 42]因其在語義理解方面的強(qiáng)大能力而受到廣泛關(guān)注。最近，出現(xiàn)了幾項工作探索如何利用LLMs在推薦系統(tǒng)（RS）中[63, 28, 22, 40, 56, 57, 64, 32, 30]，可以分為兩類，即LLMs作為RS和LLMs增強(qiáng)RS。第一行研究旨在直接通過LLMs完成推薦任務(wù)。在早期階段，研究人員傾向于制造提示模板，通過對話激發(fā)LLMs的推薦能力。例如，ChatRec[10]提出了一個對話過程，逐步完成推薦任務(wù)。DRDT[54]通過基于檢索的動態(tài)反思過程，通過上下文學(xué)習(xí)[6]整合SRS。LLMRerank[9]和UniLLMRec[61]制造了鏈?zhǔn)剿伎继崾?，分別針對重排階段和整個推薦過程。此外，一些其他研究人員探索了微調(diào)開源LLMs以用于RS。TALLRec[2]是第一個，通過參數(shù)高效的微調(diào)技術(shù)[15, 33]微調(diào)LLaMA-7B。一些后續(xù)工作，包括E4SRec[25]、LLaRA[27]和RecInterpreter[58]，通過修改標(biāo)記化，將合作信號整合到LLMs中。然而，這項工作面臨高推理成本的挑戰(zhàn)。另一行，LLMs增強(qiáng)RS，更為實用，因為它們在推薦時避免了使用LLMs。例如，RLMRec[44]通過輔助損失與LLMs對齊。AlphaRec[46]采用LLMs嵌入來增強(qiáng)合作過濾模型。另一方面，LLM4MSR[55]和Uni-CTR[8]提出利用LLMs增強(qiáng)多域推薦模型。至于LLMs增強(qiáng)序列推薦，Harte等人[13]和Hu等人[16]采用LLMs嵌入作為傳統(tǒng)模型的初始化。所提出的LLM-ESR屬于后者類別，但進(jìn)一步緩解了語義信息缺陷的問題。

6 結(jié)論

在本文中，我們提出了一個大型語言模型增強(qiáng)框架，用于序列推薦（LLM-ESR），以處理長尾用戶和長尾項目挑戰(zhàn)。首先，我們獲取并緩存了LLMs的語義嵌入，這是為了推理效率。然后，提出了一個雙視圖建?？蚣?，結(jié)合了LLMs的語義和傳統(tǒng)模型中的合作信號。它可以幫助增強(qiáng)SRS中的長尾項目。接下來，我們設(shè)計了檢索增強(qiáng)的自蒸餾來緩解長尾用戶挑戰(zhàn)。通過綜合實驗，我們驗證了LLM-ESR的有效性和靈活性。

參考資料

標(biāo)題：LLM-ESR: Large Language Models Enhancement for Long-tailed Sequential Recommendation

作者：Qidong Liu, Xian Wu, Yejing Wang, Zijian Zhang, Feng Tian, Yefeng Zheng, Xiangyu Zhao

單位：1 School of Auto. Science & Engineering, MOEKLINNS Lab, Xi’an Jiaotong University; 2 City University of Hong Kong; 3 Jarvis Research Center, Tencent YouTu Lab; 4 Jilin University; 5 School of Comp. Science & Technology, MOEKLINNS Lab, Xi’an Jiaotong University; 6 Medical Artificial Intelligence Lab, Westlake University

標(biāo)簽：Sequential Recommendation, Large Language Models, Long-tail Challenge, Semantic Embedding

概述：本文提出了一種利用大型語言模型（LLMs）增強(qiáng)長尾序列推薦的框架LLM-ESR，以改善用戶體驗和提升推薦系統(tǒng)性能。

鏈接：https://arxiv.org/pdf/2405.20646

本文轉(zhuǎn)載自旺知識，作者： 旺知識 ????