傳統(tǒng)推薦系統(tǒng)雖然能給出準(zhǔn)確的推薦結(jié)果，但缺乏對推薦過程的透明解釋，難以讓系統(tǒng)更好地理解其興趣偏好是如何被捕捉和建模的。

最近，香港大學(xué)數(shù)據(jù)智能實驗室推出了一款名為 XRec 的全新智能大模型，旨在為傳統(tǒng)推薦系統(tǒng)注入可解釋性的新動力。XRec 利用大語言模型(LLM)的強大自然語言處理能力，為推薦系統(tǒng)賦予了可解釋性，讓系統(tǒng)不僅能給出精準(zhǔn)的推薦結(jié)果，還能用通俗易懂的語言向用戶闡述其推薦依據(jù)。

代碼鏈接: ??https://github.com/HKUDS/XRec??

論文鏈接: ??https://arxiv.org/pdf/2406.02377??

實驗室鏈接: ??https://sites.google.com/view/chaoh??

XRec旨在通過整合大語言模型的語義理解能力和協(xié)同過濾的用戶偏好建模，構(gòu)建一種「可解釋推薦」框架，使推薦系統(tǒng)具備深入洞察用戶需求、生成清晰解釋的智能化水平。

這種融合自然語言處理和推薦系統(tǒng)的創(chuàng)新嘗試，不僅能大幅提升用戶體驗，增強他們對推薦結(jié)果的理解和信任，也將為推薦技術(shù)的發(fā)展注入新的動力。通過人機協(xié)作，XRec能為用戶提供更優(yōu)質(zhì)的智能服務(wù)，為推薦系統(tǒng)的未來發(fā)展開辟新的可能性。

通過這種融合語義理解與結(jié)構(gòu)建模的方式，XRec為推薦系統(tǒng)注入了前所未有的智能化。不僅能夠生成個性化、貼合用戶需求的推薦結(jié)果，還能為用戶提供富有洞見的背景解釋，讓他們真正理解推薦的邏輯。這種創(chuàng)新性的范式無疑為未來的個性化服務(wù)發(fā)展帶來了全新的可能。

總的來說，XRec的提出標(biāo)志著推薦系統(tǒng)正朝著更加智能化和可解釋的方向邁進(jìn)。這一創(chuàng)新成果不僅能滿足用戶對推薦系統(tǒng)更高的期望，也將為整個推薦技術(shù)領(lǐng)域的發(fā)展帶來新的啟示和動力，為推薦系統(tǒng)的未來發(fā)展指明新的方向。

模型方法

XRec通過巧妙地融合強大的大型語言模型(LLMs)，為推薦系統(tǒng)的輸出注入了豐富多彩的自然語言解釋。該框架巧妙地整合了協(xié)作信號，并采用輕量級的推薦信號適配器，能夠深入洞悉用戶復(fù)雜多變的偏好模式，以及他們與各類物品間錯綜復(fù)雜的交互細(xì)節(jié)。

值得一提的是，XRec在面臨零樣本場景時也展現(xiàn)出了出色的泛化能力，能夠為前所未見的用戶和物品生成富有見地且富有意義的推薦解釋。

協(xié)同行為關(guān)系建模

XRec巧妙地融合了圖神經(jīng)網(wǎng)絡(luò)(GNNs)技術(shù)，以強大的表征學(xué)習(xí)能力彌補了自然語言在捕捉用戶-商品協(xié)作關(guān)系方面的不足。

在我們的系統(tǒng)中，GNN作為一種"協(xié)作信號的tokenizer"，將復(fù)雜的用戶-商品交互模式高效地編碼到潛在的嵌入空間中，從而實現(xiàn)了對用戶復(fù)雜偏好的有效建模。

具體來說，基于圖神經(jīng)網(wǎng)絡(luò)的消息傳遞機制，我們的協(xié)作圖tokenizer在用戶-商品交互圖上進(jìn)行信息的傳播和聚合，促進(jìn)了用戶和商品節(jié)點表征的學(xué)習(xí)。這不僅能夠更好地捕捉節(jié)點之間的關(guān)聯(lián)，還能夠反映出交互過程中蘊含的復(fù)雜模式。

行為與文本語義空間的對齊

表征空間對齊的映射器

XRec的創(chuàng)新之一在于，它配備了一個輕量級但大有作為的適配器模塊，用于協(xié)調(diào)融合不同語義模態(tài)間的差異。

我們注意到，用戶-商品的交互行為所反映的協(xié)同信息，其潛在語義表達(dá)空間可能與基于文本的用戶/商品語義存在一定差異。

為此，這個適配器模塊的作用就是對這些不同的語義模態(tài)進(jìn)行精準(zhǔn)對齊，使我們的模型能夠高效地整合利用協(xié)同信號和文本語義，從而提升整體的建模性能。

向大語言模型（LLM）注入行為信號

XRec的另一大創(chuàng)新點在于，它能夠巧妙地融合協(xié)同過濾(CF)技術(shù)和大語言模型(LLM)的優(yōu)勢。

在完成前述的語義模態(tài)對齊后，我們的系統(tǒng)已做好將豐富的協(xié)同信號融入LLM的準(zhǔn)備工作。

具體來說，我們會在輸入提示中預(yù)留特殊標(biāo)記(tokens)，然后將提示轉(zhuǎn)換為token嵌入，最后將已適配的協(xié)同信息嵌入注入到這些保留位置中。

XRec的另一個創(chuàng)新之處，在于它采用了一種獨特的機制來避免協(xié)同信息在融合過程中的損失。我們注意到，隨著輸入提示長度的增加，分配給每個嵌入token的注意力權(quán)重(attention weight)不可避免地會有所減弱，這可能導(dǎo)致本就稀疏的協(xié)同信號被稀釋。

為了解決這一問題，我們將適配后的協(xié)同嵌入不僅注入到LLM的初始輸入提示中，還擴展到LLM每一個隱藏層的保留位置。具體來說，我們對LLM內(nèi)部的query、key和value投影函數(shù)進(jìn)行了專門的修改，以更好地促進(jìn)這一融合過程。

具體來說，我們不僅在LLM的輸入階段注入適配后的協(xié)同嵌入a_i，還將其擴展到整個網(wǎng)絡(luò)的各個隱藏層中。我們運用了LLM內(nèi)部的查詢(query)、鍵(key)和值(value)投影矩陣W_{q, k, v} ，確保模型能夠在整個計算過程中持續(xù)訪問和整合這些豐富的協(xié)同信息。

這不僅保持了協(xié)同上下文的強大表征，還使得梯度在回傳到專家混合(MoE)模塊時更為有效。這種融合設(shè)計，充分發(fā)揮了LLMs在深層語義理解方面的優(yōu)勢，同時又能充分吸收GNN在捕捉結(jié)構(gòu)模式方面的專長。

模型優(yōu)化

在XRec的模型優(yōu)化部分，我們著重于提升大型語言模型(LLMs)在生成語境和句法連貫解釋方面的能力。我們的核心目標(biāo)，是最小化預(yù)測下一個token的概率與實際下一個token之間的差距。

為此，我們采用了負(fù)對數(shù)似然(Negative Log Likelihood， NLL)作為訓(xùn)練損失函數(shù)，具體公式如下:

其中， N表示每個樣本所需生成的解釋數(shù)量， Ci代表每個解釋中的字符數(shù)。

和

分別代表實際和預(yù)測的token。

這種加權(quán)形式的損失函數(shù)，能夠確保模型在優(yōu)化預(yù)測準(zhǔn)確性的同時，也能夠關(guān)注生成解釋的整體連貫性。通過按字符數(shù)進(jìn)行歸一化，我們確保了各個解釋在損失計算中獲得公平的權(quán)重，從而推動模型學(xué)習(xí)生成更加流暢自然的解釋文本。

為了降低訓(xùn)練復(fù)雜度，我們選擇凍結(jié)了LLMs內(nèi)部的所有參數(shù)，僅在基于專家混合(Mixture of Experts， MoE)的適配器模型中進(jìn)行參數(shù)更新。這種策略確保了模型能夠充分利用LLMs龐大的知識儲備，同時又能夠靈活地針對特定任務(wù)進(jìn)行優(yōu)化和精細(xì)調(diào)整。

解釋文本的優(yōu)化

基于大型語言模型(LLM)的創(chuàng)新解決方案，XRec能夠從原始用戶評論中提取出更加明確清晰的用戶意圖和需求特征，大幅提升基準(zhǔn)解釋的質(zhì)量和可解釋性。

與簡單使用原始評論文本相比，這種基于LLM的分析方法能夠洞悉隱藏在表面字面之下的語義內(nèi)涵，更加深入地捕捉用戶的潛在偏好。

模型驗證

XRec模型在多個公開數(shù)據(jù)集上的驗證實驗取得了出色表現(xiàn)。我們利用GPTScore、BERTScore等可解釋性指標(biāo)對模型進(jìn)行評估，結(jié)果顯示XRec在可解釋性和穩(wěn)定性方面均明顯優(yōu)于基準(zhǔn)模型(Att2Seq、NRT、PETER和PEPLER)。

模型魯棒性的探索

為了更全面地檢驗?zāi)Ｐ偷姆夯芰Γ覀冊诓煌瑪?shù)據(jù)稀疏性的場景下進(jìn)行了實驗。將測試集劃分為五個子集(tst1至tst5)，涵蓋了從罕見到頻繁不等的用戶群體。

結(jié)果表明，XRec不僅在常規(guī)用戶群體中表現(xiàn)卓越，在零樣本場景下(僅包含訓(xùn)練期間未遇到的新用戶)也優(yōu)于基準(zhǔn)模型，與其他子集的性能基本持平。這種在冷啟動場景下的出色表現(xiàn)，體現(xiàn)了XRec強大的泛化能力，對于新用戶的推薦應(yīng)用具有重要價值。

總的來說，XRec在可解釋性、穩(wěn)定性以及對新舊用戶的適應(yīng)性等方面的優(yōu)異表現(xiàn)，充分證明了該模型在實際應(yīng)用中的廣泛適用性。無論是用戶行為還是項目目錄發(fā)生變化的動態(tài)環(huán)境，XRec都能夠保持高水平的性能，為推薦系統(tǒng)的智能化升級提供可靠的技術(shù)支撐。

模型消融實驗

為了深入探究模型關(guān)鍵組件的影響，我們進(jìn)行了一系列消融實驗。具體來說，我們比較了包含所有特性的完整模型(Ours)與三種變體:

1. 無Profile(Ours w/o profile): 省略了用戶和項目屬性

2. 無協(xié)同信號注入(Ours w/o injection): 保留對齊嵌入在提示中，但未將其注入到LLM層

3. 無屬性&協(xié)同信號注入(Ours w/o profile & injection): 同時缺少屬性和基于協(xié)同信號嵌入的注入

我們在Amazon-books和Google-reviews兩個數(shù)據(jù)集上，使用GPTScore和BERTScore這兩個可解釋性指標(biāo)對這些變體進(jìn)行了嚴(yán)格的評估，并比較了它們的標(biāo)準(zhǔn)差。

結(jié)果顯示，我們的完整模型(Ours)在可解釋性和穩(wěn)定性方面均優(yōu)于其他變體。這突出了每個組件在推動模型性能和能力方面的關(guān)鍵作用。用戶/項目屬性以及協(xié)同信息的注入，都為模型的出色表現(xiàn)做出了重要貢獻(xiàn)。

結(jié)語

本研究提出了一種全新的XRec框架，它實現(xiàn)了基于圖的協(xié)同過濾方法與大語言模型(LLM)技術(shù)的有機融合。這種創(chuàng)新設(shè)計使得XRec能夠為推薦輸出生成全面而見解深刻的解釋說明。

通過利用用戶-商品交互圖中蘊含的內(nèi)在協(xié)同關(guān)系，XRec有效捕捉到了構(gòu)成用戶偏好和項目關(guān)聯(lián)的高階依賴性。關(guān)鍵在于，XRec配備了專門的協(xié)同信息適配器模塊，作為協(xié)同信號(collaborative signal)與LLM語義空間之間的關(guān)鍵連接紐帶。

廣泛的實驗結(jié)果充分證明了XRec框架的顯著優(yōu)勢。它不僅提升了推薦過程的可解釋性，而且在具有挑戰(zhàn)性的零樣本場景中展現(xiàn)出了出色的泛化能力和魯棒性。這意味著XRec能夠更好地滿足用戶個性化需求，為下一代智能推薦系統(tǒng)開辟新的可能。

本文轉(zhuǎn)自 新智元 ，作者：新智元

原文鏈接:??https://mp.weixin.qq.com/s/SNIAPbtSV6F76WYJNTkbRQ??