在推薦系統中，用戶(hù)的顯式反饋、隱式反饋、正反饋和負反饋都能夠反映用戶(hù)對于被推薦物品的偏好。這些反饋信息在推薦系統中十分有用。然而，現在的大規模深度推薦模型往往以點(diǎn)擊為目標，只看重以用戶(hù)點(diǎn)擊行為為代表的隱式正反饋，而忽略了其它有效的用戶(hù)反饋信息。

作者在本文中關(guān)注用戶(hù)多種顯式/隱式和正/負反饋信息，學(xué)習用戶(hù)的無(wú)偏興趣偏好。具體地，作者提出了一個(gè)Deep Feedback Network (DFN)模型，綜合使用了用戶(hù)的隱式正反饋（點(diǎn)擊行為）、隱式負反饋（曝光但未點(diǎn)擊的行為）以及顯式負反饋（點(diǎn)擊不感興趣按鈕行為）等信息。

DFN模型使用了internal feedback interaction component抓住用戶(hù)行為序列中的細粒度的行為級別的交互，然后通過(guò)external feedback interaction component，使用準確但稀少的隱式正反饋和顯式負反饋作為監督，從噪音較多的隱式負反饋中進(jìn)一步抽取用戶(hù)的正負反饋信息。在實(shí)驗中，作者基于微信看一看的數據，進(jìn)行了豐富的離線(xiàn)和在線(xiàn)實(shí)驗，模型與baseline相比均取得顯著(zhù)提升。

1、模型背景與簡(jiǎn)介

推薦系統在日常生活中被廣泛使用，為用戶(hù)獲取信息與娛樂(lè )提供便利。推薦系統算法往往基于用戶(hù)與系統的交互，這些交互行為可以大致分為以下兩類(lèi)：顯式反饋與隱式反饋。顯式反饋從用戶(hù)對于物品的直接態(tài)度中獲取，例如評論中的一星到五星，或者微信看一看系統中的“不感興趣”按鈕。這類(lèi)反饋能夠直接表達用戶(hù)的正向以及負向偏好，但是這類(lèi)反饋的數量往往不多。隱式反饋從用戶(hù)的行為中間接獲得，例如用戶(hù)的點(diǎn)擊/不點(diǎn)擊行為。這些信息在推薦系統中往往是海量的，但是這些信息有著(zhù)較多噪聲（用戶(hù)點(diǎn)擊的并不一定是他真正喜歡的）。另外，隱式反饋通常是以正反饋的形式出現，推薦中的隱式負反饋存在巨大噪聲（未展現信息或者未點(diǎn)擊信息并不一定意味著(zhù)用戶(hù)不喜歡這些內容）。

在近期的深度推薦系統中，CTR導向的目標受到J大關(guān)注。因此，模型不可避免地只關(guān)注和目標緊密相關(guān)的用戶(hù)點(diǎn)擊行為，忽略了其它用戶(hù)行為中蘊含的豐富信息。僅考慮CTR導向目標的推薦模型往往會(huì )遇到以下兩個(gè)問(wèn)題：（1）CTR導向目標只關(guān)注用戶(hù)喜歡什么，沒(méi)有關(guān)注用戶(hù)不喜歡什么。這樣，模型的推薦結果容易同質(zhì)化和趨熱化，損害用戶(hù)體驗。因此，負反饋信息是必要的。（2）用戶(hù)除了被動(dòng)地接受系統推薦的物品，有時(shí)也需要能夠主動(dòng)和即時(shí)的反饋機制。用戶(hù)希望能夠G效和準確地告知系統自己喜歡或者不喜歡什么。另外，用戶(hù)的顯式和隱式反饋之間也會(huì )存在割裂（用戶(hù)點(diǎn)擊的并不一定是他真正喜歡的）。因此，顯式反饋也是必要的。顯式信息和隱式信息能夠作為彼此的補充，相輔相成。已有工作通過(guò)使用用戶(hù)的未點(diǎn)擊/未曝光行為作為用戶(hù)的隱式負反饋，這樣會(huì )引入J大的噪聲。另外一些工作嘗試使用用戶(hù)的顯式負反饋信息。這些信息固然準確，但是也往往比較稀疏。

為了解決這些問(wèn)題，綜合使用用戶(hù)多種顯式/隱式和正/負反饋信息學(xué)習更好的無(wú)偏用戶(hù)表示，作者提出了一個(gè)Deep Feedback Network (DFN)模型。圖1中給出了在微信看一看場(chǎng)景中的三種用戶(hù)反饋。DFN通過(guò)internal feedback interaction component抓住用戶(hù)行為序列中的細粒度行為級別的交互，然后通過(guò)external feedback interaction component，使用準確但稀少的隱式正反饋和顯式負反饋作為監督，從噪音較多的隱式負反饋中進(jìn)一步抽取用戶(hù)的正負反饋信息。這些反饋特征會(huì )和其他用戶(hù)/物品特征混合，并行使用FM、Deep和Wide層進(jìn)行特征交互，后進(jìn)行CTR預估。

作者基于微信看一看推薦系統，設計了離線(xiàn)和線(xiàn)上實(shí)驗，在多個(gè)指標上具有顯著(zhù)提升。這篇工作的主要貢獻如下：

1、作者D一次融合隱式正反饋（點(diǎn)擊行為）、隱式負反饋（曝光但未點(diǎn)擊的行為）、顯式負反饋（點(diǎn)擊不感興趣按鈕行為）和它們之間的交互信息進(jìn)行用戶(hù)行為建模；

2、作者提出了一個(gè)全新的Deep Feedback Network (DFN)模型，能夠學(xué)習到用戶(hù)無(wú)偏的興趣偏好；

3、模型在離線(xiàn)和在線(xiàn)任務(wù)上都得到了顯著(zhù)提升，具有工業(yè)級實(shí)用價(jià)值。論文中也提出了一個(gè)feed流中的顯式負反饋預測任務(wù)。

2、模型結構

DFN模型主要分為三個(gè)階段：首先，deep feedback interaction module以用戶(hù)的多種反饋行為作為輸入，輸出用戶(hù)的反饋特征。然后，Feature Interaction Module進(jìn)一步考慮用戶(hù)的其它特征和物品特征，使用FM、Deep和Wide層進(jìn)行特征交互。后，輸出層使用CTR作為訓練目標。圖2給出了DFN的整體結構。

deep feedback interaction module是模型的主要創(chuàng )新點(diǎn)。它包括了兩個(gè)組成部分：Internal Feedback Interaction Component和External Feedback Interaction Component。圖3給出了deep feedback interaction module的結構。

首先，在Internal Feedback Interaction Component中，用戶(hù)的隱式正反饋、隱式負反饋和顯式負反饋序列和target item一起，通過(guò)一個(gè)transformer層，得到了在各個(gè)序列內部細粒度的item-level的交互信息，然后經(jīng)過(guò)average層得到三種反饋的特征表示，其中隱式正反饋特征中蘊含G質(zhì)量的用戶(hù)正向偏好，顯式負反饋特征中蘊含G質(zhì)量的用戶(hù)負向偏好。

D二步，在External Feedback Interaction Component中，隱式負反饋序列往往是三種行為中多的行為，但也是噪聲大的行為。作者把G質(zhì)量的和target item交互后的隱式正反饋特征和顯式負反饋特征看作一種G質(zhì)量指導，從用戶(hù)未點(diǎn)擊序列中挖掘用戶(hù)或許喜歡/不喜歡的物品，補充用戶(hù)的正向負向偏好。作者使用了一個(gè)attention層得到了兩種用戶(hù)弱正向/負向反饋特征。這兩種弱反饋特征和D一步的三種反饋特征拼接后成為終的用戶(hù)反饋特征。

第三步，在Feature Interaction Module中，作者使用了FM、Wide和Deep層，對用戶(hù)其它特征、物品特征和用戶(hù)反饋特征等進(jìn)行低階/G階特征交互。這一個(gè)模塊是為了充分利用各種特征輔助推薦，使得模型在真實(shí)工業(yè)級任務(wù)上達到好的效果。使用Wide層主要是為了給潛在的特征工程留下接口。

后，作者基于CTR loss進(jìn)行訓練。除去傳統的正例和未點(diǎn)擊負例，作者還增加了一項預測用戶(hù)負反饋點(diǎn)擊的loss。由于在實(shí)際推薦系統中，用戶(hù)給出主動(dòng)顯式負反饋的次數J少，顯式負反饋中的負向信息也J其強烈，所以作者單獨在loss中強調了這一項，并且給予了較大的訓練權值。

3、實(shí)驗結果

離線(xiàn)和線(xiàn)上實(shí)驗均在微信看一看上進(jìn)行，離線(xiàn)數據集包含千萬(wàn)級用戶(hù)在百萬(wàn)級物品上的億級行為。模型離線(xiàn)CTR預估結果如圖4：

4、總結

在本文中，作者初步研究了推薦系統中的多種顯式/隱式和正/負反饋之間的協(xié)同合作機制。DFN模型能夠基于多種反饋信息即時(shí)學(xué)習到用戶(hù)的無(wú)偏的正負向興趣，在點(diǎn)擊預估和不感興趣預估等多個(gè)任務(wù)上均有提升效果。直觀(guān)而有效的模型也使得DFN能成功在工業(yè)級推薦系統中得到部署和驗證。我們預測用戶(hù)的顯式反饋，特別是顯式負反饋的信息將會(huì )未來(lái)推薦系統中起到更加重要的作用，在發(fā)掘推薦系統可解釋性同時(shí)提升用戶(hù)體驗。