近期，信息學院（人工智能學院）青年教師李亞坤在知識感知推薦系統領域取得研究進展，研究成果以“Towards Knowledge-aware and Deep Reinforced Cross-Domain Recommendation over Collaborative Knowledge Graph”為題，在數據挖掘領域權威期刊《IEEE Transactions on Knowledge and Data Engineering》（CCF A類期刊，中國科學院二區，IF=8.9）上發表。
近年來，知識感知跨域推薦引起了廣泛關注，并成為一種有前景的推薦方式。直觀地，大多數現有的知識感知跨域推薦旨在利用來自輔域的豐富語義知識來提高稀疏目標域的用戶推薦準確性。強化學習可以通過利用與環境進行持續交互的智能代理來學習推薦策略，進而實現令人矚目的研究成果。特別地，深度強化學習可以訓練一個與用戶交互和反饋的推薦代理來優化推薦策略，并在基于知識圖譜的推薦系統中展現了強大的表示和函數約束能力。
然而，目前將強化學習應用到實際的推薦系統中仍然存在一些挑戰。例如，在線上場景中，有限的用戶交互數據會顯著地影響推薦性能和用戶體驗；推薦系統中規模巨大的項目和狀態空間致使深度強化學習策略在每個下一步中都存在采樣效率問題；現前推薦代理難以應對知識圖譜中眾多類型的關系和實體集。此外，盡管大多數現有模型都可以應用于單域推薦系統，例如序列、交互、對話和可解釋的推薦場景，但研究人員還沒有探索過它們在跨域推薦中的表現。
針對上述問題，該文提出了一種新的基于深度強化學習的知識感知跨域推薦模型KRCDR（示例如圖1），它可以將知識圖譜信息整合到強化學習框架中進行跨域推薦。這是首次嘗試同時利用知識圖譜和深度強化學習技術來改進跨域推薦的性能。具體地，該文將跨域推薦任務轉化為知識圖譜上的馬爾可夫決策過程，并詳細解釋了跨域推薦環境下MDP的每個關鍵組件；然后，本文提出了一種知識感知的雙狀態表示方法，分別融合了來自域內和跨域相似鄰居的狀態表示，以有效地捕獲用戶偏好的獎勵信號；此外，為了進一步提高探索性能，本文還設計了一種約束鄰居剪枝策略以減少來自兩個域的所有候選項目組成的巨大動作空間；最后，本文提出了一種具有兩個輸出層的自監督Actor-Critic網絡模型以提高推薦準確性。為了驗證提出的模型，在四個數據集上進行了廣泛的實驗和對比，其中主實驗和消融研究的結果都表明，提出的方法能夠顯著地優于所有先進的基線。
(a) Case 1 （左）(a) Case 2（中） (a) Case 3（右）
圖1 提出方法KRCDR推薦效果示例圖
北京林業大學為論文第一共同完成單位，信息學院（人工智能學院）青年教師李亞坤為第一作者，通訊作者為合作單位的清華大學李涓子教授。
論文鏈接：https://ieeexplore.ieee.org/document/10505847。
