自我介紹：京東零售搜推算法部算法工程師，專(zhuān)注于大模型技術(shù)以及在 AI 助手搜推等領(lǐng)域的應(yīng)用探索和實(shí)踐。在 AI 助手，NLP 和搜索領(lǐng)域有十多年研發(fā)實(shí)踐經(jīng)驗(yàn)，在 AI/NLP 領(lǐng)域申請(qǐng)超過(guò) 15 項(xiàng)發(fā)明專(zhuān)利并出版兩部著作。

?

隨著電商行業(yè)的蓬勃發(fā)展，搜索技術(shù)作為連接用戶(hù)與商品的橋梁，其重要性日益凸顯。在技術(shù)不斷革新的今天，電商搜索技術(shù)經(jīng)歷了哪些階段？面對(duì)大模型的飛速發(fā)展，企業(yè)又將如何把握趨勢(shì)，應(yīng)對(duì)挑戰(zhàn)？為了深入探討這些問(wèn)題，我和InfoQ欄目探討了電商搜索技術(shù)的發(fā)展歷程、當(dāng)前的應(yīng)用狀況以及面臨的挑戰(zhàn)和未來(lái)的發(fā)展方向。以下是采訪的詳細(xì)內(nèi)容。

?

InfoQ：在您看來(lái)電商搜索經(jīng)歷了哪些階段？

翟周偉：我從技術(shù)發(fā)展的角度講下，本質(zhì)上電商搜索技術(shù)演進(jìn)的驅(qū)動(dòng)力是通過(guò)不斷的技術(shù)創(chuàng)新去實(shí)現(xiàn)更低的成本，更高的效率，以及更好的用戶(hù)體驗(yàn)，可以劃分為 4 個(gè)階段：

第一是文本檢索階段，主要基于基礎(chǔ)文本檢索技術(shù)和以規(guī)則統(tǒng)計(jì)為主的人貨匹配；

第二是機(jī)器學(xué)習(xí)階段，以統(tǒng)計(jì) NLP 技術(shù)為核心的用戶(hù)意圖理解和商品理解，利用機(jī)器學(xué)習(xí)模型對(duì) UCTR 和 UCVR 進(jìn)行建模提升轉(zhuǎn)化，并在人貨匹配上引入 LTR 等排序模型提升相關(guān)性，同時(shí)利用用戶(hù)搜索行為反饋數(shù)據(jù)來(lái)優(yōu)化效果；

第三是深度學(xué)習(xí)階段，核心是 DNN 技術(shù)驅(qū)動(dòng)，包括基于深度模型的意圖理解和商品理解顯著提升了需求分發(fā)的準(zhǔn)確性，在商品搜索上引入了 ANN 語(yǔ)義向量召回，多模態(tài)召回，DNN 匹配技術(shù)，交互上除了文本交互還支持以 DNN 技術(shù)為核心的語(yǔ)音和圖像商品搜索交互，排序上支持個(gè)性化搜索可以千人千面的商品展示；

第四是大模型階段，正是當(dāng)下正在經(jīng)歷的階段，首先是交互的改變，從單向的需求引導(dǎo)到雙向的對(duì)話式自然語(yǔ)言交互，基于大模型的用戶(hù)理解和商品理解有效解決了長(zhǎng)尾泛化問(wèn)題，在召回和相關(guān)性上大模型也正在重構(gòu)整個(gè)技術(shù)架構(gòu)，包括極具有顛覆潛力的大模型生成式檢索技術(shù)的探索和應(yīng)用。

?

InfoQ：在京東或者在電商平臺(tái)，大模型主要應(yīng)用于什么方向？可否舉幾個(gè)例子？

翟周偉：在電商領(lǐng)域主要在用戶(hù)交互，意圖理解和商品理解，商品召回和相關(guān)性，以及文案創(chuàng)意生成等方向。在用戶(hù)交互上重點(diǎn)利用大模型的對(duì)話能力進(jìn)行對(duì)話式交互導(dǎo)購(gòu)，例如我們的京言 AI 助手，意圖理解和商品理解上核心是利用大模型的超強(qiáng)理解能力進(jìn)一步提升用戶(hù)需求識(shí)別的準(zhǔn)確性以及商品信息的精準(zhǔn)建模，商品召回和相關(guān)性上的一個(gè)典型例子就是用大模型做商品的增強(qiáng)召回，用大模型對(duì)用戶(hù)需求和商品 SKU 做相關(guān)性，文案生成應(yīng)用上利用大模型來(lái)生成圖文并茂的營(yíng)銷(xiāo)文案，大模型評(píng)論總結(jié)等。

?

InfoQ：這些應(yīng)用有哪些實(shí)際落地的困難？

翟周偉：第一個(gè)首要問(wèn)題就是通用大模型對(duì)商品知識(shí)的理解能力比較弱，直接應(yīng)用沒(méi)有明顯效果優(yōu)勢(shì)；第二個(gè)問(wèn)題就是個(gè)性化 Context 理解問(wèn)題，大模型在理解用戶(hù)購(gòu)物偏好，用戶(hù)評(píng)論，商品細(xì)節(jié)上存在個(gè)性化效果挑戰(zhàn)；第三個(gè)就是時(shí)效性問(wèn)題，大模型本身數(shù)據(jù)更新很慢，知識(shí)陳舊，而新商品，促銷(xiāo)，價(jià)格等時(shí)效性更新超高頻；第四個(gè)就是成本和速度問(wèn)題，大模型訓(xùn)練和推理成本很大，大規(guī)模使用會(huì)面臨 ROI 低的問(wèn)題，在線推理速度也很難滿(mǎn)足系統(tǒng)實(shí)時(shí)性要求；最后就是安全問(wèn)題，大模型存在敏感數(shù)據(jù)泄露風(fēng)險(xiǎn)，以及生成內(nèi)容的安全合規(guī)等問(wèn)題。

?

InfoQ：大模型實(shí)時(shí)信息獲取和專(zhuān)業(yè)信息處理能力的能力應(yīng)該是非常重要的一環(huán)，京東的解決思路是什么？目前可以做到什么程度或者說(shuō)效果？

翟周偉：我們的解決思路主要通過(guò)兩種方法，第一是新數(shù)據(jù)和新知識(shí)的增強(qiáng)持續(xù)預(yù)訓(xùn)練，第二就是 RAG，包括電商知識(shí)圖譜 KG-RAG，商品搜索 RAG，Web 搜索 RAG。通過(guò)這些技術(shù)手段我們的大模型在電商領(lǐng)域任務(wù)上顯著高于通用大模型，并且通過(guò) RAG 可以做到實(shí)時(shí)性信息更新。

?

InfoQ：如何構(gòu)建一個(gè)好的大模型電商搜索引擎？在您看來(lái)需要哪些原則或者考慮？

翟周偉：大模型電商搜索引擎的核心是所使用大模型的能力決定的，這個(gè)能力不僅僅是在通用領(lǐng)域的性能，關(guān)鍵在于大模型對(duì)于電商用戶(hù)的理解，對(duì)商品的深刻理解，對(duì)電商場(chǎng)景的理解，以及在整個(gè)電商應(yīng)用任務(wù)上的性能表現(xiàn)，因此核心考慮是如何構(gòu)建一個(gè)高性能的電商大模型能力底座，以及性能評(píng)估體系。

這個(gè)也是當(dāng)前我們的工作重點(diǎn)，啟發(fā)于人類(lèi)學(xué)習(xí)總是在前人積累的知識(shí)和經(jīng)驗(yàn)上進(jìn)一步學(xué)習(xí)，我們提出了一種繼承學(xué)習(xí)方法來(lái)持續(xù)學(xué)習(xí)，在數(shù)據(jù)上通過(guò)提升知識(shí)密度和配比調(diào)整，通過(guò)模型結(jié)構(gòu)優(yōu)化，退火學(xué)習(xí)，多階段指令對(duì)齊優(yōu)化，增強(qiáng)安全治理對(duì)齊等方法提升我們電商大模型的性能表現(xiàn)。

?

InfoQ：大家都說(shuō)大模型好，但是目前行得通的商業(yè)模式目前還不多，您認(rèn)為企業(yè)，大家對(duì)于大模型的投入產(chǎn)出比如何？

翟周偉：大模型表現(xiàn)的涌現(xiàn)能力讓人震驚，基于大模型的各種應(yīng)用層出不窮，但到目前為止還沒(méi)有出現(xiàn)所謂的大模型超級(jí)應(yīng)用，也沒(méi)有出現(xiàn)顛覆性的商業(yè)模式，由于大模型研發(fā)成本非常大，各種基于大模型的原生應(yīng)用，包括一線大廠和創(chuàng)業(yè)公司的各種 AI 助手類(lèi)應(yīng)用還都處于虧損階段，因此 ROI 是很低的，但大模型應(yīng)用的商業(yè)潛力巨大，這種商業(yè)探索非常值得。

同時(shí)另一個(gè)方面是利用大模型去優(yōu)化成熟商業(yè)模式業(yè)務(wù)中的效果，重點(diǎn)在于解決中長(zhǎng)尾問(wèn)題，在這個(gè)方向上 ROI 還是可以的，已經(jīng)產(chǎn)生了商業(yè)價(jià)值。

?

InfoQ：理想中的下一代 AI 電商搜索是什么樣的？

翟周偉：理想的下一代 AI 電商搜索在技術(shù)上應(yīng)該是完全大模型驅(qū)動(dòng)或 AGI 技術(shù)驅(qū)動(dòng)，產(chǎn)品形態(tài)上應(yīng)該是一個(gè)數(shù)字虛擬助理，類(lèi)似電影《Her》中出現(xiàn)的超級(jí) AI 助手，在交互上可以和人類(lèi)進(jìn)行全模態(tài)的自然語(yǔ)言交互，可以直接進(jìn)行無(wú)障礙的流暢語(yǔ)音交互，同時(shí)具有聽(tīng)覺(jué)，視覺(jué)，以及空間感知等能力，可以精準(zhǔn)基于用戶(hù)需求直接推薦最匹配的商品，并給出精準(zhǔn)的商品總結(jié)，以及為什么滿(mǎn)足需求，性?xún)r(jià)比等，在需求不明的時(shí)候可以進(jìn)行擬人的交互式導(dǎo)購(gòu)，并可以智能的通過(guò) AI Agent 技術(shù)在用戶(hù)授權(quán)下自動(dòng)下單，包括后續(xù)的物流，售后服務(wù)都可以由 Agent 來(lái)完成，用戶(hù)只需要下達(dá)命令即可。

?

InfoQ：可以看的出京東也是比較重視大模型的投入的，在您看來(lái)一般企業(yè)開(kāi)發(fā)或應(yīng)用大模型的門(mén)檻是不是比較高？對(duì)于企業(yè)開(kāi)發(fā)和應(yīng)用大模型有哪些建議？

翟周偉：在我看來(lái)，對(duì)于一般企業(yè)做大模型應(yīng)用的門(mén)檻其實(shí)是相對(duì)比較低，至少是比傳統(tǒng)的 AI 應(yīng)用門(mén)檻低，是因?yàn)榇竽Ｐ透淖兞?AI 應(yīng)用的研發(fā)范式，只需要會(huì)寫(xiě) prompt 就可以使用大模型，而且效果不錯(cuò)，雖然應(yīng)用門(mén)檻變低了，但要做好大模型應(yīng)用的門(mén)檻是變高了，是因?yàn)橐坏┥婕暗骄唧w的業(yè)務(wù)場(chǎng)景深度效果優(yōu)化就需要優(yōu)化大模型本身，而大模型研發(fā)成本和技術(shù)門(mén)檻還是比較高，首先訓(xùn)練和推理資源投入就很大，數(shù)據(jù)也需要很大成本，技術(shù)上涉及到預(yù)訓(xùn)練，SFT，DPO，PPO，MOE 等技術(shù)，要做好還是有門(mén)檻的。在應(yīng)用上我有兩點(diǎn)建議：

第一：如果偏向創(chuàng)新產(chǎn)品，建議初期直接調(diào)用大模型云服務(wù) API，以 prompt 方式先把產(chǎn)品做出來(lái)，先跑通商業(yè)模式，盡快建立用戶(hù)反饋，有一定用戶(hù)規(guī)模后再考慮是否研發(fā)自己的大模型。

第二：如果需要優(yōu)化大模型，建議以性能和商用友好的開(kāi)源大模型作為底座從而降低訓(xùn)練成本，可結(jié)合應(yīng)用在預(yù)訓(xùn)練增強(qiáng)，指令對(duì)齊上進(jìn)行優(yōu)化，也可以開(kāi)源模型做初始化進(jìn)行模型擴(kuò)展或壓縮以適應(yīng)業(yè)務(wù)需求。

審核編輯 黃宇