作者：京東零售 高繼航

1 前言

2024年，京東零售技術(shù)自研的京點(diǎn)點(diǎn)AIGC內(nèi)容生成平臺(tái)（以下簡(jiǎn)稱(chēng)“京點(diǎn)點(diǎn)”）已覆蓋電商運(yùn)營(yíng)涉及的20+核心場(chǎng)景，AI能力單日調(diào)用超1000萬(wàn)次?！熬c(diǎn)點(diǎn)”致力于電商場(chǎng)景下商品內(nèi)容、營(yíng)銷(xiāo)素材的智能化、自動(dòng)化生產(chǎn)和運(yùn)營(yíng)，已幫助京東35萬(wàn)+第三方商家一鍵AI生成店鋪運(yùn)營(yíng)所需的商品圖片、運(yùn)營(yíng)與營(yíng)銷(xiāo)文案，提升內(nèi)容制作效率和效果，降低商家內(nèi)容制作成本。

“京點(diǎn)點(diǎn)”融合了電商內(nèi)容生成、可控生成技術(shù)和多智能體協(xié)作等多種技術(shù)的融合創(chuàng)新，代表了AI技術(shù)在電商領(lǐng)域應(yīng)用的最新突破，實(shí)現(xiàn)了高效、可控、智能的多模態(tài)內(nèi)容生成和優(yōu)化，榮獲“infoQ 2024中國(guó)技術(shù)力量年度榜單-2024 年度 AI 最佳實(shí)踐案例/方案”獎(jiǎng)項(xiàng)。本文將對(duì)京點(diǎn)點(diǎn)實(shí)現(xiàn)高效、可控、智能的多模態(tài)內(nèi)容生成和優(yōu)化的創(chuàng)新實(shí)踐進(jìn)行介紹。

2 背景介紹

2.1業(yè)務(wù)場(chǎng)景

“京點(diǎn)點(diǎn)” https://ai.jd.com/是一款專(zhuān)為電商人打造的AI設(shè)計(jì)工具，平臺(tái)基于大模型+AI能力改變傳統(tǒng)的零售、電商內(nèi)容生產(chǎn)模式，覆蓋AI圖片設(shè)計(jì)、AI文案寫(xiě)作，無(wú)需專(zhuān)業(yè)人員，小白點(diǎn)一點(diǎn)就能生產(chǎn)專(zhuān)業(yè)的電商內(nèi)容素材。

“京點(diǎn)點(diǎn)”已上線了三大AIGC能力：一是AI商品圖生成，用戶上傳商品普通拍攝圖或白底圖，系統(tǒng)可自動(dòng)摳圖并結(jié)合電商數(shù)據(jù)推薦合適的場(chǎng)景模板，生成高質(zhì)量商品場(chǎng)景圖，還能AI添加商品核心賣(mài)點(diǎn)文案、營(yíng)銷(xiāo)利益點(diǎn)等變?yōu)樯唐分鲌D、商品詳情圖、商品營(yíng)銷(xiāo)圖等素材；二是AI營(yíng)銷(xiāo)文案生成，用戶輸入京東商品SKU編號(hào)或名稱(chēng)，系統(tǒng)能從相關(guān)商品中提取賣(mài)點(diǎn)信息，按用戶需求的文章風(fēng)格生成營(yíng)銷(xiāo)文案；三是面向所有設(shè)計(jì)師的風(fēng)格模型訓(xùn)練平臺(tái)，可根據(jù)設(shè)計(jì)師的風(fēng)格傾向需求，對(duì)商品場(chǎng)景圖、營(yíng)銷(xiāo)設(shè)計(jì)元素、營(yíng)銷(xiāo)海報(bào)圖等進(jìn)行云端自助lora訓(xùn)練，實(shí)現(xiàn)精準(zhǔn)控制和快速出圖。

目前，“京點(diǎn)點(diǎn)”面向京東商家、集團(tuán)員工、京東生態(tài)伙伴進(jìn)行全量開(kāi)放，同時(shí)能力接入到京東各個(gè)核心B端產(chǎn)品中，包括智能摳圖、智能文案、商品場(chǎng)景圖/模特圖生成、AI搭配購(gòu)等功能，提升商家內(nèi)容制作效率和效果，降低商家內(nèi)容制作成本。

2.2技術(shù)挑戰(zhàn)

在“京點(diǎn)點(diǎn)”打造與業(yè)務(wù)實(shí)際應(yīng)用過(guò)程中，AI內(nèi)容生成技術(shù)面臨著以下幾個(gè)方面的技術(shù)問(wèn)題：

（1）數(shù)據(jù)處理難度大

電商行業(yè)涉及海量的商品信息和用戶數(shù)據(jù)，如何有效地收集、整理和分析這些數(shù)據(jù)，以訓(xùn)練出準(zhǔn)確的文生圖基底模型，是一個(gè)巨大的挑戰(zhàn)。海量的零售圖片數(shù)據(jù)需要進(jìn)行高效處理和分析，這不僅需要強(qiáng)大的計(jì)算能力，還需要先進(jìn)的數(shù)據(jù)處理技術(shù)和算法，以確保數(shù)據(jù)的質(zhì)量和準(zhǔn)確性。

（2）圖像生成精準(zhǔn)控制困難

在電商領(lǐng)域，商品圖像的質(zhì)量和效果直接影響消費(fèi)者的購(gòu)買(mǎi)決策。因此，如何精確控制圖像的輪廓、風(fēng)格、視角和布局，同時(shí)確保商品的一致性，是一個(gè)亟待解決的問(wèn)題。傳統(tǒng)的圖像生成技術(shù)往往難以實(shí)現(xiàn)對(duì)圖像的精細(xì)控制，導(dǎo)致生成的圖像無(wú)法滿足電商企業(yè)的個(gè)性化需求。

（3）營(yíng)銷(xiāo)文案生成的準(zhǔn)確性和風(fēng)格問(wèn)題

營(yíng)銷(xiāo)文案是電商內(nèi)容的重要組成部分，它不僅需要準(zhǔn)確地傳達(dá)商品的信息和特點(diǎn)，還需要具備吸引消費(fèi)者的語(yǔ)言風(fēng)格。然而，大模型幻覺(jué)問(wèn)題導(dǎo)致?tīng)I(yíng)銷(xiāo)文案的準(zhǔn)確性和語(yǔ)言風(fēng)格難以滿足實(shí)際需求，這使得電商用戶在營(yíng)銷(xiāo)推廣方面面臨著一定的困難。

（4）模型優(yōu)化與適應(yīng)性

電商市場(chǎng)變化迅速，消費(fèi)者的需求和喜好也在不斷變化。因此，如何根據(jù)用戶反饋和市場(chǎng)趨勢(shì)不斷優(yōu)化生成模型，使其更好地適應(yīng)電商業(yè)務(wù)的實(shí)際需求，是一個(gè)持續(xù)的挑戰(zhàn)。傳統(tǒng)的模型往往缺乏靈活性和適應(yīng)性，難以快速響應(yīng)市場(chǎng)的變化。

3 技術(shù)實(shí)踐

3.1 技術(shù)創(chuàng)新和實(shí)踐

為了解決上述問(wèn)題，“京點(diǎn)點(diǎn)”進(jìn)行了一系列的技術(shù)創(chuàng)新和實(shí)踐，致力于為電商行業(yè)提供高質(zhì)量、高效率的內(nèi)容生成解決方案。

（1）先進(jìn)的文生圖基底

?海量數(shù)據(jù)訓(xùn)練：“京點(diǎn)點(diǎn)”通過(guò)使用海量的零售圖片數(shù)據(jù)訓(xùn)練京東的文生圖基底模型。這些數(shù)據(jù)涵蓋了各種商品類(lèi)型、風(fēng)格和場(chǎng)景，使模型能夠?qū)ι唐泛弯N(xiāo)售有更深入的理解。為了提高數(shù)據(jù)處理效率，平臺(tái)自研了高效海量數(shù)據(jù)處理平臺(tái)，能夠快速生產(chǎn)和迭代基底訓(xùn)練數(shù)據(jù)。

?先進(jìn)技術(shù)框架：基底模型采用了 DiT 框架和 Flow Matching 技術(shù)，實(shí)現(xiàn)了快速進(jìn)化。DiT 框架是一種基于深度學(xué)習(xí)的圖像生成框架，它能夠有效地捕捉圖像的特征和結(jié)構(gòu)，生成更加真實(shí)、自然的圖像。Flow Matching 技術(shù)則是一種用于圖像生成的概率模型，它能夠提高生成圖像的多樣性和準(zhǔn)確性。通過(guò)這些先進(jìn)技術(shù)的應(yīng)用，“京點(diǎn)點(diǎn)”能夠在商品主圖、商品詳情、營(yíng)銷(xiāo)、廣告等場(chǎng)景中生成更加真實(shí)、合理的圖片資產(chǎn)，為電商企業(yè)提供更具吸引力的視覺(jué)內(nèi)容。

（2）Zero-Shot 可控生成框架

?圖像特征一致性注入：自主研發(fā)的 ReferenceNet 能夠?qū)崿F(xiàn)對(duì)圖像特征一致性的零樣本注入。這意味著在不需要大量標(biāo)注數(shù)據(jù)的情況下，平臺(tái)可以以極低的成本確保商品的一致性。通過(guò) ReferenceNet，平臺(tái)能夠提取商品的關(guān)鍵特征，并將其應(yīng)用于圖像生成過(guò)程中，從而保證生成的圖像能夠準(zhǔn)確地反映商品的特點(diǎn)和屬性。

?精確圖像控制：自研的 ControlNet 可以對(duì)圖像的輪廓、風(fēng)格和布局進(jìn)行精確控制。與傳統(tǒng)的圖像控制技術(shù)不同，京點(diǎn)點(diǎn) 的 ControlNet 解決了業(yè)內(nèi) ControlNet 對(duì)基礎(chǔ)模型的負(fù)面影響，在良好控制下不會(huì)降低基礎(chǔ)模型的生成效果。這使得平臺(tái)能夠根據(jù)商品的特征和風(fēng)格需求，生成高度真實(shí)且富有創(chuàng)意的圖像，為商品展示提供更加生動(dòng)、吸引人的視覺(jué)效果。

（3）多技術(shù)融合創(chuàng)新

?多模態(tài)商品理解模型：在營(yíng)銷(xiāo)文案生成方面，“京點(diǎn)點(diǎn)”自研了多模態(tài)商品理解模型。該模型能夠綜合分析商品的圖像、文字描述、用戶評(píng)價(jià)等多模態(tài)信息，構(gòu)建商品的 FAB（Feature, Advantage, Benefit）知識(shí)庫(kù)。這個(gè)知識(shí)庫(kù)涵蓋了商品的規(guī)格參數(shù)、優(yōu)勢(shì)、用戶使用場(chǎng)景等多維度信息，為營(yíng)銷(xiāo)文案的生成提供了豐富的素材和依據(jù)。

?RAG 方案與知識(shí)融合：平臺(tái)使用 RAG（Retrieval-Augmented Generation）方案結(jié)合商品知識(shí)與大語(yǔ)言模型能力，撰寫(xiě)事實(shí)準(zhǔn)確且語(yǔ)言風(fēng)格接地氣的營(yíng)銷(xiāo)文案。RAG 方案通過(guò)在生成過(guò)程中引入相關(guān)的知識(shí)和信息，有效地改善了大模型幻覺(jué)問(wèn)題，提升了營(yíng)銷(xiāo)文案的寫(xiě)作效果。生成的營(yíng)銷(xiāo)文案不僅能夠準(zhǔn)確地傳達(dá)商品的信息和特點(diǎn)，還能夠以生動(dòng)、有趣的語(yǔ)言風(fēng)格吸引消費(fèi)者的注意力，提高商品的銷(xiāo)售轉(zhuǎn)化率。

（4）強(qiáng)化學(xué)習(xí)與優(yōu)化

?用戶反饋與數(shù)據(jù)驅(qū)動(dòng)優(yōu)化：“京點(diǎn)點(diǎn)”引入了強(qiáng)化學(xué)習(xí)機(jī)制，根據(jù)用戶反饋和京東商品數(shù)據(jù)，不斷優(yōu)化生成模型的參數(shù)和策略。通過(guò)收集用戶的行為數(shù)據(jù)、評(píng)價(jià)數(shù)據(jù)和購(gòu)買(mǎi)數(shù)據(jù)等，平臺(tái)能夠深入了解用戶的需求和喜好，從而針對(duì)性地調(diào)整生成模型的參數(shù)和策略，使生成的內(nèi)容更加符合用戶的期望。

?緊密結(jié)合電商業(yè)務(wù)：平臺(tái)與實(shí)際電商業(yè)務(wù)緊密結(jié)合，實(shí)時(shí)調(diào)整生成策略。根據(jù)市場(chǎng)趨勢(shì)、商品銷(xiāo)售情況和用戶需求的變化，平臺(tái)能夠及時(shí)調(diào)整內(nèi)容生成的方向和重點(diǎn)，為電商用戶提供更加具有針對(duì)性和時(shí)效性的內(nèi)容。例如，在促銷(xiāo)活動(dòng)期間，平臺(tái)可以生成更多與促銷(xiāo)相關(guān)的營(yíng)銷(xiāo)文案和圖片，以提高活動(dòng)的效果和影響力。

3.2 技術(shù)實(shí)踐效果

“京點(diǎn)點(diǎn)”面向京東商家、集團(tuán)員工、京東生態(tài)伙伴進(jìn)行全量開(kāi)放，同時(shí)能力接入到京東各個(gè)核心B端產(chǎn)品中，包括智能摳圖、智能文案、商品場(chǎng)景圖/模特圖生成、AI搭配購(gòu)等功能。幫助用戶在商品圖、商品營(yíng)銷(xiāo)文案等內(nèi)容制作的效率提升高達(dá)95%以上，從原來(lái)的天級(jí)降低到秒級(jí)。成本由原來(lái)單張商品圖50-2000元降低99%以上。

以AI生圖為例：

在圖片生產(chǎn)人力與時(shí)間、生產(chǎn)成本、生產(chǎn)效果等方面，“京點(diǎn)點(diǎn)”AI生圖相較傳統(tǒng)人工生產(chǎn)有顯著優(yōu)勢(shì)。如在家裝 2D 場(chǎng)景圖場(chǎng)景和時(shí)尚穿搭試衣場(chǎng)景中：

AI生圖相比傳統(tǒng)人工作圖具有顯著優(yōu)勢(shì)。從人力與時(shí)間方面看，傳統(tǒng)人工制作家裝 2D 場(chǎng)景圖和時(shí)尚穿搭試衣圖均為 10 張/人/天，而京點(diǎn)點(diǎn)AI生圖分別可達(dá) 5000 張/0.1 人/天，內(nèi)容制作的效率提升高達(dá)95%以上。在成本上，傳統(tǒng)人工制作家裝場(chǎng)景圖 500 元/張，時(shí)尚場(chǎng)景圖 2000 元/張，而京點(diǎn)點(diǎn)AI生圖的內(nèi)容制作成本降低超過(guò)99%。此外，京點(diǎn)點(diǎn) AI生圖無(wú)需物理空間和專(zhuān)業(yè)設(shè)計(jì)師，實(shí)習(xí)生即可完成符合業(yè)務(wù)質(zhì)量需求的圖片，這進(jìn)一步減少了對(duì)內(nèi)容生產(chǎn)專(zhuān)業(yè)資源的依賴，為家裝和時(shí)尚領(lǐng)域帶來(lái)了新的可能性。

3.3技術(shù)與資源投入性價(jià)比

除了要達(dá)到最佳的生成質(zhì)量，還需要盡可能減少資源投入，實(shí)現(xiàn)業(yè)務(wù)應(yīng)用的最佳投入產(chǎn)出?！熬c(diǎn)點(diǎn)”創(chuàng)新性地采用了大模型加速方案和大小模型聯(lián)合推理技術(shù)算法，針對(duì)電商領(lǐng)域的特定需求，顯著提升了資源利用效率，相較于傳統(tǒng)的單一大模型方案，在內(nèi)容生成質(zhì)量效果一致的情況下，資源投入度減少高達(dá)90%。以下是對(duì)兩種技術(shù)方案的詳細(xì)對(duì)比分析：

3.4技術(shù)實(shí)踐突破原因

“京點(diǎn)點(diǎn)”能夠取得這些技術(shù)實(shí)踐突破，主要得益于以下幾個(gè)方面：

（1）業(yè)務(wù)引領(lǐng)用戶為先：“京點(diǎn)點(diǎn)”始終以業(yè)務(wù)發(fā)展為引領(lǐng)，和京東家部、京東時(shí)尚、京東大商超、京麥、京準(zhǔn)通等兄弟業(yè)務(wù)部門(mén)緊密合作，圍繞電商行業(yè)的需求和趨勢(shì)，不斷探索新的技術(shù)應(yīng)用和業(yè)務(wù)模式。通過(guò)精準(zhǔn)的行業(yè)洞察和業(yè)務(wù)規(guī)劃，“京點(diǎn)點(diǎn)”AI生成能力實(shí)現(xiàn)業(yè)務(wù)的快速增長(zhǎng)。

（2）專(zhuān)業(yè)的技術(shù)團(tuán)隊(duì)：“京點(diǎn)點(diǎn)”擁有一批專(zhuān)業(yè)的算法、技術(shù)人才，他們具備豐富的人工智能和電商領(lǐng)域的經(jīng)驗(yàn)。這些技術(shù)人才不斷探索和創(chuàng)新，深入研究電商行業(yè)的需求和痛點(diǎn)，致力于解決技術(shù)難題，推動(dòng)平臺(tái)的技術(shù)發(fā)展和應(yīng)用。

（3）平臺(tái)數(shù)據(jù)優(yōu)勢(shì)：依托京東豐富的電商數(shù)據(jù)資源，“京點(diǎn)點(diǎn)”能夠?yàn)槟Ｐ陀?xùn)練提供大量的高質(zhì)量數(shù)據(jù)。這些數(shù)據(jù)涵蓋了商品信息、用戶行為、市場(chǎng)趨勢(shì)等多個(gè)方面，為模型的準(zhǔn)確性和泛化能力提供了有力的支持。通過(guò)對(duì)這些數(shù)據(jù)的深入分析和挖掘，平臺(tái)能夠更好地理解用戶需求和市場(chǎng)動(dòng)態(tài)，從而為電商用戶提供更加精準(zhǔn)和有效的內(nèi)容生成服務(wù)。

（4）持續(xù)投入和研發(fā)：公司對(duì)“京點(diǎn)點(diǎn)”的研發(fā)給予了高度重視，不斷投入資源進(jìn)行技術(shù)改進(jìn)和優(yōu)化。這種持續(xù)的投入和研發(fā)使得平臺(tái)能夠始終保持領(lǐng)先的技術(shù)水平，不斷推出新的功能和服務(wù)，滿足電商行業(yè)不斷變化的需求。

4、未來(lái)展望

通過(guò)“京點(diǎn)點(diǎn)”探索電商領(lǐng)域中 AI 技術(shù)與內(nèi)容生產(chǎn)協(xié)同的前沿應(yīng)用，解決了行業(yè)中電商內(nèi)容生成效率低下、內(nèi)容生產(chǎn)成本高、內(nèi)容生產(chǎn)質(zhì)量參差不齊的問(wèn)題，提供了寶貴的實(shí)踐經(jīng)驗(yàn)和可復(fù)制的模式。未來(lái)我們也將在以下幾方面繼續(xù)投入資源打造提升：

（1）生成式技術(shù)優(yōu)化與升級(jí)，用戶一鍵出“好”圖

“京點(diǎn)點(diǎn)”將繼續(xù)致力于生成式技術(shù)的優(yōu)化與升級(jí)，通過(guò)模型改進(jìn)、效率提升、多模態(tài)融合、多智能體協(xié)同等技術(shù)優(yōu)化，提升AI生成內(nèi)容結(jié)果的質(zhì)量、效率，從而生成更加高質(zhì)量、符合用戶需求的內(nèi)容。從用戶一鍵出圖到一鍵出“好”圖的提升。

（2）融入業(yè)務(wù)數(shù)據(jù)的AI生成，工具到經(jīng)營(yíng)助手進(jìn)化

當(dāng)“京點(diǎn)點(diǎn)”生成內(nèi)容的質(zhì)量達(dá)到基礎(chǔ)要求后，通過(guò)融入業(yè)務(wù)客觀的數(shù)據(jù)反饋，如商品主圖分析關(guān)注、點(diǎn)擊、轉(zhuǎn)化效果好的內(nèi)容所具有的特征，以此反哺大模型，使其能夠進(jìn)行持續(xù)的自學(xué)習(xí)和訓(xùn)練進(jìn)化。這樣一來(lái)，京點(diǎn)點(diǎn)生成的內(nèi)容就能更好地適應(yīng)市場(chǎng)需求的變化，能夠及時(shí)幫助用戶調(diào)整自己經(jīng)營(yíng)策略，提高市場(chǎng)反應(yīng)速度，激發(fā)創(chuàng)新活力，從而推動(dòng)用戶經(jīng)營(yíng)提升。

（3）加強(qiáng)與業(yè)務(wù)的深度融合，拓展更多AI+應(yīng)用場(chǎng)景

“京點(diǎn)點(diǎn)”團(tuán)隊(duì)更加緊密地與業(yè)務(wù)團(tuán)隊(duì)合作，深入了解業(yè)務(wù)需求，不斷優(yōu)化內(nèi)容生成策略，以提高商品的銷(xiāo)售效果和用戶體驗(yàn)。除了現(xiàn)有業(yè)務(wù)領(lǐng)域家裝2D搭配場(chǎng)景圖、時(shí)尚AI穿搭、京麥商家AI提效等聯(lián)合共建AI+業(yè)務(wù)場(chǎng)景外，我們將探索將AI+應(yīng)用于更多的業(yè)務(wù)領(lǐng)域，為更多業(yè)務(wù)領(lǐng)域提供高效、智能的內(nèi)容創(chuàng)作解決方案。

（4）打造更多普適性與可復(fù)制性的AI生成技術(shù)解決方案

“京點(diǎn)點(diǎn)”采用了電商場(chǎng)景的文生圖基底、Zero-Shot 可控生成框架、多智能體協(xié)同、強(qiáng)化學(xué)習(xí)與優(yōu)化深度整合的技術(shù)路線，有效克服了通用大模型在特定產(chǎn)業(yè)應(yīng)用中的能力瓶頸，包括專(zhuān)業(yè)領(lǐng)域知識(shí)精準(zhǔn)度不足、復(fù)雜任務(wù)處理能力有限，以及單一模型難以實(shí)現(xiàn)高效多模態(tài)協(xié)同等問(wèn)題。通過(guò)模塊化設(shè)計(jì)、可插拔的智能體架構(gòu)以及靈活的領(lǐng)域知識(shí)注入機(jī)制，確保了系統(tǒng)在不同電商場(chǎng)景中的高度適應(yīng)性和可擴(kuò)展性，將來(lái)將打造更多普適性與可復(fù)制性AI生成技術(shù)解決方案，如AI生成視頻、AI生成音頻等，為其它行業(yè)、京東其它產(chǎn)品在面對(duì)類(lèi)似挑戰(zhàn)時(shí)提供了系統(tǒng)化的解決方案和可借鑒的技術(shù)框架。

審核編輯 黃宇