AI技術(shù)正在賦能千行百業(yè)實(shí)現(xiàn)新質(zhì)發(fā)展,AI巡檢、智能客服、智能運(yùn)維都在各行業(yè)發(fā)揮著高效服務(wù)力。而與用戶(hù)聯(lián)結(jié)最緊密的手機(jī)產(chǎn)品,也正在因AI、大模型引發(fā)終端交互革命,跨越功能機(jī)、智能機(jī)進(jìn)入AI手機(jī)時(shí)代。

在這場(chǎng)關(guān)乎行業(yè)、用戶(hù)的變革中,OPPO作為AI手機(jī)的貢獻(xiàn)與普及者之一,于10月17日的OPPO開(kāi)發(fā)者大會(huì)(簡(jiǎn)稱(chēng)ODC)AI智能體生態(tài)分論壇上,以「探索AI技術(shù)實(shí)踐 共建新生態(tài)」為主題,邀約了眾多產(chǎn)業(yè)專(zhuān)家、技術(shù)專(zhuān)家、行業(yè)開(kāi)發(fā)者等一起就智能體生態(tài)的建設(shè)、成功實(shí)踐展開(kāi)了積極分享與討論。

以AI為主引擎,手機(jī)進(jìn)入以場(chǎng)景為驅(qū)動(dòng)的變革時(shí)代

手機(jī)作為覆蓋用戶(hù)最廣泛、與用戶(hù)交互最為緊密、使用時(shí)長(zhǎng)占比較長(zhǎng)的產(chǎn)品,早已從最初的通信工具轉(zhuǎn)變?yōu)槁?lián)結(jié)更多場(chǎng)景的用戶(hù)身邊的貼身助手。與此同時(shí),在AI、大模型穩(wěn)步發(fā)展的當(dāng)下,除了各行業(yè)在業(yè)務(wù)端融合AI能力實(shí)現(xiàn)提質(zhì)增效外,立足生活所需輻射多場(chǎng)景的手機(jī),無(wú)疑也成了AI與用戶(hù)溝通的最短路徑。

從生活場(chǎng)景可知,現(xiàn)今,個(gè)人時(shí)間正在伴隨繁雜的瑣事、工作細(xì)節(jié)處理等等逐漸碎片化,生活越來(lái)越匆忙,個(gè)人時(shí)間被侵占已成為用戶(hù)共識(shí)。通過(guò)AI技術(shù)解放精力與創(chuàng)造力,是AI與手機(jī)結(jié)合后,最迎合用戶(hù)所需的能力。具備算力高效利用能力、真實(shí)世界感知能力、自學(xué)習(xí)能力、創(chuàng)作能力的AI手機(jī),正契合了當(dāng)下用戶(hù)從碎片、繁雜中解放,回歸自我價(jià)值的剛需。

支持生成式AI的智能終端硬件平臺(tái),具備多模態(tài)融合的全新交互和內(nèi)嵌的專(zhuān)屬智能體的隨心、專(zhuān)屬智慧OS,用戶(hù)定義的開(kāi)放服務(wù)生態(tài),都是AI手機(jī)重塑產(chǎn)品效能的主要特征。對(duì)用戶(hù)而言,AI手機(jī)要扮演的是自在交互、智能隨心、專(zhuān)屬陪伴、安全可信的個(gè)人化助理的角色。在這一具體要求下,只有AI手機(jī)具備不斷理解用戶(hù)習(xí)慣、不斷自學(xué)習(xí)、構(gòu)建直覺(jué)化交互的能力,才能為用戶(hù)真正提供更聰明、個(gè)性化、貼心的服務(wù)。

結(jié)合AI手機(jī)的價(jià)值點(diǎn)和用戶(hù)所需,各終端智能廠(chǎng)商協(xié)同一致,共建行業(yè)標(biāo)準(zhǔn),構(gòu)建零門(mén)檻開(kāi)發(fā)平臺(tái),將用戶(hù)需求與技術(shù)相互轉(zhuǎn)化,為繁榮服務(wù)生態(tài)牽引好AI主引擎。

持續(xù)探索技術(shù)天花板,為AI時(shí)代手機(jī)智能化提質(zhì)增效

經(jīng)歷多年發(fā)展和技術(shù)迭代,OPPO率先入局AI手機(jī),梳理出了一套從硬件到交互再到業(yè)務(wù)的系統(tǒng)性實(shí)踐能力。在今年的分論壇中,基于OPPO大語(yǔ)言模型、視覺(jué)大模型端側(cè)部署能力,OPPO主要發(fā)力端側(cè)輕量化部署,將端側(cè)大模型朝著更快,功耗更低,占用資源更少,適用場(chǎng)景更多的方向演進(jìn)。

在大語(yǔ)言模型迭代方面,OPPO提出了高效推理、內(nèi)存管理、異構(gòu)計(jì)算、加速等多種新方案。OPPO產(chǎn)品總監(jiān)那柏林現(xiàn)場(chǎng)分享了通過(guò)多IP聯(lián)合推理范式,OPPO大語(yǔ)言模型推理過(guò)程所需參數(shù)可按照活躍度分為活躍參數(shù)和不活躍參數(shù)兩部分分批處理。高效的推理范式則專(zhuān)注模型初始化,為模型encoding進(jìn)行加速處理,保證用戶(hù)獲得數(shù)據(jù)準(zhǔn)確的同時(shí),提高“首字上屏”時(shí)間。

OPPO 產(chǎn)品總監(jiān) 那柏林

在語(yǔ)言大模型內(nèi)存管理上,OPPO也通過(guò)功耗降低,保障用戶(hù)使用不卡頓。在模型響應(yīng)速度上,OPPO則針對(duì)于不同場(chǎng)景基于并行譯碼技術(shù)提出了多種并行加速方案。而基于異構(gòu)計(jì)算方案,大模型推理速度進(jìn)一步提升,計(jì)算資源更節(jié)約。在大模型多適性上,OPPO則通過(guò)share方式,節(jié)省不必要的計(jì)算量和內(nèi)容占用。

在視覺(jué)大模型層面,OPPO通過(guò)自定義算子可有效提升算子推理時(shí)間,達(dá)到出圖速度提升和計(jì)算功耗降低。在端側(cè)部署過(guò)程中,OPPO通過(guò)block quantization的方式讓量化的顆粒度更細(xì),讓推理精度更靠近云端也更快,最大程度的保證效果且不失速度。而基于LoRA的使用和不同的組合,也能讓視覺(jué)大模型節(jié)省80%以上內(nèi)存占用,擁有更快的反應(yīng)速度,促使用戶(hù)使用體驗(yàn)更迅捷。

會(huì)上,OPPO AI 基座模型負(fù)責(zé)人蘇鈿煌還詳細(xì)解讀了安第斯大模型Agent技術(shù)在planning、端云模型部署以及function call的能力。

OPPO AI 基座模型負(fù)責(zé)人 蘇鈿煌

具體而言,安第斯大模型Agent技術(shù)可通過(guò)規(guī)則路由+大小模型逐級(jí)處理,并且結(jié)合大模型的反思來(lái)修正小模型的不確定拆解;在端云協(xié)同上,該技術(shù)可通過(guò)端側(cè)1+N Lora的架構(gòu)來(lái)支持簡(jiǎn)單的任務(wù)拆解,而云端多種參數(shù)規(guī)模模型則用以支持復(fù)雜的任務(wù)編排;同時(shí),該技術(shù)支持一方、三方應(yīng)用,支持API等多種工具,通過(guò)多層級(jí)來(lái)拓展工具和 API 的層級(jí)關(guān)系,提升了模型對(duì)工具的理解,而基于手機(jī)系統(tǒng)上一方和三方的工具API完善多樣性后,也能提升工具的泛化性和模型對(duì)工具的理解力?；诎驳谒勾竽Ｐ虯gent技術(shù),大語(yǔ)言模型可更高效理解用戶(hù)意圖,更快檢索并反饋用戶(hù)需求,在語(yǔ)義理解,上下文連貫,專(zhuān)業(yè)性回復(fù)上更具效率。

在OPPO手機(jī)上的AI應(yīng)用中,視覺(jué)文字信息提取技術(shù)作為一項(xiàng)基礎(chǔ)能力被廣泛應(yīng)用于手機(jī)相冊(cè)、小布識(shí)屏、小布掃一掃、自由翻譯、便簽等入口,賦能相關(guān)圖片轉(zhuǎn)文檔、拍照翻譯、圖片文字提取等業(yè)務(wù)場(chǎng)景。

為解決視覺(jué)文字提取數(shù)據(jù)標(biāo)注成本高、領(lǐng)域模型多、鏈路復(fù)雜、推理時(shí)間長(zhǎng)、易出現(xiàn)丟字、幻覺(jué)、Box定位差等問(wèn)題,OPPO從算法鏈路層、模型優(yōu)化層、數(shù)據(jù)引擎層、文本RAG對(duì)應(yīng)優(yōu)化和改進(jìn)策略,為用戶(hù)帶來(lái)了識(shí)別精準(zhǔn)、高效提取的視覺(jué)文字信息提取新體驗(yàn)。OPPO AI 視覺(jué)模型優(yōu)化負(fù)責(zé)人馮天鵬在分享中表示“隨著VLM不斷演進(jìn),視覺(jué)文字信息提取技術(shù)后續(xù)可在高精度手寫(xiě)體識(shí)別、手寫(xiě)體公式提取、復(fù)雜圖表解析、以及圖文自動(dòng)關(guān)聯(lián)等業(yè)務(wù)中發(fā)揮重要作用?！?/p>

OPPO AI視覺(jué)模型優(yōu)化負(fù)責(zé)人 馮天鵬

回歸產(chǎn)品、回歸用戶(hù),讓技術(shù)迭代有跡可循

豐富全面的技術(shù)終究要回到產(chǎn)品上,產(chǎn)品落地后是否能滿(mǎn)足用戶(hù)體驗(yàn)提升是衡量技術(shù)是否成熟的關(guān)鍵標(biāo)準(zhǔn)。作為OPPO覆蓋手機(jī)、手表、平板等多種品類(lèi)和系列設(shè)備的全局智能助理,小布助手在AI技術(shù)實(shí)踐層面取得亮眼成績(jī)——自2019年發(fā)布至今,小布助手已擁有3.5億用戶(hù)覆蓋,月活用戶(hù)達(dá)1.5億。

在大模型時(shí)代下,小布已憑借OPPO的技術(shù)支撐獲得了更強(qiáng)大的語(yǔ)言理解和圖像生成能力。這其中既包含了OPPO大語(yǔ)言模型的能力,也結(jié)合了OPPO視覺(jué)大模型的優(yōu)勢(shì)。

在系統(tǒng)操控層面,小布可對(duì)復(fù)雜Query理解,并完成高效指令生成和編排。在通用問(wèn)答上,流暢上下文對(duì)話(huà)知識(shí)增強(qiáng)的大模型技術(shù)使流暢的上下文對(duì)話(huà)和知識(shí)問(wèn)答效果得到大幅度提升。在相對(duì)封閉的品牌問(wèn)答領(lǐng)域,小布依托大模型強(qiáng)大的理解和遵循能力,獲得了更專(zhuān)注的能力。同時(shí),大模型序列生成天然擅長(zhǎng)做內(nèi)容創(chuàng)作,新小布也因此具備了文本、圖像等多模態(tài)的生成能力。為保障創(chuàng)作內(nèi)容無(wú)害,OPPO也秉承對(duì)社會(huì)和用戶(hù)負(fù)責(zé)的態(tài)度,在內(nèi)容安全方面做了大量對(duì)齊和過(guò)濾。

為進(jìn)一步提升小布的服務(wù)能力,OPPO在規(guī)劃、工具、知識(shí)、記憶、多智能體交互基礎(chǔ)上,針對(duì)大量級(jí)API工具指令生產(chǎn)任務(wù)、實(shí)時(shí)性和時(shí)效性的幻覺(jué)問(wèn)題、多模態(tài)下的復(fù)雜鏈路調(diào)優(yōu)三大挑戰(zhàn),搭建了最適應(yīng)小布架構(gòu)演進(jìn)的對(duì)話(huà)系統(tǒng)架構(gòu)。

在高效支持千級(jí)別API的接入層面,小布可依靠單指令、多指令、嵌套指令支持用戶(hù)的復(fù)雜說(shuō)法。

在解決實(shí)時(shí)性和時(shí)效性的幻覺(jué)問(wèn)題方面,小布采取高時(shí)效高精度的RAG和混合大模型調(diào)度的方式,分別對(duì)應(yīng)垂域?qū)崿F(xiàn)知識(shí)覆蓋和通用場(chǎng)景解決長(zhǎng)尾事實(shí)性和時(shí)效性。依托小布在流量調(diào)度上的精細(xì)化控制,在解決問(wèn)題的同時(shí)也能兼顧成本ROI。

近期,小布發(fā)布的多模態(tài)能力下,技術(shù)團(tuán)隊(duì)采用多信源融合理解和決策,建立全面的感知表征信息,對(duì)多模態(tài)多信源做深度理解,并進(jìn)行混合建模交叉驗(yàn)證的規(guī)劃,最終優(yōu)化多模態(tài)能力響應(yīng)速度更快。而通過(guò)理解和交互的并行化、圖像多級(jí)壓縮、多步指令緩存等手段,小布也實(shí)現(xiàn)了復(fù)雜鏈路全鏈路耗時(shí)優(yōu)化,為用戶(hù)帶來(lái)了更為順暢高效的交互體驗(yàn)。

無(wú)論是詢(xún)問(wèn)、執(zhí)行還是長(zhǎng)尾溝通甚至是為用戶(hù)畫(huà)圖、修片,一系列高效、精準(zhǔn)的服務(wù)和體驗(yàn),已讓小布真正成為了用戶(hù)身邊隨叫隨到的AI助手。OPPO小布助手服務(wù)平臺(tái)負(fù)責(zé)人莫驍分享到,“未來(lái),基于記憶和個(gè)性化,復(fù)雜任務(wù)規(guī)劃,端云協(xié)同優(yōu)勢(shì),小布也將錨定為用戶(hù)個(gè)人設(shè)備帶來(lái)更懂我、更智能、更快捷的體驗(yàn)技術(shù)方向持續(xù)迭代?！?/p>

OPPO 小布助手服務(wù)平臺(tái)負(fù)責(zé)人 莫驍

持續(xù)深挖AI價(jià)值,以智能體生態(tài)帶動(dòng)行業(yè)繁榮

誠(chéng)然,AI正在基于大模型等技術(shù)能力不斷更迭,但AI的價(jià)值并未被完全挖掘,同時(shí)更存在著數(shù)據(jù)偏差、幻覺(jué)、多模態(tài)的局限性等問(wèn)題,也缺少使其高效運(yùn)轉(zhuǎn)、高效交互、完成復(fù)雜任務(wù)的運(yùn)行框架?；诖?OPPO提出了基于LLM,能夠自主感知環(huán)境、做出決策并執(zhí)行行動(dòng)的系統(tǒng)智能體框架。

智能體將圍繞交互性、反應(yīng)性、自主性、適應(yīng)性,實(shí)現(xiàn)接收外界信息并給出及時(shí)合理的反應(yīng),且具備代理和有約束性的自主決策能力,可根據(jù)過(guò)程和結(jié)果不斷優(yōu)化策略提升效果的能力。手機(jī),作為可承載各種物理感知能力和多模態(tài)能力并擁有一定算力的產(chǎn)品,也成為了智能體發(fā)展的沃土。

為推動(dòng)智能體生態(tài)快速發(fā)展,OPPO在本次ODC上發(fā)布了OPPO智能體平臺(tái),OPPO智能體平臺(tái)研發(fā)負(fù)責(zé)人張磊在分論壇上對(duì)該平臺(tái)做了詳細(xì)介紹。通過(guò)提供大模型應(yīng)用開(kāi)發(fā)能力以及豐富的工具庫(kù)、插件庫(kù),為開(kāi)發(fā)者適配多種業(yè)務(wù)場(chǎng)景,而可視化拖拽開(kāi)發(fā),也降低了應(yīng)用開(kāi)發(fā)門(mén)檻,讓更多用戶(hù)和開(kāi)發(fā)者都能參與到智能體匯聚眾智的過(guò)程中來(lái)。

OPPO 智能體平臺(tái)研發(fā)負(fù)責(zé)人 張磊

針對(duì)智能體在手機(jī)上的分發(fā)能力,OPPO給出了應(yīng)用場(chǎng)景的能力增強(qiáng)和問(wèn)題解決方案,可在例如桌面、負(fù)一屏等OS系統(tǒng)級(jí)入口進(jìn)行智能體推薦。通過(guò)小布亦可進(jìn)行智能體專(zhuān)區(qū)、上下文精準(zhǔn)推薦、啟動(dòng)時(shí)推薦等高效分發(fā);在軟件商店、瀏覽器等互聯(lián)網(wǎng)全場(chǎng)景入口也能高效觸達(dá)用戶(hù)。最終實(shí)現(xiàn)優(yōu)質(zhì)的智能體和有需求的用戶(hù)彼此發(fā)現(xiàn),讓服務(wù)和需求雙向?qū)印?/p>

目前,OPPO智能體平臺(tái)已完成整體建設(shè),智能體已涵蓋生活、娛樂(lè)、醫(yī)療、健康以及生產(chǎn)制造多個(gè)領(lǐng)域,通過(guò)開(kāi)放接口與各領(lǐng)域業(yè)務(wù)實(shí)現(xiàn)了深度融合。開(kāi)發(fā)平臺(tái)基于OPPO云的彈性算力,實(shí)現(xiàn)了智能體模型開(kāi)發(fā)調(diào)試、服務(wù)、數(shù)據(jù)的彈性支撐?；谫Y源層、開(kāi)發(fā)層、應(yīng)用層以及智能體運(yùn)營(yíng)層,平臺(tái)對(duì)開(kāi)發(fā)者開(kāi)放了簡(jiǎn)潔的智能體全鏈路托管。通過(guò)對(duì)開(kāi)發(fā)者提供創(chuàng)建智能體所需的快速構(gòu)建、快速集成、插件工具和個(gè)性化定制能力,為開(kāi)發(fā)者從開(kāi)發(fā)到運(yùn)營(yíng)再到分發(fā)的全程護(hù)航。

【結(jié)語(yǔ)】

在圓桌論壇上,OPPO技術(shù)戰(zhàn)略規(guī)劃總監(jiān)陳曉春組織來(lái)自阿里云智能、百度、火山引擎以及網(wǎng)易有道的專(zhuān)家們,就AI手機(jī)發(fā)展以及智能體生態(tài)建設(shè)展開(kāi)了積極討論。在深挖AI能力的過(guò)程中,無(wú)論是為用戶(hù)構(gòu)建更合理、可信、可靠的服務(wù),還是基于千行百業(yè)塑造更加專(zhuān)注的智能體生態(tài),其本身依舊是圍繞“人”的需求進(jìn)行的。在以人為本的服務(wù)理念中,更懂用戶(hù)、更自然的交互,更順暢絲滑的體驗(yàn),是倒逼技術(shù)發(fā)展的剛需,而對(duì)于OPPO以及更多廠(chǎng)商而言,持續(xù)深挖AI能力,以AI為核心拓展更智能的生態(tài)體系,不僅是為AI與手機(jī)融合塑造了更具象化的目標(biāo),也是手機(jī)廠(chǎng)商依托自身用戶(hù)基數(shù)優(yōu)勢(shì)放大在AI時(shí)代長(zhǎng)久競(jìng)爭(zhēng)力的良策。