當(dāng)前AI界和產(chǎn)業(yè)界，Agent成為現(xiàn)象級話題。企業(yè)Agent已經(jīng)從熱門概念走進產(chǎn)業(yè)現(xiàn)實，成為探索AI落地的新錨點。

此前，6月27-28日，由極客邦科技旗下InfoQ中國主辦的“AICon全球人工智能開發(fā)與應(yīng)用大會”在北京舉辦。作為行業(yè)領(lǐng)先的視覺AI公司，格靈深瞳受邀參會。

在“AI Agent構(gòu)建與多場景實踐”專題現(xiàn)場，格靈深瞳研發(fā)副總裁、AIInfra負責(zé)人閆梓禎分享了名為《構(gòu)建高可信自動化企業(yè)Agent評測體系的實戰(zhàn)方法論》的主題演講，從企業(yè)Agent評測的重要性、現(xiàn)狀、實戰(zhàn)方法等維度，講述了格靈深瞳團隊對于這一話題的思考與實踐。

“If you can't measure it,you can't improve it.” （如果你不去評測它，便無法提升它。）談及評測對于企業(yè)Agent開發(fā)與落地的重要性，閆梓禎表示，有效評測是提升Agent應(yīng)用效果的關(guān)鍵。隨著模型能力快速提升，技術(shù)刷爆榜單的速度越來越快，應(yīng)用層Agent開發(fā)亟需更有效、更嚴格的評估機制，才能更客觀地反映AI的真實表現(xiàn)，解決技術(shù)參數(shù)與實際效果之間的gap問題。

基于多年的開發(fā)與交付經(jīng)驗，閆梓禎分享了現(xiàn)階段企業(yè)Agent評測的發(fā)展狀態(tài)和面臨的問題。當(dāng)前，企業(yè)Agent在各行業(yè)、各場景下的落地尚處于早期起步階段，具體到評測環(huán)節(jié)，企業(yè)往往面臨“如何評測”、“對接真實業(yè)務(wù)系統(tǒng)后如何保證應(yīng)用效果”等實際問題。

對企業(yè)來說，真實反映AI能力、客觀衡量AI效果的需求越來越迫切，相應(yīng)地，實現(xiàn)難度也越來越大。如何構(gòu)建一套高可信度、自動化、規(guī)?；钠髽I(yè)Agent評測系統(tǒng)，成為業(yè)內(nèi)關(guān)注的焦點。

相較于單純依靠人工評測，閆梓禎建議，使用大模型或者Agent相關(guān)技術(shù)來構(gòu)建評測體系——讓Agent自動生成評測數(shù)據(jù)集、自動對評測對象進行打分，從而實現(xiàn)整個評測流程的規(guī)?；妥詣踊?。在格靈深瞳，已經(jīng)鼓勵研發(fā)人員和產(chǎn)品經(jīng)理使用大模型來輔助評測工作，并取得了不錯的表現(xiàn)。

但這種“Agent as a judge”的范式并不是萬金油。當(dāng)AI技術(shù)落地到復(fù)雜多變的現(xiàn)實工況中，依舊需要行業(yè)專家經(jīng)驗作為評測支撐。高自動化評測系統(tǒng)+人工介入，是目前更為有效的實際解決方案。

基于對評測體系的思考與實踐，格靈深瞳構(gòu)建了一套自研的Agent評測平臺。在該平臺能力的支撐下，開發(fā)者可以快速響應(yīng)、高效優(yōu)質(zhì)地交付各行業(yè)定制化Agent。

例如，格靈深瞳在為金融機構(gòu)、政企客戶打造專屬Agent時，該評測平臺能夠助力極大縮短開發(fā)周期，依靠數(shù)據(jù)生成快速構(gòu)建場景，并利用沙箱環(huán)境提前模擬測試，提高交付質(zhì)量。更重要的是，該平臺的多維度指標和真實環(huán)境仿真，可以讓Agent的輸出結(jié)果既準確又合規(guī)，成為真正的專業(yè)級產(chǎn)品，經(jīng)得住實際業(yè)務(wù)中的復(fù)雜考驗。

在該評測系統(tǒng)的支撐下，企業(yè)Agent不僅是一個“能用”的工具，更是一個穩(wěn)定、可靠、能持續(xù)進化的智能伙伴。未來，如何衡量企業(yè)Agent的價值，如何構(gòu)建可靠、自動的評測系統(tǒng)，這背后的道與術(shù)，將是格靈深瞳持續(xù)思考和實踐的致力方向。