從全球協(xié)作，到國際交流，再到知識普惠，實時語音轉(zhuǎn)寫已經(jīng)成為信息傳遞的重要工具。它讓跨越時空的交流更順暢，讓內(nèi)容的獲取更高效。

近期，訊飛實時語音轉(zhuǎn)寫大模型上線訊飛開放平臺，面向向開發(fā)者和企業(yè)開放調(diào)用。不僅在支持語種和方言數(shù)上業(yè)界領(lǐng)先，相比于傳統(tǒng)“能轉(zhuǎn)寫”的方案，它還把“快、準(zhǔn)、穩(wěn)”做到了新高度，堪稱語音轉(zhuǎn)寫領(lǐng)域的“全能選手”。

語種覆蓋廣：支持37種語種、202種方言（全國地級市方言全覆蓋）免切識別，可滿足復(fù)雜的多樣化語言場景需求；

識別準(zhǔn)確率高：抗噪、抗口音干擾效果大幅提升，極大提高了語音識別準(zhǔn)確度，轉(zhuǎn)寫準(zhǔn)確率超98%；

角色分離準(zhǔn)：對角色盲分效果重點提升，同時支持基于聲紋分離發(fā)音人角色，效果突出；

響應(yīng)速度快：對于音頻流實現(xiàn)毫秒級識別，并返回帶有時間戳的文字流，便于二次開發(fā)；

01傳統(tǒng)轉(zhuǎn)寫的“能力天花板”

科幻經(jīng)典《銀河系漫游指南》中，有一種能放進(jìn)耳朵里、實現(xiàn)宇宙間萬物生靈實時翻譯的神奇生物——“巴別魚”。如果說“巴別魚”寄托了人類跨越語言鴻溝、實現(xiàn)無縫溝通的夢想，那么實時語音轉(zhuǎn)寫則讓溝通更清晰、更高效。它像一個“隱形速記員”，把每一句對話即時定格為文字，讓信息不再流失。

從最初的人工手動轉(zhuǎn)寫到如今的智能化、全流程自動化，實時語音轉(zhuǎn)寫技術(shù)雖在不斷革新、應(yīng)用的場景日益拓展，但人們在使用時常常遇到不少“麻煩”：

大型體育賽事轉(zhuǎn)播中，受背景噪音干擾，觀眾看到的字幕可能是“模糊、斷句不全”的結(jié)果；

跨國會議上，因未能及時手動切換翻譯模式，在不同語種夾雜的自然表達(dá)中，關(guān)鍵信息就此丟失；

團(tuán)隊討論時，實時語音轉(zhuǎn)寫技術(shù)雖然能轉(zhuǎn)寫出文字，但往往分不清是誰說的，復(fù)盤觀點無異于一場“考古工作”；

在線教育場景里，如果老師帶有濃重口音或方言，字幕往往出現(xiàn)明顯延遲甚至錯誤，學(xué)習(xí)體驗瞬間被打斷；

對追求高效的現(xiàn)代企業(yè)而言，如何在“實時性、穩(wěn)定性與多語言覆蓋”之間找到平衡，始終是一道難題。

02大模型賦能，讓轉(zhuǎn)寫從‘能用’到‘好用

大模型技術(shù)的浪潮給語音帶來了新的機(jī)會，在語音識別方面，提升了語言模型覆蓋能力和上下文相關(guān)詞識別效果，突破復(fù)雜場景效果上限；在多語種方面，提升了語料稀缺語種識別效果，以及跨語言聲音復(fù)刻能力。實時語音轉(zhuǎn)寫，也得以有了一次徹徹底底的“進(jìn)化升級”。

訊飛開放平臺上線的實時語音轉(zhuǎn)寫大模型，不僅解決了“能識別”的問題，更解決了“識別得夠快、夠準(zhǔn)、夠普適”的問題。

37個語種、202種方言免切識別

從需要用戶“遷就”機(jī)器，變成了機(jī)器主動“理解”用戶。用戶無需任何手動操作，日語、韓語、俄語、法語、希臘語、西班牙語、孟加拉語等語種及四川話、粵語、客家話、閩南話、上海話等方言，模型都能實時、無縫地精準(zhǔn)轉(zhuǎn)寫，告別因模式切換帶來的信息丟失。

訊飛提出結(jié)合語音屬性解耦預(yù)訓(xùn)練的語音大模型，實現(xiàn)了202種方言的免切換使用

在與競品的實際測試中，訊飛實時語音轉(zhuǎn)寫大模型效果優(yōu)勢明顯。與傳統(tǒng)實時轉(zhuǎn)寫相比，中文通用場景中，會議場景的轉(zhuǎn)寫準(zhǔn)確率提升15%-20%。

角色分離，精準(zhǔn)識人

角色盲分效果進(jìn)行了重點提升，即便在多人自由討論、無任何預(yù)設(shè)的場景，也可實時將不同發(fā)言人標(biāo)記為“發(fā)言人1”“發(fā)言人2”“發(fā)言人3”......會議紀(jì)要從此告別混亂，每一條觀點都能清晰溯源；同時，支持基于聲紋注冊來分離發(fā)音人角色。只需提前錄入關(guān)鍵參會人員的聲紋，模型在轉(zhuǎn)寫時就能直接輸出他們的真實姓名或身份。

高識別率，高準(zhǔn)確率

實時轉(zhuǎn)寫的應(yīng)用場景（如會議、戶外、車載）常存在噪聲、回聲、遠(yuǎn)場、多說話人等干擾，基于訊飛提出的聲紋與空間信息雙重解耦的說話人分離技術(shù)、語音識別大模型聲學(xué)與語言自適應(yīng)方案，實時語音轉(zhuǎn)寫大模型在復(fù)雜聲學(xué)環(huán)境下的抗噪、抗口音干擾效果大幅提升，在真實多變的場景中確保語音識別的準(zhǔn)確率。

2024年6月27日，訊飛星火V4.0發(fā)布會上，現(xiàn)場演示強(qiáng)干擾場景下的語言識別

早在2024年，訊飛就已突破了多人混疊場景下的極復(fù)雜場景語音轉(zhuǎn)寫技術(shù)，即使在三人混疊說話的場景也能實現(xiàn)86%的語音識別準(zhǔn)確率。

03多元化場景應(yīng)用，溝通效率轉(zhuǎn)化為生產(chǎn)力

任何一項技術(shù)的價值，都要通過具體的場景落地來驗證。當(dāng)實時語音轉(zhuǎn)寫大模型被應(yīng)用到真實的業(yè)務(wù)流程時，會發(fā)生怎樣的化學(xué)反應(yīng)？

全球化協(xié)作，再無障礙

無論是遠(yuǎn)程跨國會議，還是線下交流，團(tuán)隊成員可以自由地使用母語或夾雜外語進(jìn)行討論。會后，一份自動區(qū)分發(fā)言人的結(jié)構(gòu)化紀(jì)要即刻生成，溝通效率呈指數(shù)級提升。

智能客服，洞察入微

面對多語種客戶，系統(tǒng)不僅能準(zhǔn)確記錄通話內(nèi)容，更支持自動質(zhì)檢、情緒分析及客戶畫像生成，可以更好地提升客戶滿意度，挖掘服務(wù)短板與銷售商機(jī)。

內(nèi)容創(chuàng)作，擁抱世界

為視頻、直播一鍵生成多語言字幕，內(nèi)容出海的成本大大降低。一個精彩的創(chuàng)意，可以瞬間觸達(dá)全球觀眾。

04二十余年技術(shù)沉淀，產(chǎn)品背后的硬實力

要將場景價值從“承諾”兌現(xiàn)為穩(wěn)定可靠的“產(chǎn)品能力”，背后需要有扎實的技術(shù)作為支撐。深耕語音領(lǐng)域二十余年，訊飛已推出了多項相關(guān)的能力和解決方案，并有了大規(guī)模的落地實踐。

2008-2015年之間，訊飛先后在語音合成、語音評測、語音識別等領(lǐng)域首次超過人類或人類專家水平，此后在機(jī)器翻譯、機(jī)器閱讀理解和常識推理等方向上持續(xù)突破，并且承擔(dān)了語音及語言信息處理國家工程研究中心、國家新一代人工智能開放創(chuàng)新平臺、認(rèn)知智能全國重點實驗室等平臺，這些為訊飛在大模型時代進(jìn)行語音技術(shù)探索奠定了堅實的基礎(chǔ)。

2024年1月，星火語音大模型正式推出，首批37個主流語種的語音識別效果超過OpenAI Whisper V3。

6月，憑借“多語種智能語音關(guān)鍵技術(shù)及產(chǎn)業(yè)化”項目榮獲國家科學(xué)技術(shù)進(jìn)步獎一等獎，訊飛成為過去十年人工智能領(lǐng)域首個一等獎獲得者。

9月，訊飛在國際權(quán)威賽事、語音領(lǐng)域公認(rèn)“最難語音識別任務(wù)”——CHiME-8中奪冠，有效解決了人數(shù)估計、語音重疊、遠(yuǎn)場混響、人員移動及對話風(fēng)格隨意等難題。

10月，星火語音大模型的多語種多方言免切換語音識別能力，首次全部覆蓋了全國地級市共202種方言。

目前，訊飛的實時語音轉(zhuǎn)寫技術(shù)已在訊飛翻譯機(jī)、辦公本、訊飛聽見等多款智能軟硬件產(chǎn)品中搭載，同時服務(wù)于2025世界人形機(jī)器人運動會、成都大運會等重要賽事。在AI技術(shù)生態(tài)建設(shè)方面，訊飛開放平臺已形成了包括實時語音轉(zhuǎn)寫大模型在內(nèi)，以語音為核心的大模型矩陣，覆蓋多種場景，面向海內(nèi)外開發(fā)者開放調(diào)用。

未來，訊飛將持續(xù)優(yōu)化語種覆蓋、準(zhǔn)確率與低延遲表現(xiàn)，攜手開發(fā)者與企業(yè)，構(gòu)建一個信息溝通高效、無障礙的世界。

點擊閱讀原文，即可開始調(diào)用，開啟高效、準(zhǔn)確的溝通新體驗。

此外，錄音文件轉(zhuǎn)寫大模型也已上線訊飛開放平臺，可滿足用戶的非實時音頻處理的需求，適用于語音質(zhì)檢、會議訪談等場景。