摘要：?本文將與大家分享機(jī)器翻譯相關(guān)背景知識(shí)，再深入介紹機(jī)器翻譯在阿里生態(tài)中的具體應(yīng)用實(shí)踐，介紹基于機(jī)器翻譯技術(shù)搭建的一套完善的電商多語(yǔ)言解決方案，最后將會(huì)從技術(shù)角度介紹阿里機(jī)器翻譯在解決實(shí)際業(yè)務(wù)問(wèn)題中的技術(shù)創(chuàng)新和亮點(diǎn)。

摘要：阿里機(jī)器翻譯團(tuán)隊(duì)在阿里巴巴業(yè)務(wù)場(chǎng)景主要應(yīng)用在電商、溝通等垂直領(lǐng)域，服務(wù)的業(yè)務(wù)方包括AliExpress、Lazada、ICBU、天貓國(guó)際、淘寶海外、釘釘、阿里云等重要國(guó)際化業(yè)務(wù)，幫助這些業(yè)務(wù)解決在國(guó)際化發(fā)展中各國(guó)家本地化過(guò)程最基本的語(yǔ)言問(wèn)題。本文將與大家分享機(jī)器翻譯相關(guān)背景知識(shí)，再深入介紹機(jī)器翻譯在阿里生態(tài)中的具體應(yīng)用實(shí)踐，介紹基于機(jī)器翻譯技術(shù)搭建的一套完善的電商多語(yǔ)言解決方案，最后將會(huì)從技術(shù)角度介紹阿里機(jī)器翻譯在解決實(shí)際業(yè)務(wù)問(wèn)題中的技術(shù)創(chuàng)新和亮點(diǎn)。

發(fā)布會(huì)視頻回顧，戳這里！https://yq.aliyun.com/webinar/play/469
發(fā)布會(huì)PPT鏈接，戳這里！https://yq.aliyun.com/download/2880

演講嘉賓介紹
施楊斌，阿里巴巴機(jī)器智能技術(shù)實(shí)驗(yàn)室翻譯平臺(tái)高級(jí)技術(shù)專(zhuān)家，目前擔(dān)任阿里巴巴機(jī)器智能技術(shù)實(shí)驗(yàn)室翻譯平臺(tái)語(yǔ)料和解決方案方向負(fù)責(zé)人。語(yǔ)料方向主要負(fù)責(zé)阿里機(jī)器翻譯語(yǔ)料數(shù)據(jù)獲取、清洗、挖掘以及系統(tǒng)化建設(shè)工作。解決方案是將阿里翻譯技術(shù)能力進(jìn)行封裝、整合、服務(wù)化后以完整解決方案方式對(duì)外輸出，整體解決跨境電商國(guó)際化過(guò)程中的語(yǔ)言問(wèn)題。

以下內(nèi)容根據(jù)演講視頻以及PPT整理而成。

本文與大家分享的主要內(nèi)容將分為以下四個(gè)方面：
1.機(jī)器翻譯背景介紹
2.阿里機(jī)器翻譯在跨境電商的應(yīng)用
3.阿里機(jī)器翻譯技術(shù)亮點(diǎn)
4.阿里云機(jī)器翻譯產(chǎn)品介紹

一、機(jī)器翻譯背景介紹
首先為大家介紹一些機(jī)器翻譯相關(guān)的背景，這里主要分為兩個(gè)部分，即機(jī)器翻譯動(dòng)態(tài)和阿里機(jī)器翻譯。

提到翻譯，你會(huì)想到什么？
提到翻譯，可能大家第一時(shí)間就會(huì)想到的是同聲傳譯，其次大家可能會(huì)想到在影視作品中字幕的翻譯。今年年初比較火爆的一部電影《無(wú)問(wèn)西東》的英文名還是比較有意思的，叫做“forever young”，通過(guò)電影的英文名也向大家傳遞了這部電影想要傳遞的另外的一層含義。當(dāng)然了，這樣的英文電影名的翻譯必然是人工翻譯的，顯然不會(huì)是機(jī)器翻譯的結(jié)果。大家在日常工作學(xué)習(xí)中還會(huì)遇到的場(chǎng)景就是機(jī)器翻譯了。

?

機(jī)器翻譯的發(fā)展歷程
在正式介紹機(jī)器翻譯的背景之前，先和大家介紹一下機(jī)器翻譯的發(fā)展歷程。下圖是Chris Manning手繪的機(jī)器翻譯發(fā)展歷程圖，從這張圖中大家可以看到，其實(shí)早在1954年就出現(xiàn)了機(jī)器翻譯相關(guān)的介紹，到了1982年就出現(xiàn)了第一個(gè)基于規(guī)則的機(jī)器翻譯系統(tǒng)，到了1993年左右就出現(xiàn)了基于詞維度的統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)，之后還出現(xiàn)了基于短語(yǔ)維度的機(jī)器翻譯，并且在此之后還對(duì)于基于短語(yǔ)維度的機(jī)器翻譯進(jìn)行了優(yōu)化。直到最近的2014年左右，隨著人工智能的發(fā)展才產(chǎn)生了基于神經(jīng)網(wǎng)絡(luò)的機(jī)器翻譯，這對(duì)于機(jī)器翻譯的質(zhì)量有了極大的提升。之所以介紹這樣的一條機(jī)器翻譯發(fā)展之路，其實(shí)是想為大家說(shuō)明：機(jī)器翻譯也是在不斷地進(jìn)步，而機(jī)器翻譯的質(zhì)量也發(fā)生了很大的變化，并且在很多場(chǎng)景下，機(jī)器翻譯都發(fā)揮出了極大的促進(jìn)作用。

哪些場(chǎng)景需要機(jī)器翻譯？
首先是語(yǔ)言服務(wù)的公司，比如翻譯服務(wù)供應(yīng)商以及本地化公司，他們會(huì)借助機(jī)器翻譯來(lái)提升人工翻譯的效率；此外就是互聯(lián)網(wǎng)內(nèi)容提供方，因?yàn)樵诨ヂ?lián)網(wǎng)公司需要開(kāi)設(shè)國(guó)際新聞資訊以及外語(yǔ)新聞資訊的站點(diǎn)，比如Youtube、Youku等視頻內(nèi)容提供方可能需要借助機(jī)器翻譯將視頻內(nèi)容翻譯成多語(yǔ)言的版本；第三部分就是社交平臺(tái)，在社交平臺(tái)之上的用戶(hù)其實(shí)往往是來(lái)自于各個(gè)不同國(guó)家的，需要通過(guò)機(jī)器翻譯打破用戶(hù)之間交流的屏障；第四部分就是政府以及一些國(guó)企，他們的網(wǎng)站上需要提供一些內(nèi)容、新聞等，并且需要實(shí)現(xiàn)服務(wù)的多語(yǔ)言化；此外，還有一些像華為、惠普這樣的跨國(guó)公司，他們的產(chǎn)品需要銷(xiāo)往世界各地，那么他們的產(chǎn)品說(shuō)明書(shū)以及一些對(duì)于用戶(hù)的支持服務(wù)也需要多語(yǔ)言的版本；最后一類(lèi)就是工具類(lèi)服務(wù)提供商，就比如大家比較熟悉的飛豬需要提供旅游方面多種語(yǔ)言的支持，而滬江則會(huì)提供個(gè)人語(yǔ)言學(xué)習(xí)上的支持。

機(jī)器翻譯的市場(chǎng)規(guī)模
如下圖所示的是機(jī)器翻譯市場(chǎng)的大致情況。大家可以看到傳統(tǒng)的機(jī)器翻譯公司有谷歌、百度、微軟，與此同時(shí)也可以看到一些最近興起的機(jī)器翻譯公司，比如亞馬遜、中譯語(yǔ)通以及小牛翻譯和阿里語(yǔ)言服務(wù)等。整個(gè)機(jī)器翻譯的市場(chǎng)規(guī)模在2017年就已經(jīng)達(dá)到了450億，并且每年以10%的年增長(zhǎng)量率在增長(zhǎng)，如今每天的在線(xiàn)翻譯量已經(jīng)達(dá)到了1000億這樣的數(shù)量級(jí)。

阿里巴巴為什么需要機(jī)器翻譯？
上面介紹了機(jī)器翻譯的一些相關(guān)背景，接下來(lái)回到這個(gè)話(huà)題：阿里巴巴為什么需要機(jī)器翻譯？其實(shí)這個(gè)問(wèn)題的答案很簡(jiǎn)單，就是阿里巴巴最近幾年都在大力發(fā)展國(guó)際化的戰(zhàn)略，因此需要將阿里巴巴的所有業(yè)務(wù)向國(guó)際化推動(dòng)，開(kāi)放給全球更多的用戶(hù)，阿里巴巴要實(shí)現(xiàn)5個(gè)全球化。而在這個(gè)過(guò)程中，語(yǔ)言問(wèn)題是阿里巴巴必須去解決的，所以阿里巴巴在機(jī)器翻譯方面做出了很大的投入。

阿里巴巴機(jī)器翻譯的能力
通過(guò)下圖大家可以簡(jiǎn)單地了解阿里巴巴機(jī)器翻譯的整體能力。阿里巴巴在2013年左右開(kāi)始投入進(jìn)行機(jī)器翻譯方面的研發(fā)。到目前為止，機(jī)器翻譯已經(jīng)服務(wù)于阿里巴巴內(nèi)部40多個(gè)團(tuán)隊(duì)和170多個(gè)應(yīng)用了。阿里機(jī)器翻譯目前能夠支持21個(gè)語(yǔ)種以及43個(gè)語(yǔ)言方向的翻譯，并有具有19個(gè)語(yǔ)言方向的自動(dòng)語(yǔ)種識(shí)別能力，在阿里巴巴內(nèi)部日均調(diào)用量達(dá)到了7.5億次，并且系統(tǒng)穩(wěn)定性也已經(jīng)達(dá)到了99.99%的水平。在今年剛結(jié)束的機(jī)器翻譯領(lǐng)域最為權(quán)威的WMT國(guó)際比賽上，阿里機(jī)器翻譯在5個(gè)語(yǔ)項(xiàng)上取得了全球第一。以上這些能力都體現(xiàn)了阿里機(jī)器翻譯的長(zhǎng)期積累。此外，在翻譯形態(tài)上了，除了能夠支持傳統(tǒng)的文字翻譯之外，還能夠支持語(yǔ)音、圖片以及視頻翻譯的能力，并且這些能力也將會(huì)在后續(xù)再阿里云上輸出出去。

二、阿里機(jī)器翻譯在跨境電商的應(yīng)用
前面的第一部分為大家系統(tǒng)地介紹了機(jī)器翻譯的發(fā)展歷程、背景以及阿里巴巴在機(jī)器翻譯方面的一些能力。在第二部分將為大家著重講解一下機(jī)器翻譯在阿里跨境電商場(chǎng)景下的具體應(yīng)用。在這部分中會(huì)為大家完整地介紹跨境電商的全鏈路，并且會(huì)在全鏈路中選取幾個(gè)具體的應(yīng)用案例進(jìn)行展示。

跨境電商全鏈路
下圖非常清晰地描述了跨境電商全鏈路的情況。首先，對(duì)于想要做跨境電商業(yè)務(wù)的網(wǎng)站而言，最開(kāi)始要做的就是多語(yǔ)言建站，將站點(diǎn)建設(shè)成多語(yǔ)言的版本。這就會(huì)涉及到網(wǎng)站以及APP的多語(yǔ)言化以及網(wǎng)站規(guī)則的多語(yǔ)言化以及安全信息風(fēng)控的多語(yǔ)言化。當(dāng)將網(wǎng)站建設(shè)成為多語(yǔ)言站點(diǎn)之后，接下來(lái)就需要對(duì)網(wǎng)站做一些引流拉新，這里包括對(duì)于廣告營(yíng)銷(xiāo)以及大促等支持多語(yǔ)言版本，而對(duì)于一些引流的商品也需要做精細(xì)化的翻譯。當(dāng)將流量引入到多語(yǔ)言站點(diǎn)之后，還需要提升用戶(hù)找到自己所需商品的概率，這里面就涉及到了到站搜索，這里需要多語(yǔ)言的搜索方案，在多語(yǔ)言搜索方案的基礎(chǔ)之上，還需要對(duì)于類(lèi)目以及商品的屬性進(jìn)行優(yōu)化，方便用戶(hù)能夠更加快速地找到自己想要的商品。而當(dāng)用戶(hù)觸達(dá)到自己所想要的商品之后，需要讓用戶(hù)能夠看得懂商品的信息，這樣能夠提高用戶(hù)購(gòu)買(mǎi)的轉(zhuǎn)化率，這里就會(huì)涉及到標(biāo)題的定制改寫(xiě)，將標(biāo)題改成用戶(hù)能夠清晰可見(jiàn)并且簡(jiǎn)單明了的形式，并且將標(biāo)題翻譯成多語(yǔ)言的版本，同樣的也要將商品的詳細(xì)描述翻譯成多語(yǔ)言的版本，而且對(duì)于商品的評(píng)論，也需要翻譯成多語(yǔ)言版本。此外，還需要提供一個(gè)多語(yǔ)言的品牌庫(kù)信息。當(dāng)用戶(hù)完成商品的購(gòu)買(mǎi)，還會(huì)涉及到商品的支付、物流等。此外，對(duì)于跨境電商而言，還有一個(gè)非常重要的環(huán)節(jié)就是商品的通關(guān)，也就是“關(guān)檢物”相關(guān)的信息，其中也有多語(yǔ)言需要翻譯支持的場(chǎng)景。最后商品達(dá)到用戶(hù)手中了，網(wǎng)站當(dāng)然還希望用戶(hù)能夠購(gòu)買(mǎi)更多的商品，這里就涉及到商品的留存復(fù)購(gòu)，也就是需要通過(guò)售后的實(shí)時(shí)溝通、專(zhuān)項(xiàng)的質(zhì)量檢測(cè)、商品描述或者翻譯以及質(zhì)量調(diào)研，使得用戶(hù)能夠通過(guò)對(duì)于商品源的反饋來(lái)提升轉(zhuǎn)化率。

其實(shí)，在上圖跨境電商的全鏈路中，每個(gè)環(huán)節(jié)都有一個(gè)具體的指標(biāo)來(lái)衡量機(jī)器翻譯在其中所發(fā)揮的作用。對(duì)于多語(yǔ)言建站而言，可以觀測(cè)DAU；對(duì)于引流拉新而言，可以觀測(cè)整個(gè)站點(diǎn)的UV以及COST；對(duì)于到站搜索而言，可以關(guān)注商品List頁(yè)面到商品Detail頁(yè)面的轉(zhuǎn)化率；在用戶(hù)瀏覽商品信息的環(huán)節(jié)，則更加關(guān)注于從商品Detail頁(yè)面到最終下單購(gòu)買(mǎi)的轉(zhuǎn)化率，最后的支付以及復(fù)購(gòu)等也都有相應(yīng)的指標(biāo)進(jìn)行觀測(cè)。

應(yīng)用案例-多語(yǔ)言搜索
接下來(lái)針對(duì)于跨境電商中部分環(huán)節(jié)的具體案例進(jìn)行分享。首先，大家都知道，搜索是每個(gè)電商網(wǎng)站流量的一個(gè)主要入口。那么，對(duì)于不同國(guó)家的電商網(wǎng)站而言，用戶(hù)當(dāng)然希望使用自己的語(yǔ)言進(jìn)行搜索，但是對(duì)于跨境電商網(wǎng)站而言，不可能花費(fèi)很大的成本為每個(gè)國(guó)家的用戶(hù)都建立一套自己的搜索引擎，這樣的成本實(shí)在是太大了。所以阿里巴巴就統(tǒng)一采用了基于英文的索引，那么只需要將最終的用戶(hù)搜索詞轉(zhuǎn)化成為英文，再根據(jù)英文的索引去檢索用戶(hù)所需的商品信息就可以實(shí)現(xiàn)多語(yǔ)言搜索了。在下圖中所展現(xiàn)的例子中，就使用了多語(yǔ)言搜索。AliExpress的俄羅斯用戶(hù)就是用了俄語(yǔ)來(lái)搜索“麥克風(fēng)”，接下來(lái)就會(huì)通過(guò)智能的語(yǔ)種識(shí)別出用戶(hù)所使用的語(yǔ)言是俄語(yǔ)，之后調(diào)用拼寫(xiě)糾錯(cuò)功能，這是因?yàn)樵谟脩?hù)輸入檢索詞的過(guò)程中，很有可能出現(xiàn)個(gè)別單詞的錯(cuò)誤，因此智能拼寫(xiě)糾錯(cuò)就能夠?qū)€(gè)別拼寫(xiě)錯(cuò)誤的詞糾正過(guò)來(lái)，再將糾正過(guò)的詞調(diào)用機(jī)器翻譯進(jìn)而翻譯成英文的版本，最后調(diào)用搜索引擎拿到用戶(hù)想要的商品信息。這樣的一條鏈路能夠很好地提升用戶(hù)從List到Detail的轉(zhuǎn)化率。

應(yīng)用案例-商品信息多語(yǔ)言化
當(dāng)網(wǎng)站檢索到用戶(hù)所需要的商品信息之后，就引導(dǎo)用戶(hù)到達(dá)了商品的詳情頁(yè)面，這里就涉及到商品信息的多語(yǔ)言化。這樣用戶(hù)就會(huì)通過(guò)網(wǎng)站的內(nèi)部導(dǎo)航找到自己想要的類(lèi)目，再找到自己想要的商品，用戶(hù)在看過(guò)商品標(biāo)題之后，往往會(huì)再看一下商品的詳細(xì)描述，有一些用戶(hù)還會(huì)看一下商品的評(píng)論。如果用戶(hù)通過(guò)這些并沒(méi)有找到自己想要的信息，那么很快就會(huì)關(guān)掉頁(yè)面，這樣很有可能這個(gè)用戶(hù)就流失了。其實(shí)，在做跨境電商的時(shí)候，需要將商品信息實(shí)現(xiàn)多語(yǔ)言化，讓用戶(hù)真正地讀懂和理解這個(gè)商品究竟在是在賣(mài)什么，它主要的功能是什么。

阿里巴巴在商品信息的多語(yǔ)言化方面做了非常大量的工作。下圖所展現(xiàn)的是阿里巴巴速賣(mài)通的場(chǎng)景下對(duì)于標(biāo)題部分所做的工作。首先，大家可以看到，這個(gè)商品屬于英文的原發(fā)商品，而通過(guò)翻譯可以將其翻譯成為不同國(guó)家的語(yǔ)言。在下圖中，同樣的一條裙子的標(biāo)題除了英文之外還被翻譯成了俄語(yǔ)和阿拉伯語(yǔ)兩個(gè)版本。

此外，對(duì)于商品評(píng)論而言，其實(shí)很多商品往往是缺乏評(píng)論的。因此需要將針對(duì)于同一件商品的不同語(yǔ)言發(fā)布的評(píng)論進(jìn)行互相翻譯，在下圖的例子中就是將西語(yǔ)原發(fā)的評(píng)論翻譯成了俄語(yǔ)和阿拉伯語(yǔ)，這樣一來(lái)，用戶(hù)就能夠看到更多其他的消費(fèi)者對(duì)于同一商品的使用感受了。

第三部分就是針對(duì)于商品詳細(xì)描述的多語(yǔ)言化。在阿里速賣(mài)通的場(chǎng)景下，一般而言，商家發(fā)布版本基本上都是英文為主的。那么速賣(mài)通就需要將英文原發(fā)的商品詳細(xì)描述，比如商品尺寸、質(zhì)量屬性以及物流信息都翻譯成為其他語(yǔ)言的版本。

最后，在商品詳情頁(yè)還有一個(gè)用戶(hù)使用比較多的功能，其實(shí)這個(gè)功能在淘寶下大家也可能見(jiàn)過(guò)，就是“問(wèn)大家”。在速賣(mài)通上，針對(duì)于“問(wèn)大家”這個(gè)功能，需要將不同國(guó)家、不同語(yǔ)言用戶(hù)所提出的問(wèn)題都翻譯成多個(gè)語(yǔ)言的版本，讓更多的人能夠得到自己所需要的信息，正如下圖所展現(xiàn)的就是將俄文的問(wèn)題翻譯成了英文和阿拉伯語(yǔ)。

應(yīng)用案例-通關(guān)翻譯
當(dāng)用戶(hù)通過(guò)閱讀、搜索了解了商品的信息并且決定下單購(gòu)買(mǎi)之后，網(wǎng)站最終還需要將商品郵寄到客戶(hù)手中。在跨境電商場(chǎng)景下還存在商品物流所必須經(jīng)過(guò)的一個(gè)步驟，就是商品的通關(guān)。在通關(guān)時(shí)需要將英文商品或者其他語(yǔ)言的商品名稱(chēng)翻譯成中文提供給中國(guó)海關(guān)。下圖中給出了一個(gè)例子，這個(gè)商品是一個(gè)手機(jī)支架，大家可以看到這個(gè)手機(jī)支架的英文名稱(chēng)非常長(zhǎng)，而海關(guān)可能并不希望看到這么長(zhǎng)的描述信息，而是希望拿到商品的關(guān)鍵信息，速賣(mài)通就使用了NLP智能品名生成技術(shù)，從一長(zhǎng)串的標(biāo)題里面抽取出關(guān)鍵詞。如下圖的例子所示，速賣(mài)通就從中抽取出了“Phone Holder”關(guān)鍵詞，再把這個(gè)關(guān)鍵詞通過(guò)機(jī)器翻譯轉(zhuǎn)成中文的“手機(jī)支架”，之后在通過(guò)菜鳥(niǎo)的關(guān)務(wù)平臺(tái)將商品的中文關(guān)鍵詞進(jìn)行備案以及清關(guān)，之后就能夠自動(dòng)地完成整個(gè)商品出關(guān)的操作。

應(yīng)用案例-多語(yǔ)言實(shí)時(shí)溝通
最后一個(gè)案例就是多語(yǔ)言的實(shí)時(shí)溝通，在交易前和交易后往往都會(huì)發(fā)生賣(mài)家和賣(mài)家之間的溝通。而Alibaba.com是一個(gè)B2B的場(chǎng)景，可能需要更多的售前溝通。在阿里巴巴的調(diào)研中發(fā)現(xiàn)，其實(shí)在國(guó)際貿(mào)易中的買(mǎi)家中的30%是使用小語(yǔ)種的，而大部分買(mǎi)家卻往往缺少小語(yǔ)種的溝通服務(wù)能力。因此，阿里巴巴開(kāi)發(fā)了一套針對(duì)于多語(yǔ)言實(shí)時(shí)溝通場(chǎng)景的自動(dòng)翻譯系統(tǒng)。在這個(gè)場(chǎng)景之下，首先支持多個(gè)語(yǔ)種之間的互譯，并且在特定外貿(mào)場(chǎng)景下對(duì)于術(shù)語(yǔ)的翻譯也是非常準(zhǔn)確的，這是因?yàn)樵诒澈髶碛幸粋€(gè)規(guī)模龐大的雙語(yǔ)術(shù)語(yǔ)庫(kù)。其次，還具有智能處理能力，多語(yǔ)言實(shí)時(shí)溝通系統(tǒng)具有智能的語(yǔ)種識(shí)別，可以根據(jù)用戶(hù)的場(chǎng)景自動(dòng)地識(shí)別其使用的語(yǔ)種，再根據(jù)用戶(hù)所使用的語(yǔ)種進(jìn)行自動(dòng)翻譯，并且還提供了基于上下文的智能糾錯(cuò)。大家都往往深有感觸，我們?cè)诹奶鞙贤ǖ倪^(guò)程中往往經(jīng)常會(huì)打錯(cuò)字，而基于錯(cuò)字進(jìn)行翻譯肯定無(wú)法準(zhǔn)確翻譯。而且還針對(duì)口語(yǔ)場(chǎng)景做了表述歸一化的統(tǒng)一處理。最后一點(diǎn)，多語(yǔ)言實(shí)時(shí)溝通系統(tǒng)還實(shí)現(xiàn)了跨境多語(yǔ)言溝通方案，首先這套方案支持多端包括PC、IOS、Android，能夠?qū)崿F(xiàn)多語(yǔ)言信息的實(shí)時(shí)溝通，用戶(hù)可以基于機(jī)器翻譯或者譯文進(jìn)行編輯，如果用戶(hù)具有相應(yīng)的語(yǔ)言能力，其實(shí)可以根據(jù)機(jī)器翻譯的結(jié)果在發(fā)送前進(jìn)行編輯。在很多場(chǎng)景下，需要對(duì)于特定的術(shù)語(yǔ)進(jìn)行快速干預(yù)，將其翻譯成想要翻譯的文本，因此在這樣實(shí)時(shí)工作的場(chǎng)景下也支持實(shí)時(shí)干預(yù)的能力。

三、阿里機(jī)器翻譯技術(shù)亮點(diǎn)
前面的部分為大家整體地介紹了跨境電商的整體鏈路，并且抽取了部分環(huán)節(jié)的詳細(xì)例子進(jìn)行了介紹。在第三部分將為大家介紹阿里機(jī)器翻譯的一些技術(shù)亮點(diǎn)，主要包括面向電商的阿里機(jī)器翻譯引擎所面對(duì)的挑戰(zhàn)以及技術(shù)的創(chuàng)新點(diǎn)。

搭建電商場(chǎng)景機(jī)器翻譯系統(tǒng)的挑戰(zhàn)
搭建電商場(chǎng)景機(jī)器翻譯系統(tǒng)的挑戰(zhàn)主要來(lái)自于三個(gè)方面，即翻譯質(zhì)量、服務(wù)要求以及快速迭代。第一點(diǎn)就是翻譯質(zhì)量，因?yàn)殡娚虉?chǎng)景下往往與交易相關(guān)，因此對(duì)于翻譯的質(zhì)量有著非常高的要求，不僅要求電商場(chǎng)景翻譯結(jié)果高可讀性要求，還要求領(lǐng)域相關(guān)的關(guān)鍵信息翻譯的準(zhǔn)確性，這里的關(guān)鍵信息包括了品牌、關(guān)鍵屬性、尺寸、數(shù)字以及物流信息等，這些信息在電商場(chǎng)景下相對(duì)于通用場(chǎng)景下有著更高的要求。此外，還需要有更加靈活的干預(yù)機(jī)制，因?yàn)闄C(jī)器翻譯在一些場(chǎng)景下翻譯不能非常準(zhǔn)確，一旦發(fā)現(xiàn)這些場(chǎng)景下的信息翻譯不準(zhǔn)確的時(shí)候，就可以做出快速干預(yù)，及時(shí)地糾正翻譯結(jié)果。第二點(diǎn)就是對(duì)于服務(wù)的要求，這里包括高可用性的要求，因?yàn)闀?huì)涉及到交易，因此不能夠在交易的過(guò)程中出現(xiàn)問(wèn)題影響到整個(gè)交易的鏈路。此外，還需要有多區(qū)域的要求，阿里機(jī)器翻譯服務(wù)于整個(gè)阿里巴巴多個(gè)部門(mén)和團(tuán)隊(duì)，各個(gè)團(tuán)隊(duì)都分布在不同的區(qū)域上，那么就需要有多區(qū)域部署的要求。此外，還有高并發(fā)和高響應(yīng)的要求，大家都知道阿里“雙11”場(chǎng)景下的流量是非常大的，在支持這樣大流量的場(chǎng)景的需求下，就需要滿(mǎn)足高并發(fā)的要求，并且在響應(yīng)時(shí)間上也有非常高的標(biāo)準(zhǔn)。最后一點(diǎn)就是快速迭代，正因?yàn)榘⒗餀C(jī)器翻譯支撐了如此之多的業(yè)務(wù)，所以需要快速大規(guī)模語(yǔ)料訓(xùn)練能力能夠在短時(shí)間內(nèi)訓(xùn)練出一個(gè)質(zhì)量可用的模型；而且在場(chǎng)景如此多的情況下，經(jīng)常會(huì)出現(xiàn)語(yǔ)種的擴(kuò)展，因此阿里機(jī)器翻譯也需要語(yǔ)種快速擴(kuò)展的能力；最后還有對(duì)于模型迭代更新效率的要求。對(duì)于上述三個(gè)挑戰(zhàn)，需要從三個(gè)方面進(jìn)行解決。首先是模型，之后是數(shù)據(jù)，最后是工程，只有從這三個(gè)方面才能夠解決實(shí)際業(yè)務(wù)所帶來(lái)的挑戰(zhàn)。接下來(lái)就為大家介紹如何從模型、數(shù)據(jù)和工程三個(gè)方面應(yīng)對(duì)挑戰(zhàn)。

模型
對(duì)于模型而言，為了保證電商場(chǎng)景能夠具有非常高的翻譯質(zhì)量，所以在模型上對(duì)于不同的場(chǎng)景進(jìn)行了區(qū)分，并且采用了多模型融合的機(jī)制。阿里機(jī)器翻譯在商品描述、評(píng)論以及溝通這種文本比較長(zhǎng)并且對(duì)于整個(gè)句子順滑度要求比較高的場(chǎng)景下，采用了基于神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯的模型。而在像商品標(biāo)題、搜索詞以及屬性等短文本的場(chǎng)景下，采用了統(tǒng)計(jì)機(jī)器翻譯的模型進(jìn)行解決。而像數(shù)字、日期、單位、地址以及旅游場(chǎng)景下的一些菜單等使用了規(guī)則翻譯來(lái)進(jìn)行解決。最后一部分，阿里機(jī)器翻譯會(huì)有一批翻譯記憶高精準(zhǔn)的人工翻譯數(shù)據(jù)，在最外層做一層翻譯記憶的過(guò)濾，來(lái)完整地匹配待翻譯的文本。

在模型的網(wǎng)絡(luò)上也采用了Transformer新型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，這樣相比于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)翻譯模型而言，翻譯質(zhì)量的提升也比較明顯，訓(xùn)練速度的提升也非常明顯。在剛剛結(jié)束的國(guó)際機(jī)器翻譯評(píng)測(cè)比賽上面，也對(duì)于這套模型進(jìn)行了論證，并且在5項(xiàng)評(píng)測(cè)中獲得冠軍。

數(shù)據(jù)
其實(shí)在人工智能領(lǐng)域，除了模型之外，數(shù)據(jù)也起到了非常重要的作用。阿里機(jī)器翻譯所用的數(shù)據(jù)總結(jié)而言就是“領(lǐng)域”，也就是使用了大量與電商領(lǐng)域相關(guān)的數(shù)據(jù)，比如電商領(lǐng)域雙語(yǔ)的語(yǔ)料、電商領(lǐng)域?qū)I(yè)的詞表、電商高頻短語(yǔ)、電商領(lǐng)域的單語(yǔ)語(yǔ)料、電商品牌詞表等，并結(jié)合了通用領(lǐng)域單語(yǔ)語(yǔ)料以及通用領(lǐng)域雙語(yǔ)語(yǔ)料等來(lái)訓(xùn)練電商的機(jī)器翻譯引擎。在數(shù)量級(jí)上大概能夠達(dá)到10億級(jí)別的雙語(yǔ)平行語(yǔ)料、億級(jí)別的電商雙語(yǔ)平行語(yǔ)料、千萬(wàn)級(jí)電商知識(shí)庫(kù)以及大規(guī)模行業(yè)多語(yǔ)言術(shù)語(yǔ)庫(kù)。而對(duì)于語(yǔ)料的主要來(lái)源而言，首先最大的是通過(guò)互聯(lián)網(wǎng)抓取的雙語(yǔ)平行語(yǔ)料；另外一部分是通過(guò)自動(dòng)地術(shù)語(yǔ)挖掘產(chǎn)生領(lǐng)域相關(guān)的術(shù)語(yǔ)的語(yǔ)聊；最后一部分就是通過(guò)人工翻譯所提供的語(yǔ)料。

下圖展現(xiàn)了與數(shù)據(jù)相關(guān)的一整套數(shù)據(jù)體系，包含了數(shù)據(jù)獲取、數(shù)據(jù)精選以及電商知識(shí)庫(kù)的構(gòu)建。對(duì)于數(shù)據(jù)獲取而言，首先阿里機(jī)器翻譯的大部分?jǐn)?shù)據(jù)還是來(lái)自于互聯(lián)網(wǎng)，通過(guò)網(wǎng)絡(luò)抓取多語(yǔ)言網(wǎng)頁(yè)，對(duì)于這些網(wǎng)頁(yè)進(jìn)行統(tǒng)一地解析、清洗和處理形成雙語(yǔ)語(yǔ)料，并且有較少的一部分是通過(guò)語(yǔ)料購(gòu)買(mǎi)或者交換和人工翻譯生產(chǎn)出極少與領(lǐng)域相關(guān)的數(shù)據(jù)，并且對(duì)于少量的數(shù)據(jù)做一些領(lǐng)域相關(guān)的優(yōu)化。在語(yǔ)料的精選方面，其實(shí)有不同層次的機(jī)制，基礎(chǔ)的就是基于一些規(guī)則的互譯質(zhì)量的判斷、流利度的判斷以及N-gram的過(guò)濾。其次，還會(huì)有一些模型能夠篩選出領(lǐng)域相關(guān)的語(yǔ)料。最后一部分就是通過(guò)機(jī)器學(xué)習(xí)做更深層次、更細(xì)化的質(zhì)量相關(guān)的工作。在電商知識(shí)庫(kù)的構(gòu)建方面，則主要是依托于服務(wù)的業(yè)務(wù)方，比如Alibaba.com、AliExpress以及天貓國(guó)際等，從這些業(yè)務(wù)方的商品數(shù)據(jù)里面進(jìn)行智能挖掘，挖掘出命名實(shí)體、同義詞、上位詞以及詞與詞之間的依存關(guān)系等，再將這些依存關(guān)系通過(guò)自動(dòng)的雙語(yǔ)生成或者人工翻譯成多語(yǔ)言的版本，最終建立了多語(yǔ)言的電商支持?jǐn)?shù)據(jù)。

工程
最后的一部分就是阿里機(jī)器翻譯在工程部分所做的事情，在這方面的工作主要包括了四個(gè)方面。第一方面是全球化部署，為了滿(mǎn)足分布在不同地區(qū)以及國(guó)家的業(yè)務(wù)，阿里機(jī)器翻譯目前在美國(guó)、新加坡、俄羅斯以及中國(guó)都部署了機(jī)房。第二部分就是分布式的訓(xùn)練，這是依托于阿里巴巴集團(tuán)的大規(guī)模分布式系統(tǒng)構(gòu)建的一套分布式訓(xùn)練的框架來(lái)提升整體的機(jī)器學(xué)習(xí)訓(xùn)練速度。第三部分是并行計(jì)算，這部分是為了提升整個(gè)機(jī)器翻譯的吞吐量所進(jìn)行的優(yōu)化，因?yàn)樵诤芏喾g場(chǎng)景下都翻譯的是商品的詳細(xì)描述，針對(duì)于這樣的一大段文本進(jìn)行了優(yōu)化，也就是將這樣的一大段文本切分成不同的小文本，同時(shí)并行地調(diào)用翻譯引擎來(lái)提升整個(gè)吞吐量。最后一部分就是性能優(yōu)化，性能優(yōu)化主要是針對(duì)GPU的性能進(jìn)行優(yōu)化，來(lái)提升整個(gè)機(jī)器翻譯的響應(yīng)時(shí)間。

四、阿里云機(jī)器翻譯產(chǎn)品介紹
前面介紹了機(jī)器翻譯技術(shù)的亮點(diǎn)和挑戰(zhàn)，最后為大家介紹一下本次在阿里云上發(fā)布的機(jī)器翻譯產(chǎn)品。阿里云上的機(jī)器翻譯產(chǎn)品主要是以API的形式進(jìn)行發(fā)布上線(xiàn)的。大家可以在阿里云主頁(yè)上的導(dǎo)航欄中選擇“產(chǎn)品->人工智能->自然語(yǔ)言處理->機(jī)器翻譯”來(lái)查看機(jī)器翻譯產(chǎn)品的詳情。本次上線(xiàn)的產(chǎn)品主要有三個(gè)版本，通用基礎(chǔ)版API支持中英互譯，有免費(fèi)額度，用戶(hù)試用為主；電商標(biāo)準(zhǔn)版API支持英中，英俄，英西，英法和英葡的互譯，在電商領(lǐng)域機(jī)翻質(zhì)量有明顯優(yōu)勢(shì)，適用于電商場(chǎng)景下的標(biāo)題，商品描述，評(píng)價(jià)等領(lǐng)域；通用標(biāo)準(zhǔn)版API支持中英互譯，新語(yǔ)種持續(xù)增加中，適用于旅游、口語(yǔ)等通用場(chǎng)景。

本次的發(fā)布只是阿里機(jī)器翻譯開(kāi)放的開(kāi)始，后續(xù)將會(huì)有更多的能力通過(guò)阿里云對(duì)外輸出。在未來(lái)，阿里機(jī)器翻譯將會(huì)持續(xù)提升翻譯質(zhì)量，保持將最新的模型能力對(duì)外更新。豐富API輸出能力，如支持用戶(hù)自定義翻譯結(jié)果。豐富開(kāi)放場(chǎng)景，依托于阿里的優(yōu)勢(shì)重點(diǎn)打造電商場(chǎng)景，同時(shí)補(bǔ)齊通用場(chǎng)景的短板。完善產(chǎn)品矩陣，支持文本、語(yǔ)音和圖像等多模態(tài)開(kāi)放API。最后一部分就是支持定制化私有部署，用戶(hù)只需要提供自己場(chǎng)景相關(guān)的訓(xùn)練數(shù)據(jù)，阿里機(jī)器翻譯就能夠幫助用戶(hù)做模型訓(xùn)練、部署以及發(fā)布，用戶(hù)可以自己的環(huán)境下進(jìn)行應(yīng)用部署。

閱讀原文

本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

?