轉(zhuǎn)載自：知乎
作者：金雪鋒

MindSpore在3月底開(kāi)源后，一直忙于功能完善和內(nèi)外部的應(yīng)用推廣，現(xiàn)在終于有點(diǎn)時(shí)間可以停下來(lái)結(jié)合MindSpore的實(shí)踐和團(tuán)隊(duì)一起總結(jié)對(duì)AI框架的一些思考，希望對(duì)大家有所幫助，也有助于大家去了解MindSpore，更加歡迎大家一起探討。

計(jì)劃開(kāi)一個(gè)專欄，有一系列的文章，初步主題規(guī)劃包括：

1. AI框架的演進(jìn)趨勢(shì)和MindSpore的構(gòu)想
2. AI框架的圖層IR的分析
3. 動(dòng)靜態(tài)圖統(tǒng)一的思考
4. 端邊云的框架如何統(tǒng)一
5. 圖算融合的設(shè)計(jì)思考
6. 自動(dòng)算子生成可行嗎？
7. 如果自研一個(gè)AI編程語(yǔ)言，應(yīng)該長(zhǎng)什么樣？
8. 如何成為分布式并行原生的AI框架？
9. AI與科學(xué)計(jì)算怎么結(jié)合？
10. AI框架怎么使能AI責(zé)任？

…….等等

內(nèi)容比較多，全部寫(xiě)完要很長(zhǎng)時(shí)間，希望自己有足夠的耐心堅(jiān)持下去。

本篇是一個(gè)總體的介紹，主要是分析AI框架的發(fā)展趨勢(shì)，介紹一下MindSpore的構(gòu)想

1、未來(lái)AI框架的發(fā)展趨勢(shì)是什么

AI框架的發(fā)展個(gè)人認(rèn)為可以大致分為3個(gè)階段：

第一階段的代表是torch、theano以及Caffe，奠定了基于Python、自動(dòng)微分、計(jì)算圖等基本設(shè)計(jì)思路。

第二階段的代表是TensorFlow、PyTorch，一個(gè)通過(guò)分布式訓(xùn)練、多樣的部署能力在工業(yè)界廣泛使用，另外一個(gè)是提供動(dòng)態(tài)圖能力，在靈活性上吸引了大量的研究者和算法工程師。

第三階段的方向是什么？目前看還沒(méi)有定型，我們看到Google也有多條技術(shù)路徑在探索，包括TF2.0，JAX、MLIR、Swift for TF等；有些在做動(dòng)態(tài)圖和靜態(tài)圖的統(tǒng)一，有些在構(gòu)建統(tǒng)一的IR基礎(chǔ)設(shè)施，還有些在探索新的表達(dá)方式等，總之還是百花齊放的狀態(tài)。

不管AI框架未來(lái)的發(fā)展方向是什么，AI框架的驅(qū)動(dòng)力還是相對(duì)清晰，我們認(rèn)為AI框架的驅(qū)動(dòng)力主要是5個(gè)-“ABCDE”：

• Application+Bigdata：AI框架的Application就是AI的模型和算法，Bigdata就是AI模型需要的數(shù)據(jù)
• Chip：AI的芯片，代表AI的算法發(fā)展
• Developer：AI的算法研究者和算法工程師
• Enterprise：AI部署和AI責(zé)任

下面，我們想通過(guò)對(duì)AI框架的驅(qū)動(dòng)因素的分析來(lái)討論一下AI框架的發(fā)展方向。

從應(yīng)用和數(shù)據(jù)角度看AI框架的挑戰(zhàn)

• 模型和數(shù)據(jù)的規(guī)模和復(fù)雜度持續(xù)提升

今年5月，OpenAI發(fā)布GPT-3模型，千億參數(shù)量，數(shù)據(jù)集（處理前）45T，訓(xùn)練一次的成本號(hào)稱接近500萬(wàn)美金，超大模型不僅僅是算法和算力成本的挑戰(zhàn)，同時(shí)對(duì)AI框架的挑戰(zhàn)也是巨大，主要體現(xiàn)在三點(diǎn)，性能墻（內(nèi)存、通信、計(jì)算利用率）、效率墻以及精度墻：

1. 性能墻：大模型下，GPU和NPU的單卡(內(nèi)存一般只有32G)肯定裝不下整個(gè)模型，傳統(tǒng)的數(shù)據(jù)并行是不夠的，未來(lái)內(nèi)存復(fù)用、混合并行（數(shù)據(jù)并行/模型并行/pipeline并行）等技術(shù)的使用將會(huì)是常態(tài)，同時(shí)，混合并行的切分策略尋優(yōu)是很困難的，不同的切分產(chǎn)生的通信量差異巨大，計(jì)算利用率也很不一樣，比如pipeline并行往往在計(jì)算利用率存在較大的挑戰(zhàn)，算子切分的并行在通信量的挑戰(zhàn)會(huì)很大，這些都需要AI框架來(lái)支持；最后在大規(guī)模并行訓(xùn)練系統(tǒng)中，當(dāng)性能要求越來(lái)越高時(shí)，數(shù)據(jù)預(yù)處理也會(huì)成為一個(gè)瓶頸，比如我們?cè)赗esNet50性能調(diào)優(yōu)時(shí)發(fā)現(xiàn)，當(dāng)單Step跑到17~18ms的時(shí)候，host數(shù)據(jù)處理的時(shí)間就跟不上了。
2. 效率墻：混合并行策略如果讓算法工程師來(lái)手工確定的，這個(gè)門(mén)檻就會(huì)很高，既要懂算法，又要懂系統(tǒng)，怎么做到自動(dòng)并行是關(guān)鍵。
3. 精度墻：大規(guī)模模型訓(xùn)練天生就是一個(gè)大Batchsize的訓(xùn)練，怎么更好的收斂，達(dá)到精度要求，都是一個(gè)大的挑戰(zhàn)。

除了上面講的三點(diǎn)外，超大規(guī)模的訓(xùn)練還面臨其他的挑戰(zhàn)，比如大規(guī)模集群的可用性、尾部時(shí)延、動(dòng)態(tài)調(diào)度等等。

• 框架的負(fù)載從單一的深度學(xué)習(xí)模型向通用的張量可微計(jì)算演進(jìn)

目前主要看到三個(gè)方向：

1)DNN與傳統(tǒng)機(jī)器學(xué)習(xí)結(jié)合，比如深度概率學(xué)習(xí)、圖神經(jīng)網(wǎng)絡(luò)等，這一塊基本上業(yè)界的AI框架都已經(jīng)支持。

2)AI與科學(xué)計(jì)算結(jié)合，看到業(yè)界在探索三個(gè)方向，一是AI建模替代傳統(tǒng)的計(jì)算模型，這個(gè)方向剛剛起步，進(jìn)展還不是很多；二是AI求解，模型還是傳統(tǒng)的科學(xué)計(jì)算模型，但是使用神經(jīng)網(wǎng)絡(luò)的方法來(lái)求解，這個(gè)方向已經(jīng)有一定的進(jìn)展，目前看到不少基礎(chǔ)的科學(xué)計(jì)算方程已經(jīng)有對(duì)應(yīng)的AI求解方法，比如PINNs、PINN-Net等，當(dāng)然現(xiàn)在挑戰(zhàn)還很大，特別是在精度收斂方面，如果要在AI框架上AI求解科學(xué)計(jì)算模型，最大的挑戰(zhàn)主要在前端表達(dá)和高性能的高階微分；三是使用框架來(lái)加速方程的求解，就是科學(xué)計(jì)算的模型和方法都不變，但是與深度學(xué)習(xí)使用同一個(gè)框架來(lái)求解，其實(shí)就是把框架看成面向張量計(jì)算的分布式框架。

3)計(jì)算圖形相關(guān)的，類似Taichi這樣的語(yǔ)言和框架，提供可微物理引擎、可微渲染引擎等

從AI的芯片發(fā)展趨勢(shì)看AI框架的挑戰(zhàn)

AI芯片主要是兩種形態(tài)，一種是基于SIMT的GPU，另外一種是類SIMD的NPU，隨著NVIDIA A100的發(fā)布，我們看到兩種芯片架構(gòu)在相互借鑒，相互融合：

1. 大算力還是要靠SIMD(SIMT的靈活性雖然強(qiáng)，但是芯片的面積/功耗挑戰(zhàn)太大)，Tensor Core的規(guī)模越來(lái)越大；
2. 片內(nèi)片間高速互聯(lián)；
3. 多硅片，大內(nèi)存封裝，x倍體積（特別是推理芯片）。

AI芯片的持續(xù)演進(jìn)對(duì)AI框架也提出了許多關(guān)鍵的挑戰(zhàn)：

1. 優(yōu)化與硬件耦合度提升，圖算編譯一體化：圖層融合優(yōu)化已經(jīng)趨于收斂，需要和算子層聯(lián)動(dòng)優(yōu)化，子圖級(jí)和算子級(jí)的界限打破，基于Graph tuning的整體優(yōu)化是目前的熱點(diǎn)；
2. 多樣的執(zhí)行方式：圖下沉模式和單算子調(diào)用模式混合，不同的情況下，可能采用不同的方式；
3. 可編程性挑戰(zhàn)變大：由于有了大量的SIMD加速指令，不在是單純的SIMT編程模型，異構(gòu)編程的挑戰(zhàn)變大

從算法工程師和開(kāi)發(fā)者的角度看AI框架的趨勢(shì)

• 新的AI編程語(yǔ)言嘗試突破Python的限制

目前看到有代表性主要是Julia和Swift for TensorFlow

Julia的歷史較早，目前在科學(xué)計(jì)算領(lǐng)域已經(jīng)有不錯(cuò)的應(yīng)用基礎(chǔ)，當(dāng)前結(jié)合這些領(lǐng)域的積累，逐步進(jìn)入AI和深度學(xué)習(xí)領(lǐng)域，宣稱的特點(diǎn)是動(dòng)態(tài)語(yǔ)言的特征，靜態(tài)語(yǔ)言的性能，和Python比，比較有特色的地方包括：

1. 類MATLAB的張量原生表達(dá)
2. 多態(tài)的能力+動(dòng)態(tài)類型推導(dǎo)/特化

3. IR的反射機(jī)制

所謂的IR反射機(jī)制是指，Julia的IR可以讓開(kāi)發(fā)者做二次加工，以Julia的機(jī)器學(xué)習(xí)庫(kù)Flux+Zygote為例：

Flux是一個(gè)Julia上的擴(kuò)展庫(kù)，定義基本的算子，如conv，pooling，bn等等，方便開(kāi)發(fā)者基于Flux去定義機(jī)器學(xué)習(xí)模型；

Zygote基于Julia提供的IR反射機(jī)制實(shí)現(xiàn)了源到源的自動(dòng)微分，在這個(gè)過(guò)程中，是不要改變Julia本身的。

與Julia相比，Swift for TensorFlow則完全是另外一套思路，他試圖從工業(yè)級(jí)開(kāi)發(fā)的角度來(lái)找到差異化，包括靜態(tài)類型、高性能、與端側(cè)結(jié)合的易部署等。

從目前看盡管Julia和Swift都有些特色，但是短期內(nèi)還很難撼動(dòng)Python在AI領(lǐng)域的地位。

• AI編譯器成為框架的競(jìng)爭(zhēng)焦點(diǎn)

AI編譯器目前看到有三個(gè)方向在發(fā)力，第一類是致力于動(dòng)靜態(tài)圖統(tǒng)一的AI JIT能力，比如TorchScript、JAX等；第二類是偏向于面向芯片的優(yōu)化，如XLA、TVM；第三類是想做AI編譯器的基礎(chǔ)設(shè)施，MLIR希望是提供MetaIR，成為構(gòu)建AI編譯器的基礎(chǔ)，Relay/TVM則是想把編譯器接口開(kāi)放出去支撐第三方框架。不過(guò)我們看到這三個(gè)方向都還存在比較大的挑戰(zhàn)。

AI JIT：Python的靈活性和動(dòng)態(tài)性太強(qiáng)，動(dòng)態(tài)shape好搞定，但是動(dòng)態(tài)Type就難了，更不用說(shuō)Python里面有大量非常靈活的數(shù)據(jù)結(jié)構(gòu)的用法，一個(gè)動(dòng)態(tài)圖想無(wú)縫的轉(zhuǎn)到靜態(tài)圖的確不是一件很容易的事情。

編譯加速：目前主要還是基于Pattern的算子融合和基于模板的算子生成技術(shù)，這里的瓶頸在于算子生成技術(shù)，因?yàn)樗阕尤诤系慕M合條件太多，基于模板無(wú)法做到完全枚舉，要提升整個(gè)編譯加速的泛化能力，下一個(gè)需要攻克的技術(shù)就是不需要模板的自動(dòng)算子生成技術(shù)。

AI編譯器的基礎(chǔ)設(shè)施：MLIR在設(shè)計(jì)理念上確實(shí)是先進(jìn)和宏大的，MLIR目標(biāo)通過(guò)Dialect的擴(kuò)展來(lái)支持各種領(lǐng)域編譯器，包括AI編譯器（圖層和算子層）。從進(jìn)展看，MLIR在TF Lite的應(yīng)用最快，主要是用作模型轉(zhuǎn)換工具。我們需要思考的是，MLIR帶來(lái)的好處究竟是什么？我想MLIR本身并不會(huì)打來(lái)框架性能和易用性的提升，主要還是重用和歸一，如LLVM的基礎(chǔ)結(jié)構(gòu)CFG+BB、大量的優(yōu)化等，問(wèn)題是這些重用是否有利于AI圖層和算子層的編譯，個(gè)人的觀點(diǎn)，對(duì)于算子層來(lái)說(shuō)MLIR+LLVM肯定是適用的，對(duì)于圖層就未必，LLVM雖然統(tǒng)一了許多編程語(yǔ)言的編譯器，但是優(yōu)勢(shì)領(lǐng)域還是集中在靜態(tài)編譯領(lǐng)域，在JIT和VM領(lǐng)域，LLVM的優(yōu)勢(shì)并不明顯，CFG+BB這樣的基礎(chǔ)架構(gòu)未必適合需要自動(dòng)微分/JIT這樣的AI圖層編譯器。

從AI的部署看AI框架的挑戰(zhàn)

從AI部署看，我們看到三個(gè)趨勢(shì)：

1. 大模型在端側(cè)的部署，特別是語(yǔ)言型的模型
2. 端云協(xié)同的場(chǎng)景逐步開(kāi)始應(yīng)用，這里主要有兩類，一類是云側(cè)訓(xùn)練，端側(cè)做在線finetuning的增量學(xué)習(xí)，第二類是聯(lián)邦學(xué)習(xí)。
3. AI無(wú)處不在，在IoT那些資源受限的設(shè)備上進(jìn)行AI模型的部署。

目前看AI框架主要是兩個(gè)挑戰(zhàn)：

1. AI框架在云側(cè)和端側(cè)能否做到架構(gòu)上的統(tǒng)一，這里的統(tǒng)一主要是指IR格式，只有這樣才能做到云側(cè)訓(xùn)練出來(lái)的模型，在端側(cè)可以平滑的進(jìn)行增量學(xué)習(xí)，并方便地進(jìn)行聯(lián)邦學(xué)習(xí)。
2. AI框架能否做到可大可小，比如小到K級(jí)的底噪，能夠內(nèi)置到IoT的設(shè)備里。

從AI的責(zé)任看AI框架的挑戰(zhàn)

AI的責(zé)任涉及的范圍非常廣，包括安全、隱私、公平、透明、可解釋。

作為AI業(yè)務(wù)的承載，AI框架需要具備使能AI責(zé)任的能力，目前AI框架需要解決的幾個(gè)挑戰(zhàn)：

1、對(duì)于AI責(zé)任的各個(gè)方面，缺乏通用的分析方法和度量體系，缺乏場(chǎng)景感知的自動(dòng)化度量方法。

2、AI模型魯棒性、隱私保護(hù)技術(shù)、密態(tài)AI在實(shí)際場(chǎng)景下對(duì)模型性能影響較大。

3、AI的可解釋性還缺乏理論和算法支撐，難以給出人類友好的推理結(jié)果解釋。

2、MindSpore的構(gòu)想

MindSpore作為一個(gè)新興的框架，大家經(jīng)常問(wèn)的一個(gè)問(wèn)題是他的差異化在哪里？

結(jié)合前面分析的AI框架的驅(qū)動(dòng)力和挑戰(zhàn)，我們希望MindSpore在5個(gè)方向上引領(lǐng)AI框架的演進(jìn)：

• Beyond AI：從深度學(xué)習(xí)框架演進(jìn)到通用張量可微計(jì)算框架

MindSpore會(huì)提供一個(gè)更通用的AI編譯器，為支持更多的應(yīng)用類型提供可能性。

• 分布式并行原生（Scale out）：從手工并行演進(jìn)到自動(dòng)并行

MindSpore在支持大規(guī)模訓(xùn)練方面除了性能和擴(kuò)展性好外，更重要的是想降低這一塊的門(mén)檻，讓分布式訓(xùn)練變得更加簡(jiǎn)單。

• 圖算深度融合（Scale up）：從圖算分離優(yōu)化演進(jìn)到圖算聯(lián)合優(yōu)化

MindSpore提供圖算聯(lián)合優(yōu)化、自動(dòng)算子生成、深度圖優(yōu)化等關(guān)鍵技術(shù)，充分發(fā)揮AI芯片的算力。

• 全場(chǎng)景AI：從端云分離架構(gòu)演進(jìn)到端云統(tǒng)一架構(gòu)

MindSpore的云側(cè)框架和端側(cè)框架做到統(tǒng)一架構(gòu)，方便云端訓(xùn)練/端側(cè)finetuing或者端云協(xié)同的聯(lián)邦學(xué)習(xí)

• 企業(yè)級(jí)可信能力：從消費(fèi)級(jí)AI演進(jìn)到企業(yè)級(jí)AI

MindSpore會(huì)內(nèi)置對(duì)抗性訓(xùn)練、差分隱私、密態(tài)AI、聯(lián)邦學(xué)習(xí)以及可解釋AI等能力。

當(dāng)然，軟件架構(gòu)都是持續(xù)演進(jìn)的，很少有技術(shù)能夠做到獨(dú)門(mén)絕技，MindSpore也希望和業(yè)界其他框架在正確的方向上一起進(jìn)步。

同時(shí)，MindSpore社區(qū)也對(duì)外發(fā)布了10大課題，邀請(qǐng)開(kāi)發(fā)者一起參與創(chuàng)新。具體參見(jiàn)鏈接：https://github.com/mindspore-ai/community/tree/master/working-groups/research

最后，簡(jiǎn)單介紹一下MindSpore的高層設(shè)計(jì)

MindSpore主要分為四層：

1. MindSpore Extend：這個(gè)是MindSpore的擴(kuò)展包，現(xiàn)在的數(shù)量還比較少，希望未來(lái)有更多的開(kāi)發(fā)者來(lái)一起貢獻(xiàn)和構(gòu)建
2. MindSpore的表達(dá)層：MindExpress是基于Python的前端表達(dá)，未來(lái)我們也計(jì)劃陸續(xù)提供C/C++、Java等不同的前端；MindSpore也在考慮自研編程語(yǔ)言前端-倉(cāng)頡，目前還處于預(yù)研階段；同時(shí)，我們內(nèi)部也在做與Julia這些第三方前端的對(duì)接工作，引入更多的第三方生態(tài)。
3. MindSpore的編譯優(yōu)化層：MindCompiler是我們圖層的核心編譯器，主要基于端云統(tǒng)一的MindIR實(shí)現(xiàn)三大功能，包括硬件無(wú)關(guān)的優(yōu)化（類型推導(dǎo)/自動(dòng)微分/表達(dá)式化簡(jiǎn)等）、硬件相關(guān)優(yōu)化（自動(dòng)并行、內(nèi)存優(yōu)化、圖算融合、流水線執(zhí)行等）、部署推理相關(guān)的優(yōu)化（量化/剪枝等）；MindAKG是MindSpore的自動(dòng)算子生成編譯器，目前還在持續(xù)完善中。
4. MindSpore全場(chǎng)景運(yùn)行時(shí)：這里含云側(cè)、端側(cè)以及更小的IoT。

同時(shí)MindSpore也提供了面向AI責(zé)任的MindArmour，以及面向數(shù)據(jù)處理/可視化/可解釋的MindData。

MindSpore是一個(gè)新生的開(kāi)源項(xiàng)目，今年3月底剛開(kāi)源，本文介紹的構(gòu)想更偏向MindSpore的規(guī)劃，其中有不少功能還沒(méi)有完善，許多功能還不好用，甚至還有些功能處于前期研究階段，希望開(kāi)發(fā)者們能一起參與MindSpore社區(qū)，多提問(wèn)題和意見(jiàn)，共建MindSpore社區(qū)。

MindSpore官網(wǎng)：https://www.mindspore.cn/

MindSpore論壇：https://bbs.huaweicloud.com/forum/forum-1076-1.html

代碼倉(cāng)地址：

Gitee-https://gitee.com/mindspore/mindspore

GitHub-https://github.com/mindspore-ai/mindspore

官方QQ群: 871543426

推薦專欄文章

• OCR中文項(xiàng)目綜合實(shí)踐（CTPN+CRNN+CTC Loss原理講解）
• 【項(xiàng)目實(shí)踐】多人姿態(tài)估計(jì)實(shí)踐（代碼+權(quán)重=一鍵運(yùn)行）
• 【項(xiàng)目實(shí)踐】從零開(kāi)始學(xué)習(xí)SSD目標(biāo)檢測(cè)算法訓(xùn)練自己的數(shù)據(jù)集（附注釋項(xiàng)目代碼）

更多嵌入式AI算法部署等請(qǐng)關(guān)注極術(shù)嵌入式AI專欄。

審核編輯：符乾江