“鐵蛋鐵蛋，握個手”

“鐵蛋鐵蛋，作個揖”

“鐵蛋鐵蛋，跳支舞”

作為小米科技園里的新晉團(tuán)寵，鐵蛋都有哪些秘密功能？如果擁有一只鐵蛋，你將會獲得怎么樣的新奇體驗？

這次，我們邀請了幾位初入職場的小米同學(xué)，一起來體驗擁有鐵蛋的一天。每個同學(xué)都可以認(rèn)領(lǐng)一只屬于自己的鐵蛋，他們將攜鐵蛋一起，通過闖關(guān)的方式，去解鎖鐵蛋的技術(shù)盲盒。當(dāng)智能的鐵蛋和熱愛技術(shù)的同學(xué)強(qiáng)強(qiáng)聯(lián)手，他們會帶來哪些精彩的技術(shù)故事呢？

小米鐵蛋這些神秘超能力的背后都有哪些秘密？來看看工程師們的介紹！

Q：鐵蛋的相機(jī)技術(shù)應(yīng)用在哪些方面？能實現(xiàn)哪些功能？

A：基于小米自研的人體檢測、人體重識別、人臉檢測識別、室內(nèi)建圖導(dǎo)航等算法的應(yīng)用，鐵蛋可以實現(xiàn)人臉識別、智能跟隨、自主避障，以及拍照、錄像等功能。

在跟隨時，結(jié)合人體ReID算法，可以對主人進(jìn)行實時跟隨；當(dāng)目標(biāo)人體脫離鐵蛋可視范圍（如拐角），再次出現(xiàn)時，鐵蛋依舊能夠準(zhǔn)確的識別和跟隨；當(dāng)有其他人出現(xiàn)在主人和鐵蛋中間時，也不會誤跟蹤到路人身上。

此外，鐵蛋可實現(xiàn)自動規(guī)劃到下一目標(biāo)點的前進(jìn)路線，并在導(dǎo)航運(yùn)動過程中自主規(guī)避遇到的障礙物。

Q：為什么鐵蛋能夠做到快速、準(zhǔn)確的識別主人？

A：鐵蛋頭部配備了一顆1300萬像素的廣角相機(jī)，根據(jù)鐵蛋和人體的相對高度，我們設(shè)計了一個合適的仰角，使機(jī)器狗可以最大化的捕捉到前方的人臉和人體信息。用戶在拿到鐵蛋的第一時間，可以通過APP錄入主人的人臉特征信息，因此鐵蛋就可以通過視覺算法對畫面中出現(xiàn)的每一個人進(jìn)行比對識別，這樣鐵蛋就可以通過人臉來識別主人了。

小米自研的人臉識別算法是基于最新的深度學(xué)習(xí)算法，可實現(xiàn)實時對輸入畫面進(jìn)行人臉檢測，當(dāng)檢測到人臉后對人臉上關(guān)鍵點，進(jìn)行識別和分析最終對每一個人進(jìn)行ID識別。目前人臉關(guān)鍵點最高可支持216個，擁有百萬級的訓(xùn)練數(shù)據(jù)，速度極快，只需要2毫秒。

Q：當(dāng)主人在人群復(fù)雜場景移動時，為什么鐵蛋能夠?qū)崟r準(zhǔn)確的跟隨主人？同時能夠自主避障？

A：鐵蛋配備的AI交互相機(jī)和2個150°的超廣角魚眼相機(jī)，搭配深度攝像模組，使得鐵蛋具有超強(qiáng)的視覺空間感知能力，為鐵蛋的智能跟隨功能奠定了硬件基礎(chǔ)。鐵蛋的自主跟隨功能是多個算法模塊協(xié)作完成的，涉及的軟件算法模塊包括：人臉識別、人形檢測、人體ReID、人體位置計算、SLAM建圖、路徑規(guī)劃、導(dǎo)航避障等算法模塊。

鐵蛋在開啟主人跟隨模式后，首先通過人臉識別將主人和人體對應(yīng)起來，在跟隨的過程中實時進(jìn)行人體ReID保證鐵蛋不會被陌生人領(lǐng)走；在跟隨前行過程中，我們會實時計算主人與鐵蛋的相對位置關(guān)系，計算主人的前行速度并預(yù)測主人的行徑路，根據(jù)這些信息鐵蛋會實時的調(diào)整自己的速度和方向以實現(xiàn)智能的等距跟隨，特別是當(dāng)主人前進(jìn)過快，或者拐彎鐵蛋會通過語音提示主人。在跟隨前行過程中，鐵蛋會實時的進(jìn)行SLAM導(dǎo)航避障，跟隨過程中鐵蛋檢測到前方有障礙物時，會根據(jù)地圖進(jìn)行局部的路徑規(guī)劃和導(dǎo)航，自主的繞開障礙物，找到一條最優(yōu)的路徑跟上主人的步伐。

Q：鐵蛋是怎么做到認(rèn)識路的？

A：鐵蛋具有自主定位導(dǎo)航的功能。在鐵蛋頭部裝有AI交互相機(jī)、雙目超廣角相機(jī)、Intel Realsense D450深度攝像頭等傳感器。利用這些傳感器通過SLAM技術(shù)實現(xiàn)鐵蛋的定位和環(huán)境感知，建立導(dǎo)航地圖。通過APP，用戶可查看地圖，選擇目的地。目的地確認(rèn)后，鐵蛋通過導(dǎo)航規(guī)劃技術(shù)可自動規(guī)劃到目標(biāo)點的前進(jìn)路線，并自主規(guī)避運(yùn)動過程中遇到的障礙物。簡單講就是，SLAM技術(shù)告訴鐵蛋你在哪兒，你周圍環(huán)境是什么樣。導(dǎo)航告訴鐵蛋你去哪兒，以及怎么去。

Q：在復(fù)雜環(huán)境里中準(zhǔn)確尋找到物品，鐵蛋是如何做到的？

A：鐵蛋有探索未知環(huán)境和目標(biāo)檢測功能，實現(xiàn)邊走邊找的功能。利用頭部視覺模組實時感知局部環(huán)境，發(fā)現(xiàn)環(huán)境中邊界和可通行區(qū)域，同時，在行走過程中不斷通過目標(biāo)檢測算法來對場景中的物體進(jìn)行實時的定位及分類，檢測到場景中有特定物品時，把此位置作為導(dǎo)航目標(biāo)，規(guī)劃出一條可行路徑并走過去。

Q：開發(fā)過程中最大的挑戰(zhàn)是什么？

A：第一點：從0到1，歷時10個月完成了小米第一代四足機(jī)器人視覺功能的技術(shù)預(yù)研與量產(chǎn)交付；

第二點：基于NVIDIA平臺而非我們熟悉或者有一定積累的高通平臺，在此過程中我們一邊擴(kuò)大團(tuán)隊，一邊學(xué)、探索和開發(fā)，大部分的算法都是自己開發(fā)的，過程非常艱辛；

第三點：鐵蛋是第一個直播發(fā)布的仿生機(jī)器人平臺，量產(chǎn)并發(fā)售給普通用戶的機(jī)器人平臺，在安全性和可靠性方面，我們做了充足的工作。

Q：鐵蛋未來還會有可能開發(fā)出哪些功能？

A：鐵蛋匯集了小米的核心技術(shù)積累，包括但不限于機(jī)器學(xué)習(xí)、生物識別、計算機(jī)視覺等。在高端硬件模組和多種軟件算法的應(yīng)用下，鐵蛋可以實現(xiàn)更真實的生物反應(yīng)以及環(huán)境觀察和辨識能力。未來，在視覺交互層面，我們將會創(chuàng)造更有趣的玩法，開辟更多新功能，讓鐵蛋的交互場景也更加豐富；并會不斷的開發(fā)和優(yōu)化適合鐵蛋平臺的SLAM和導(dǎo)航的算法框架，使其有更優(yōu)異的性能，在復(fù)雜的環(huán)境下依舊具備精準(zhǔn)的建圖定位能力和導(dǎo)航避障能力。此外，機(jī)器視覺、導(dǎo)航避障、人機(jī)交互、Al語音算法等技術(shù)可以反哺手機(jī)、智能家居等產(chǎn)品。

劉慈欣表示：“科技與科幻都是人類想象力的延伸，和人類未來的生活息息相關(guān)?？萍荚诤芏喾矫鎸⒖苹米兂涩F(xiàn)實?！?/p>

鐵蛋融合了仿生機(jī)器人的特性，在動物屬性上增加了高科技的智能算法，賦予它人類最期待的智能功能，包括但不限于機(jī)器學(xué)習(xí)、生物識別、計算機(jī)視覺等，支持超感視覺探知系統(tǒng)，是科技和現(xiàn)實載體的結(jié)合。基于小米自研的人臉識別、人體檢測、室內(nèi)建圖導(dǎo)航等算法的應(yīng)用，內(nèi)置高性能超感視覺探知系統(tǒng)和AI語音交互系統(tǒng)，搭配深度攝像模組，使得鐵蛋具有科技感的同時，兼具真實的生物反應(yīng)。

我是Cyberdog鐵蛋，未來我會不斷學(xué)習(xí)更多的技能，融入更多的前沿新興科技，變成一個“全能鐵蛋”，讓全球每個人都能享受科技帶來的美好生活，請大家敬請期待吧！

原文標(biāo)題：聽說，有人向鐵蛋發(fā)起了挑戰(zhàn)

文章出處：【微信公眾號：小米公司】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。
責(zé)任編輯:pj