谷歌最新AI實(shí)驗(yàn)項(xiàng)目，根據(jù)用戶(hù)指揮動(dòng)作實(shí)時(shí)生成交響樂(lè)，圓你一個(gè)指揮家的夢(mèng)！只需一個(gè)攝像頭，瀏覽器內(nèi)即可運(yùn)行，快來(lái)試試吧！

如果你是一位古典樂(lè)發(fā)燒友，而且有做樂(lè)團(tuán)指揮的夢(mèng)想，聽(tīng)見(jiàn)古典樂(lè)就走不動(dòng)道，就算沒(méi)有樂(lè)隊(duì)，也能自己對(duì)著空氣手舞足蹈指揮一番，那么恭喜你，谷歌最新的人工智能實(shí)驗(yàn)項(xiàng)目簡(jiǎn)直就是為你量身定制的。而且，不用擔(dān)心旁邊有人對(duì)你指手畫(huà)腳。

這個(gè)項(xiàng)目名為“半導(dǎo)體”，其中融合了谷歌過(guò)去一系列機(jī)器學(xué)習(xí)實(shí)驗(yàn)中的最新成果。包括AIDuet（邀請(qǐng)用戶(hù)在瀏覽器中播放虛擬鋼琴演奏，并提供虛擬伴奏），以及AutoDraw（可以解釋用戶(hù)繪制的粗糙涂鴉是什么，并將這些畫(huà)作轉(zhuǎn)變成為整潔的剪貼畫(huà)）。

該項(xiàng)目可以跟蹤用戶(hù)的動(dòng)作，就像用戶(hù)在真正的管弦樂(lè)隊(duì)前揮舞雙手一樣，并根據(jù)對(duì)用戶(hù)動(dòng)作的分析結(jié)果，實(shí)時(shí)生成一段交響樂(lè)。

想試試嗎？只需在谷歌瀏覽器中啟動(dòng)“半導(dǎo)體”，允許其訪問(wèn)網(wǎng)絡(luò)攝像頭權(quán)限，然后面向攝像頭后退一步，直到你的手臂位于屏幕內(nèi)的框架中，就可以開(kāi)始指揮自己的“樂(lè)隊(duì)”了。不一定非要使用傳統(tǒng)的指揮手勢(shì)，本項(xiàng)目會(huì)提供建議提示，幫助你一路順利完成指揮。

全程無(wú)需指揮棒隨意放飛自我

本項(xiàng)目背后的核心技術(shù)是PoseNet，這是一種面向姿勢(shì)估計(jì)的機(jī)器學(xué)習(xí)模型，可以在瀏覽器中對(duì)人的姿勢(shì)和動(dòng)作進(jìn)行分析和估計(jì)。它無(wú)需任何專(zhuān)門(mén)的硬件或軟件，即可檢測(cè)到圖像和視頻中的人物形象。

最重要的是，因?yàn)樗刑幚矶荚跒g覽器中進(jìn)行，所以無(wú)需向Google或其他任何人發(fā)送任何數(shù)據(jù)，因此你可以完全自?shī)首詷?lè)，無(wú)需擔(dān)心由于數(shù)據(jù)泄露引發(fā)的一些不必要的尷尬。

這個(gè)項(xiàng)目可讓用戶(hù)通過(guò)瀏覽器管理自己的管弦樂(lè)隊(duì)。你可以通過(guò)移動(dòng)手臂，來(lái)改變交響樂(lè)的速度、音量和樂(lè)器種類(lèi)。該項(xiàng)目使用PoseNet，這是一個(gè)可在瀏覽器中使用的機(jī)器學(xué)習(xí)庫(kù)，通過(guò)網(wǎng)絡(luò)攝像頭捕捉動(dòng)作。

PoseNet使用來(lái)自現(xiàn)場(chǎng)樂(lè)器演奏時(shí)錄制的數(shù)百個(gè)微小音頻文件，算法會(huì)根據(jù)捕捉到的動(dòng)作信息播放這些音頻。

關(guān)于PoseNet和姿勢(shì)估計(jì)

姿勢(shì)估計(jì)指的是檢測(cè)圖像和視頻中的人物形象的計(jì)算機(jī)視覺(jué)技術(shù)，比如可以確定某人的肘部出現(xiàn)在圖像中的位置。需要明確的是，這項(xiàng)技術(shù)無(wú)法識(shí)別圖像中的人物身份。該算法僅僅是估計(jì)關(guān)鍵身體的關(guān)節(jié)在圖像中的相對(duì)位置。

姿勢(shì)估計(jì)有許多用途，比如用于基于身體反應(yīng)的交互式裝置，以及增強(qiáng)現(xiàn)實(shí)設(shè)備、動(dòng)畫(huà)制作、健身等用途。過(guò)去，雖然許多的姿勢(shì)檢測(cè)系統(tǒng)是開(kāi)源的，但都需要專(zhuān)門(mén)的硬件或攝像頭，以及相當(dāng)繁復(fù)的系統(tǒng)設(shè)置。

由于TensorFlow.js上的PoseNet在可瀏覽器中運(yùn)行，只要有網(wǎng)絡(luò)攝像頭，任何人都能在瀏覽器中體驗(yàn)這項(xiàng)技術(shù)。目前該模型已經(jīng)開(kāi)源，Javascript的開(kāi)發(fā)人員只需幾行代碼即可使用。更重要的是，這實(shí)際上可以更好地保護(hù)用戶(hù)的隱私。