你喜歡合成器驅(qū)動的樂隊，比如 Depche Mode 、 Erasure 或 Kraftwerk 嗎？你想過在家里用合成器創(chuàng)作自己的音樂有多酷嗎？如果在NVIDIA 的幫助下，這一過程能得到加強(qiáng)呢 Jetson 納米 ？

最新的 Jetson 本月最佳項目 已經(jīng)找到了一種方法來實(shí)現(xiàn)這一點(diǎn)，將 Eurorack synthesizer 與 Jetson 納米結(jié)合起來，創(chuàng)造了 Neurorack 。這款音樂音頻合成器是第一款將深度生成模型的強(qiáng)大功能與 Eurorack 機(jī)器的緊湊性相結(jié)合的產(chǎn)品。

“這個項目的目標(biāo)是設(shè)計下一代樂器，為音樂家提供一種新的工具，同時增強(qiáng)音樂家的創(chuàng)造力。它提出了一種新的思考和創(chuàng)作音樂的方法，”這些應(yīng)用程序開發(fā)人員指出，他們是人工創(chuàng)造智能和數(shù)據(jù)科學(xué)（［about］ and compose music ，” noted the app developers ， who are members of Artificial Creative Intelligence and Data Science （ ACIDS ）小組的成員，總部設(shè)在法國巴黎的 IRCAM 實(shí)驗室?！拔覀兩钚?a target="_blank">人工智能可以用來實(shí)現(xiàn)這一目標(biāo)?！?/p>

Neurorack 的實(shí)時功能依賴于 Jetson Nano 的處理能力和 尼農(nóng)·戴夫的研究 制作訓(xùn)練模型，這些模型在計算和內(nèi)存占用方面都很輕。

“我們最初的夢想是找到一種方法，將深度模型小型化，并允許它們嵌入嵌入式音頻硬件和合成器中。由于我們對各種形式的合成器都充滿熱情，尤其是Eurorack，我們認(rèn)為直接使用這種格式是有意義的，因為它更有趣Nano從一開始就是我們的首選…它讓我們能夠在不損失音質(zhì)的情況下依賴深度模型，同時保持實(shí)時性限制，”Devis說。

開發(fā)商在接近該項目時有幾個關(guān)鍵的設(shè)計考慮，包括：

音樂性：選擇的生成模型可以產(chǎn)生不使用樣本就無法合成的聲音。

可控性：他們選擇的界面方便且易于操作。

實(shí)時性：硬件的行為就像傳統(tǒng)的合成器，并且同樣具有反應(yīng)性。

獨(dú)立功能：無需電腦即可播放。

正如開發(fā)人員在他們的 NVIDIA 開發(fā)者論壇帖子 中提到的這個項目：“該模型基于一種改進(jìn)的神經(jīng)源濾波器架構(gòu)，它允許基于描述符的打擊聲音實(shí)時合成?！?/p>

Neurorack 使用 PyTorch 深度音頻合成模型（見圖 1 ）生成通常需要樣本的聲音，易于操作，不需要單獨(dú)的計算機(jī)。

圖 1 ： diagram 顯示模塊的總體結(jié)構(gòu)以及硬件和軟件（綠色）組件之間的關(guān)系。

硬件具有四個控制電壓（ CV ）輸入和兩個門（以及用于處理菜單的屏幕、旋轉(zhuǎn)和按鈕），它們都與特定的 Python 庫通信。這些控件（以及模塊本身）的行為高度依賴于嵌入的深層模型的類型。對于 Neurorack 的第一個版本，開發(fā)人員實(shí)現(xiàn)了一個基于描述符的沖擊聲音生成器，如他們的 GitHub 文檔 中所述。

Eurorack 的硬件和軟件是由 ACIS 團(tuán)隊的 Ninon Devis 、 Philippe Esling 和 Martin Vert 共同開發(fā)的。根據(jù)他們 網(wǎng)站 的說法， ACIDS “一心想通過開發(fā)創(chuàng)新的人工智能模型來模擬音樂創(chuàng)造力?！?/p>

項目代碼和硬件設(shè)計是免費(fèi)的、開源的，可在 GitHub repository 中獲得。

該團(tuán)隊希望讓音樂家和對人工智能/嵌入式計算感興趣的人也能訪問該項目。

“我們希望這個項目能引起兩個社區(qū)的興趣！現(xiàn)在復(fù)制這個項目有點(diǎn)技術(shù)性，但我們將致力于簡化部署，希望能找到其他像我們這樣奇怪的人，” Devis 說?！拔覀儓孕?，為音樂開發(fā)機(jī)器學(xué)習(xí)模型的一個關(guān)鍵方面將導(dǎo)致賦予創(chuàng)造性表達(dá)能力，即使對非專家也是如此?！?/p>

兩名團(tuán)隊成員 Devis 和 Esling 使用他們開發(fā)的樂器組建了一支樂隊。他們目前正在制作一部全長的真人秀，將以 Neurorack 為特色，并計劃在今年 4 月的下一場 法國綜合藝術(shù)節(jié) 中表演。

關(guān)于作者

Jason Black是 NVIDIA 的自主機(jī)器營銷和通信高級經(jīng)理。作為過去 25 年的作家和編輯，他喜歡在流行語背后尋找故事的核心。看到機(jī)器人 MIG 把他帶到哪里，他很興奮。

審核編輯：郭婷