只需 1 分鐘,這個網站用 AI 分離歌曲的人聲、伴奏和樂器聲

csdn 發佈 2020-02-11T18:22:21+00:00

整理| Just出品 | AI科技大本營疫情期間,在家待著閒來無事,一些技術人員就喜歡以技術的方式找點樂子,順帶賺錢最好了。

整理 | Just

出品 | AI科技大本營(ID:rgznai100)

疫情期間,在家待著閒來無事,一些技術人員就喜歡以技術的方式找點樂子,順帶賺錢最好了。

將歌曲中的人聲和樂器聲分離是一件讓想使用音樂伴奏的人頭疼的事情,傳統的音樂製作軟體使用門檻較高,處理起來不光費時而且效果不一定好。

糰子DanGo.ai(https://dango.ai/)——微博網友@無吔學生近期利用AI技術做的這個能分離音頻軌道的網站火了。

在音樂分離這一領域,實際上已經有一些免費的AI工具。比如,由法國音樂流媒體服務公司Deezer為研究目的而開發的Spleeter開源工具,只需要提供一個音頻文件,然後Spleeter就會將它分成兩個、四個或五個獨立的音軌,非常有用。

糰子DanGo.ai就是基於Spleeter開源工具做的。利用AI技術並通過上千首歌曲數據的訓練,用戶只需要上傳歌曲,等待1分鐘,目前就可以提取歌曲中的伴奏、人聲、鋼琴、貝斯、鼓點等多音軌壓縮文件,效果要好於Au或者GoldWave之類的傳統音頻處理軟體。

@無吔學生表示,這是他禿了一個月頭的成果。

據網站作者介紹。糰子主要由基於MIT協議的開源項目Spleeter製作的,同時在其之上增加了一些功能魔改使效率與音質得到提升。糰子基於深度神經網絡(DNN)實現的音軌分離所誕生的人工智慧,它使用Python/Tensorflow開發。

那麼,糰子 DanGo.ai 與傳統的音樂分離軟體有什麼不同?

一般而言,傳統音樂分離軟體所謂的「消音」一般是簡單的帶阻濾波,用人話說就是把人聲所在的頻率直接暴力擦除,這就會導致消音後的歌曲變得特別「糊」——表現為鼓點、某些樂器的消失。作者解釋,這是因為人聲會和某些相同頻率的樂器重疊,單純的摳除這個頻率,不光會消除人聲,也會消除在這個頻率里的樂器。而根據歌曲的不同,人聲/和聲所在的頻率也並非固定,這就導致提取出的伴奏不但效果糟糕,而且仍然帶著部分殘餘的人聲。

「當然,也有一些人發現,歌曲中的人聲錄音一般是單聲道的,而歌曲的樂器未必是這樣。於是人們也嘗試使用左右聲道「相減」(如Au中的中置聲道提取器)來提取伴奏或人聲。但是提取的效果基本仍然很差,因為無法保證樂器不是多聲道的,也無法保證人聲是否被混音師加了後期處理效果器而變成多聲道,所以它並不適合多數歌曲(尤其是現代音樂)。」

作者稱,糰子DanGo.ai 則不用考慮上述讓人心智損傷的事情。該軟體用了大量的音樂數據進行訓練,「我們可以把糰子想像成一個大腦——我們讓它聽了非常多的歌曲用來「訓練」它。現在它非常懂得歌曲,理解歌曲中各個樂器的存在,也能謹慎細心的剝離開人聲和伴奏,從而最大程度的保留各個音軌的質量。」

目前,用戶可用糰子 DanGo.ai 網站試聽5首分離的多音軌歌曲。當然,如果你想要更多高質量的生成歌曲還需付費,付費歌曲會保留30天的歌曲文件讓用戶下載。

最後給出作者的製作網站的一個demo視頻,可以聽出歌曲不同多音軌的效果,你感受下?


☞「瘟疫」籠罩下的物聯網危與機

☞一文看懂全排列算法!

☞JavaScript 造就年薪超過 10 萬美元的開發者們!

☞只需1分鐘,這個網站用AI分離歌曲的人聲、伴奏和樂器聲

☞想要AI優先?數據優先才行

☞10 大趨勢帶你預見 DeFi 2020!

關鍵字: