科學(xué)家用深度學(xué)習(xí)技術(shù)識(shí)別中西方古典音樂(lè)之間的異同
事實(shí)證明,深度學(xué)習(xí)技術(shù)對(duì)于分析各種數(shù)據(jù)(從圖像到文本,在線帖子和錄音)非常有用。這些技術(shù)旨在識(shí)別大型數(shù)據(jù)集中的模式,將不同類別的項(xiàng)目分開(kāi),并使預(yù)測(cè)比人類快得多。
在最近的一項(xiàng)研究中,西蒙弗雷澤大學(xué),中央研究院和達(dá)特茅斯學(xué)院的研究人員已經(jīng)應(yīng)用深度學(xué)習(xí)技術(shù)來(lái)識(shí)別中西方古典音樂(lè)之間的異同。他們的論文預(yù)先發(fā)表在arXiv上,論文寫到,他們使用聲音事件檢測(cè)(SED)和音景情感識(shí)別(SER)模型對(duì)音樂(lè)錄音進(jìn)行了比較分析。
進(jìn)行這項(xiàng)研究的研究人員之一范建宇告訴記者:“我們聽(tīng)過(guò)中西古典音樂(lè)。” “我們認(rèn)為有幾個(gè)因素使中國(guó)音樂(lè)不同于西方音樂(lè),包括其潛在的文化,哲學(xué)和思維方式。這就是為什么我們對(duì)比較中西方音樂(lè)的研究非常感興趣。”
用于分析音樂(lè)記錄的深度學(xué)習(xí)模型有時(shí)可能會(huì)表現(xiàn)不佳,因?yàn)樗鼈冸y以學(xué)習(xí)高級(jí)信息中的模式,例如歌曲的旋律,和聲等。為了克服先前研究中遇到的局限性,F(xiàn)an和他的同事應(yīng)用了音景模型用于分析中西方古典音樂(lè),以評(píng)估它們?cè)谧R(shí)別兩個(gè)子流派之間的異同方面的有效性。
西方古典音樂(lè)情感注解的分布。
最初,研究人員編輯了兩個(gè)帶注釋的數(shù)據(jù)集,分別包含WCMED和CCMED,其中包含中西音樂(lè)的錄音。隨后,他們分別在這些數(shù)據(jù)集上訓(xùn)練了預(yù)訓(xùn)練的SED和預(yù)訓(xùn)練的SER 模型,并將它們與支持向量回歸(SVR)模型結(jié)合在一起。SED模型旨在檢測(cè)音頻信號(hào)中的聲音事件,而SER模型則經(jīng)過(guò)訓(xùn)練以識(shí)別聲景錄音所傳達(dá)的情感。
范解釋說(shuō):“雖然以前的音樂(lè)研究主要使用基于音樂(lè)的模型,但我們很好奇是否可以將經(jīng)過(guò)通用音景訓(xùn)練的模型用于分析音樂(lè),以及它們對(duì)于中西方古典音樂(lè)有何不同! “因此,我們嘗試使用基于一般聲音的兩個(gè)模型:聲音事件檢測(cè)模型和音景情感識(shí)別模型!
研究人員使用轉(zhuǎn)移學(xué)習(xí)技術(shù)來(lái)提取聲音的高級(jí)表示。然后,他們使用這些表示來(lái)訓(xùn)練他們的音樂(lè)情感識(shí)別模型,以檢測(cè)音樂(lè)錄音傳達(dá)的情感。由于對(duì)他們的模型進(jìn)行了預(yù)訓(xùn)練以概括聲音的特征,因此他們發(fā)現(xiàn),與簡(jiǎn)單的模型結(jié)合使用時(shí),這些表示效果更好,尤其是對(duì)于中國(guó)古典音樂(lè)的分析。研究人員還在他們創(chuàng)建的數(shù)據(jù)集上訓(xùn)練了深度學(xué)習(xí)分類器,并針對(duì)中西歌曲的特定特征進(jìn)行了進(jìn)一步的分析。
“我們的目標(biāo)是使用預(yù)先訓(xùn)練的音景模型來(lái)分析和比較中西方古典音樂(lè),因此我們并不希望該模型能夠完美地適用于不同類型的音頻和不同類型的任務(wù),”范說(shuō)。“但是,我們的結(jié)果表明,使用音景模型可以有效地預(yù)測(cè)中西方古典音樂(lè)的喚起。”
中國(guó)古典音樂(lè)情感注解的分布。
Fan和他的同事收集的發(fā)現(xiàn)表明,SED和SER模型是用于分析音樂(lè)錄音的有前途的工具。有趣的是,使用這些技術(shù)對(duì)中西方古典音樂(lè)進(jìn)行的比較分析得出的結(jié)果與中國(guó)音樂(lè)理論家提出的觀點(diǎn)一致。
研究人員還觀察到,他們的深度學(xué)習(xí)分類器將音景錄音識(shí)別為中國(guó)古典音樂(lè)。這表明,音景錄音通常與中國(guó)古典音樂(lè)比與西方古典音樂(lè)有更多相似之處。
范說(shuō):“我們的研究表明,中國(guó)古典音樂(lè)與音景唱片之間存在某些相似之處! 這些結(jié)果與中國(guó)音樂(lè)學(xué)家和中國(guó)古典音樂(lè)哲學(xué)家的報(bào)道一致!
將來(lái),這組研究人員進(jìn)行的研究可能會(huì)啟發(fā)其他基于音景模型分析比較不同流派音樂(lè)的研究。同時(shí),范和他的同事計(jì)劃繼續(xù)使用深度學(xué)習(xí)方法研究中西方音樂(lè)之間的異同,同時(shí)嘗試建立可以自動(dòng)組成新古典音樂(lè)的模型。
中音在線:在線音樂(lè)學(xué)習(xí)門戶