我們的生物聲學基礎模型 Perch 主要是針對陸地動物進行訓練的,例如鳥類。但 Perch 2.0 在水下聲學方面展現了驚人的表現。 這是它如何幫助我們聆聽和理解海洋生態系統的 🧵
海洋是一個充滿神秘的「聲音景觀」。為了保護水下物種,我們需要大規模地識別它們。 最近,我們推出了 Perch 2.0,該系統在海洋驗證任務中表現出色——儘管在訓練中沒有使用水下音頻。
為了擴展 Perch 2.0 在水下聲音識別的能力,我們利用了遷移學習。 這個預訓練模型已經能理解聲音,因此我們只教它在過程的最後一步學習新的參數,並將其應用於新物種。
Perch 2.0 在一系列鯨魚聲音識別任務中進行了評估:區分不同的鬚鯨物種和虎鯨亞種。 與預訓練模型相比,它在每個數據集和樣本大小中始終位於表現最佳或第二最佳的模型之列。
我們相信 Perch 2.0 能夠成功地將鳥類數據轉換為水下聲音,因為它具備以下能力: 概括:它能夠專業地對未包含在訓練中的聲音進行分類。 分類相似的聲音:它被迫學習詳細的聲學特徵。 識別多樣性:識別出多種已進化出聲音的物種,卻仍然共享結構特徵。
77