Наша модель биоакустики, основанная на Perch, была обучена в основном на наземных животных - таких как птицы. Но Perch 2.0 демонстрирует невероятные результаты в области подводной акустики. Вот как она помогает нам слушать и понимать морские экосистемы 🧵

Океан — это «звуковая картина» тайны. Чтобы защитить подводные виды, нам нужно идентифицировать их в большом масштабе. Недавно мы запустили Perch 2.0, который отлично справляется с задачами морской валидации — несмотря на отсутствие подводного аудио в обучении.

Чтобы расширить возможности Perch 2.0 для идентификации подводных звуков, мы использовали трансферное обучение. Предобученная модель уже может понимать звук, поэтому мы обучаем её новым параметрам только на финальном этапе процесса, применяя это к новому виду.

Perch 2.0 был оценен по ряду задач вокализации китов: различение различных видов усатых китов и подгрупп косаток. По сравнению с предобученными моделями, он стабильно занимал первое или второе место среди всех моделей для каждого набора данных и размера выборки.

Мы считаем, что Perch 2.0 так успешно передает данные о птицах в подводные звуки благодаря своей способности: Обобщать: он может мастерски классифицировать звуки, не включенные в его обучение. Классифицировать похожие звуки: он вынужден изучать детализированные акустические характеристики. Признавать разнообразие: определять различные виды, которые развили вокализации, но все же имеют общие структурные характеристики.