Новая метрика оценки внедрения поведения: TPI (индекс временной близости). (A) Перемещение трехмерного скелета действий мыши с течением времени, при этом каждый цвет представляет стандартизированный репертуар поведения. (B) После того, как пространство для встраивания поведения создано, изучение моделей движения с течением времени может проверить качество встраивания. (C) Качество временной связности можно рассчитать по суммарному значению произведения вероятностей перехода между кластерами и расстояния между кластерами (TPI). (Слева) Частые переходы к близлежащим кластерам указывают на хорошую временную связность. (Справа) Небольшое количество переходов к соседним кластерам указывает на плохую временную связность. (D) Метод расчета индекса временной близости (TPI) для оценки временной связности пространства внедрения поведения. (E) Рабочий процесс для анализа поведения животных без присмотра. Изображение:
Международный журнал компьютерного зрения
(2024). DOI: 10.1007/s11263-024-02072-0 Схема каркаса SUBTLE. (A) Процесс получения и анализа трехмерных координат ключевых точек по движению мыши. 1) Слева показан процесс извлечения необработанных 3D-координат движений мыши с помощью AVATAR3D, а справа — процесс обработки и анализа данных 3D-координат, полученных из AVATAR3D. 2) Извлеките скелет 3D-действия с помощью аватара. 3) Извлеките кинематические характеристики и вейвлет-спектрограммы из координат ключевой точки. 4) Выполнять нелинейные алгоритмы t-SNE и UMAP; встраивание с использованием UMAP, разработанное в этом исследовании, называется SUBTLE. (Б) Результаты нелинейного картирования. На нем показаны результаты внедрения с использованием t-SNE и UMAP с увеличением количества кластеров (k). t-SNE со временем демонстрирует запутанную нитевидную форму, тогда как UMAP во времени отображает хорошо выровненную форму сетки. Кроме того, UMAP последовательно достигает более высоких показателей TPI, чем t-SNE, для всех номеров кластеров. Изображение:
Международный журнал компьютерного зрения
(2024). DOI: 10.1007/s11263-024-02072-0
Анализ поведения животных является фундаментальным инструментом в различных исследованиях, начиная от фундаментальных нейробиологических исследований и заканчивая пониманием причин и методов лечения заболеваний. Он широко применяется не только в биологических исследованиях, но и в различных областях промышленности, включая робототехнику.
Недавно были предприняты усилия по точному анализу поведения животных с помощью технологии искусственного интеллекта. Тем не менее, у ИИ по-прежнему есть ограничения на интуитивное распознавание различного поведения, как это могут делать люди-наблюдатели.
Традиционные исследования поведения животных в основном включают съемку животных одной камерой и анализ низкоразмерных данных, таких как время и частота определенных движений. Метод анализа предоставил ИИ соответствующие результаты для каждого фрагмента обучающих данных, что похоже на простое задавание ИИ вопросов вместе с ключом ответа.
Хотя этот метод прост, он требует времени и трудоемкого человеческого контроля для сбора данных. Предвзятость наблюдателя также является фактором, поскольку результаты анализа могут быть искажены субъективным суждением экспериментатора.
Чтобы преодолеть эти ограничения, совместная исследовательская группа под руководством директора К. Джастина Ли из Центра познания и социальности Института фундаментальных наук и Ча Миёнга, главного исследователя (CI) группы обработки данных в Центре исследований IBS, Специалист по математическим и вычислительным наукам (также профессор Школы вычислительной техники KAIST) разработал новый аналитический инструмент под названием SUBTLE (встраивание временных связей на основе спектрограммы и UMAP). SUBTLE классифицирует и анализирует поведение животных посредством обучения искусственного интеллекта на основе информации о трехмерных движениях.
Этот документ опубликовано в Международный журнал компьютерного зрения.
Сначала исследовательская группа записала движения мышей с помощью нескольких камер, извлекая координаты девяти ключевых точек, таких как голова, ноги и бедра, чтобы получить трехмерные данные о движении скелета с течением времени.
Затем они сократили эти данные временных рядов до двух измерений для встраивания — процесса, который создает набор векторов, соответствующих каждому фрагменту данных, что позволяет представлять сложные данные более кратко и осмысленно.
Затем исследователи сгруппировали схожие состояния поведения в субкластеры и сгруппировали эти субкластеры в суперкластеры, представляющие стандартизированные модели поведения (репертуары), такие как ходьба, стояние, уход за собой и т. д.
В ходе этого процесса они предложили новую метрику под названием «Индекс временной близости» (TPI) для оценки кластеров данных о поведении. Эта метрика измеряет, включает ли каждый кластер одно и то же состояние поведения и эффективно представляет временные движения, подобно тому, как люди считают временную информацию важной при классификации поведения.
CI Cha Meeyoung заявил: «Внедрение новых показателей оценки и контрольных данных для помощи в автоматизации классификации поведения животных является результатом сотрудничества нейробиологии и науки о данных. Мы ожидаем, что этот алгоритм будет полезен в различных отраслях, требующих распознавания моделей поведения. , включая индустрию робототехники, целью которой является имитация движений животных».
Директор Джастин Ли, руководивший этим исследованием, сказал: «Мы разработали эффективную систему анализа поведения, которая сводит к минимуму вмешательство человека и одновременно позволяет понять сложное поведение животных за счет применения механизмов распознавания моделей поведения человека. Эта система имеет важные промышленные применения и также может быть использована». как инструмент для более глубокого понимания принципов распознавания поведения в мозге».
Кроме того, в апреле прошлого года исследовательская группа передала технологию SUBTLE компании Actnova, специализирующейся на анализе клинических и доклинических тестов поведения на основе искусственного интеллекта. Для этого исследования команда использовала систему анализа поведения животных Actnova AVATAR3D, чтобы получить трехмерные данные о движении животных.
Исследовательская группа также сделала код SUBTLE открытым, а удобный графический интерфейс (GUI) для облегчения анализа поведения животных доступен через ТОНКИЙ веб-сервис для исследователей, не знакомых с программированием.
Предоставлено Институтом фундаментальных наук