Корреляции нейронного сходства ИТ с улучшенной устойчивостью к атакам белого ящика.
A) Нейронное сходство ИТ на протянутом животном и изображении нанесено на график в зависимости от точности состязательности белого ящика (PGD L∞ ϵ = 1/1020) на наборе изображений HVM, измеренном в несколько моментов времени обучения для всех условий коэффициента потерь нейронов, случайная гауссовская целевая матрица ИТ условия, а также условия целевой матрицы ИТ с перетасованными изображениями.
B) То же, что и в A, но для изображений COCO. На обоих графиках черный крест представляет собой среднее положение базовой модели, черный крестик отмечает CORnet-S, обученный злоумышленниками на изображениях HVM, а толстая синяя линия представляет собой скользящее среднее значение X, Y для всех условий просто для визуального выделения тенденций. Наносятся по пять семян для каждого условия. Предоставлено: выравнивание представлений модели и нижней височной коры макака улучшает поведенческое выравнивание модели и человека и устойчивость к состязаниям.
От камер до беспилотных автомобилей — многие современные технологии зависят от искусственного интеллекта, который извлекает смысл из визуальной информации. В основе современной технологии ИИ лежат искусственные нейронные сети, и в большинстве случаев мы можем доверять этим системам компьютерного зрения ИИ, чтобы видеть вещи так, как видим мы, но иногда они дают сбои. По мнению ученых-исследователей Массачусетского технологического института и IBM, один из способов улучшить компьютерное зрение — это научить искусственные нейронные сети, на которые они полагаются, преднамеренно имитировать то, как биологическая нейронная сеть мозга обрабатывает визуальные изображения.
Исследователи во главе с профессором Массачусетского технологического института Джеймсом ДиКарло, директором MIT Quest for Intelligence и членом Лаборатории искусственного интеллекта Watson MIT-IBM, сделали модель компьютерного зрения более надежной, обучив ее работать как часть мозг, на который люди и другие приматы полагаются при распознавании объектов. В мае этого года на Международной конференции по обучающим представлениям команда сообщила, что когда они обучили искусственную нейронную сеть, используя паттерны нейронной активности в нижней височной (ИТ) коре головного мозга, искусственная нейронная сеть смогла более надежно идентифицировать объекты на изображениях, чем модель, которой не хватало нейронной подготовки. И интерпретация изображений моделью более точно соответствовала тому, что видели люди, даже когда изображения содержали незначительные искажения, которые усложняли задачу.
Сравнение нейронных цепей
Многие из искусственных нейронных сетей, используемых для компьютерного зрения, уже напоминают многослойные нейронные цепи, обрабатывающие визуальную информацию у людей и других приматов. Подобно мозгу, они используют нейроноподобные единицы, которые работают вместе для обработки информации. По мере обучения выполнению конкретной задачи эти многоуровневые компоненты коллективно и постепенно обрабатывают визуальную информацию для выполнения задачи — определяя, например, что на изображении изображен медведь, машина или дерево.
ДиКарло и другие ранее обнаружили, что, когда такие системы компьютерного зрения с глубоким обучением создают эффективные способы решения проблем со зрением, они в конечном итоге получают искусственные схемы, которые работают аналогично нейронным схемам, обрабатывающим визуальную информацию в нашем собственном мозгу. То есть они оказались на удивление хорошими научными моделями нейронных механизмов, лежащих в основе зрения приматов и человека.
Это сходство помогает нейробиологам углублять свои знания о мозге. Демонстрируя способы обработки визуальной информации для придания смысла изображениям, вычислительные модели выдвигают гипотезы о том, как мозг может выполнять ту же задачу. По мере того как разработчики продолжают совершенствовать модели компьютерного зрения, нейробиологи находят новые идеи для изучения в своей работе.
«По мере того, как системы зрения становятся лучше в реальном мире, некоторые из них становятся более похожими на человека в своей внутренней обработке. Это полезно с точки зрения биологии понимания», – говорит ДиКарло, который также профессор мозга и когнитивных наук и исследователь Института исследований мозга Макговерна.
