Спайковые нейронные сети (далее — СНС, т. е. нейросети, передающие информацию во времени с помощью импульсов) требуют временного входа, тогда как в задачах компьютерного зрения данные чаще заданы статическими изображениями. В работе рассмотрено преобразование вида «изображение – временной сигнал – импульсы» и исследовано влияние способа входного кодирования на динамику обучения СНС, плотность импульсной активности и вычислительную стоимость обработки. В экспериментальной части реализованы и сопоставлены два семейства кодирования: кодирование по времени первого импульса (Latency) и пуассоновское кодирование по интенсивности (Poisson); для них рассмотрены четыре режима: базовый Latency без подавления фона, модифицированный Latency с порогом тишины, стохастический Poisson и детерминированный Poisson. В качестве метрик использованы среднее число импульсов на пример, число синаптических операций, прокси-показатель энергозатрат и характеристики конкуренции нейронов скрытого слоя. Эксперименты на наборе MNIST (60000 обучающих и 10000 тестовых изображений) для сети со скрытым слоем из 100 нейронов и горизонтом моделирования 200 шагов показали, что все исследованные режимы обеспечивают устойчивое обучение без коллапса активности. При этом модифицированный Latency с порогом тишины
 оказался наиболее эффективным по соотношению «полезная активность — вычислительная стоимость»: при количестве спайков на один пример 323.41 для него число синаптических операций составило 14295.09, тогда как базовый Latency без фильтрации фона при близкой выходной активности (311.22 импульса на пример) потребовал 78400 синаптических операций.

Сталь в наши дни является одним из важнейших производственных материалов, который используется повсеместно, от медицины до промышленных отраслей. Своевременное обнаружение и распознавание дефектов на стальных листах после проката – одна из ключевых проблем этого производства с учетом его сложности и необходимости затрат большого количества времени на проведение вручную проверок каждого листа и каждой заготовки. Одними из целей настоящей работы были автоматизация и упрощение данного процесса. Для решения соответствующих задач была использована, в первую очередь, модель сверточной нейронной сети под названием UNet, которая уже зарекомендовала себя как отличный инструмент решения таких задач — при высокой результативности она требует меньшего количества учебных данных. В основе этой модели лежат последовательная, производимая в несколько шагов свертка изображения до приемлемого размера (иными словами, сжатие или кодирование), а затем развертка, восстановление изображения к исходному размеру и соотношению сторон, после чего на выходе будет получена маска изображения с классами элементов, которые необходимо было найти. В дополнение к этой нейронной сети в качестве кодирующего (сворачивающего) слоя была использована другая модель — ResNet34, предварительно обученная на датасете (наборе данных) ImageNet1000. В этой модели также был модифицирован выходной слой — вместо 34 слоев с классами на выходе возвращалось лишь 4, что сократило время обработки и позволило использовать наиболее удачные определения в результатах. Используя данный подход и проведя все необходимые проверки, при подведении итогов, мы получили результат в 94,8% точности определения дефектов на стальных листах.

Исследована задача построения отображения между спайковой активностью сверточной спайковой нейронной сети и классом входного изображения. Такая задача появляется после обучения сети без учителя: сверточный слой формирует событийное представление изображения, но сама сеть не содержит готового механизма выдачи метки класса. В работе проведена проверка, насколько информативны счетчики спайков сверточного слоя после обучения по правилу STDP (пластичность, зависящая от времени возникновения импульсов, – биологически правдоподобное правило обучения для импульсных (спайковых) нейронных сетей), и оценено качество линейного считывающего классификатора при увеличении числа обучающих предъявлений.

Эксперименты проведены на наборе MNIST – стандартном наборе изображений рукописных цифр. Использована однослойная архитектура: один сверточный слой с 32 картами признаков, ядром 5 × 5 и выходной размерностью 32 × 24 × 24, что соответствует 18432 нейронам LIF (модель «интегратор с утечкой и порогом»). Входные изображения кодировались детерминированным пуассоновским кодировщиком; мультипликатор пуассоновского кодирования был равен 0.006. Длительность предъявления (время демонстрации объекта сети) составляла 100 тактов. Обучение выполнялось по правилу STDP с нуля, без возобновления из ранее сохраненного состояния. Для оценки использовался протокол сбора счетчиков спайков на 10000 обучающих и 10000 тестовых изображениях.

В основном эксперименте при 15000 обучающих предъявлениях STDP достигнута точность 0.8883. Базовый способ по карте меток, близкий к методу Diehl и Cook, в той же конфигурации дал около 0,48. Покрытие калиброванной карты меток составило 219 из 18432 нейронов, средняя активность – 4146.9416 спайка на изображение. Соседняя точка масштаба при 10000 обучающих предъявлениях дала точность 0.8876. Полученные результаты показывают, что выбранный способ считывания активности существенно влияет на итоговое качество классификации: линейный считывающий классификатор по полному вектору счетчиков сети извлекает распределенную информацию, которая теряется при простом назначении меток отдельным нейронам.