Если вы изучаете ИИ, возможно, вы также слышали о появлении такого революционного явления, как капсульные сети. Начните их использовать уже сегодня!
Джеффри Хинтон известен как отец «глубокого обучения». Еще в 50-х годах появилась идея о глубоких нейронных сетях, которые в теории могли решить множество проблем. Однако никто не понимал, как реализовать машинное обучение, и люди начали сдаваться. Хинтон не останавливался, и в 1986 году показал, что идея обратного распространения может обучать глубокие сети. Однако лишь 5 лет тому назад, в 2012 году, Хинтон смог продемонстрировать свой прорыв, поскольку в то время отсутствовали нужные вычислительные мощности. Этот шаг заложил основу для прогресса в области ИИ.
И теперь, в октябре 2017 года, он выпустил документ о новой новаторской концепции Capsule Networks. Документы с подробной информацией могут быть найдены здесь и здесь.
Традиционные нейронные сети и проблемы с ними
До сих пор сверточные нейронные сети (convolutional neural network, CNN) были самым современным подходом к классификации изображений.
CNN работают, накапливая множество функций на каждом уровне. Начинается с поиска краев, затем фигур, а затем фактических объектов. Однако информация о пространственных отношениях всех функций теряется.
Это грубое упрощение, но вы можете понять принцип CNN следующим образом:
if (2 eyes && 1 nose && 1 mouth) {
It's a face!
}
Наверное, вы думаете, что все нормально и логично. Хотя мы можем столкнуться с несколькими проблемами. Например, возьмем эту фотографию Ким Кардашян, для которой соблюдены условия кода:
Ой! Определенно два глаза, нос и рот, но что-то пошло не так, правда? Ее глаз и рот расположены неправильно, и это очень странное строение лица: так видим и понимаем мы. Но даже хорошо обученный CNN испытывает трудности с этой концепцией:
В дополнение к обманутому элементами не в тех местах CNN упомянем и путаницу с другим расположением картинки. Один из способов борьбы с такой проблемой – подготовка всевозможных ракурсов, но это занимает много времени и кажется противоречивым. Мы видим существенное падение производительности, просто перевернув фото Ким вверх ногами:
Наконец, сверточные нейронные сети могут быть восприимчивы к атакам белых ящиков. Это, по сути, вложение секретного шаблона в объект.
https://www.youtube.com/watch?v=qPxlhGSG0tc
«Сверточные нейронные сети обречены» – Джеффри Хинтон
Капсульные сети как спасение!
Внедрение Capsule Networks позволяет в полной мере использовать пространственные отношения, поэтому мы наблюдаем нечто более правильное:
if (2 adjacent eyes && nose under eyes && mouth under nose) {
It's a face!
}
Заметьте, что с такой постановкой условия наша нейронная сеть не должна быть так же легко обманута деформированным лицом Кардашян.
Новая архитектура также обеспечит улучшенную точность в следующем наборе данных. Этот набор был тщательно разработан, чтобы стать полноценной задачей распознавания формы. Речь идет о способности распознавать объекты, даже если они перевернуты или показаны под другим углом. Данный способ уложил на лопатки сверточные нейронные сети, уменьшив количество ошибок на 45%.
Тренировка CapsNet
Здесь собран репозиторий, который отлично отражает результат работы Хинтона. Чтобы использовать капсульную сеть, вам нужно ее обучить. Начните с клонирования репозитория:
git clone https://github.com/bourdakos1/capsule-networks.git
И установите требования:
pip install -r requirements.txt
Начинайте тренировку!
python main.py
Набор данных MNIST содержит в себе около 60 000 изображений. По умолчанию модель будет тренироваться в течение 50 эпох. Эпоха – один полный прогон (итерация) через набор тренировок. Так как batch size равен 128, будет производиться около 468 партий в эпоху.
Обучение может занять много времени, если у вас нет GPU. Прочтите эту статью, которая позволит ускорить процесс.
Делаем выводы
Когда наша модель будет полностью подготовлена, мы сможем проверить ее, выполнив следующую команду:
python main.py --is_training False
Подведем итоги
Капсульные сети кажутся удивительными, но мы еще ничего особенного с ними не сделали. Да, при использовании огромных наборов данных возникают проблемы, но все впереди.
А еще есть отличное видео, которое стоит того, чтобы потратить на него свое время:
https://www.youtube.com/watch?time_continue=3&v=TFIMqt0yT2I
Также рекомендуем Вам посмотреть:
Лучший видеокурс по нейронным сетям на русском
Пишем свою нейросеть: пошаговое руководство
ИИ шахматы на JavaScript в 5 этапов
27 шпаргалок по машинному обучению и Python в 2017
Комментарии