Специалисты из Google создали крупнейшую нейронную сеть. После серии экспериментов сеть заинтересовалась котами. Результаты ученые изложили в публикации (pdf), приуроченной к 29-й конференции по машинному обучению в Эдинбурге.
Существующие в настоящее время алгоритмы машинного обучения основаны на анализе огромного количества экспериментальных данных. Например, чтобы натренировать систему на визуальное распознание мотоциклов на фото, необходимо "скормить" ей множество фотографий, обозначенных как "мотоциклы". Такие системы используются для распознавания устной речи, анализа изображений, проверки сообщений на спам.
Вместе с тем, предварительная сортировка данных (расстановка обозначений) является достаточно сложной задачей. Google предложил альтернативу, которая получила название "самообучающееся обучение" (self-taught learning). Суть его состоит в том, что в систему загружается неотсортированная информация, которую системе предлагается разобрать по принципу "похожести" (при работе такой системы операторам нужно будет наблюдать за промежуточными результатами разбора, а не начальными данными). Например, если в машину загрузить фотографии мотоциклов и не мотоциклов, то рано или поздно она научится различать первые и вторые.
Трудность заключается в том, что в основу работы системы положены так называемые нейронные сети - математические модели, симулирующие процессы в реальном головном мозге. Практическая реализация таких сетей является весьма сложной задачей - в некотором смысле существующая архитектура компьютеров для этого плохо приспособлена, поэтому их реализации очень затратны с вычислительной точки зрения.
В новой работе ученые из Google запустили такую систему на 16 тысячах процессоров. В результате они смоделировали систему с примерно миллиардом взаимосвязей между отдельными процессами (нейронами). Для сравнения, до этого в экспериментах по машинному обучению применялись только сети с 1-10 миллионами связей. В качестве материала для работы полученная сеть использовала видеоролики с YouTube. Как следствие, спустя некоторое количество времени, система научилась отличать видео с котами от остальных. По словам ученых, им также удалось улучшить качество распознавания информации в системе.