МТИ: Идее нейронных сетей — более семидесяти лет



Источник: Jose-Luis Olivares/MIT


09:13 17.04.2017 |   3441



Сама идея обучаемых нейросетей была впервые предложена еще в 1944 году Уорреном Маккалоком и Уолтером Питтсом, работавшими тогда научными сотрудниками Чикагского университета.

Последние десять лет характеризуются бурным развитием систем искусственного интеллекта на основе глубокого обучения нейронных сетей — они широко используются для распознавания образов и речи, а также для финансового прогнозирования и не только. В Массачусетском технологическом институте напоминают, что сама идея обучаемых нейросетей была впервые предложена еще в 1944 году Уорреном Маккалоком и Уолтером Питтсом, научными сотрудниками Чикагского университета, которые в 1952 году перешли в МТИ и основали в нем кафедру когнитивных наук.

Нейросеть может решать определенные задачи после обучения — анализа учебных образцов, которые обычно заранее размечаются человеком. Например, получив тысячи размеченных снимков машин, домов, кофейных чашек и т. д., нейросеть научится обнаруживать характерные черты, соответствующие каждой из меток.

Нейросеть построена по образцу головного мозга человека — она состоит из множества тесно взаимосвязанных простейших вычислительных узлов. Каждый такой узел может быть соединен с несколькими на предыдущем слое, передающем ему данные, и с несколькими на следующем. Каждому из входящих соединений узел присваивает некоторое число — «вес». В процессе работы нейросети узел получает по каждому из соединений разные числа и умножает на соответствующий вес, а получившиеся произведения складывает. Если сумма больше определенного порогового значения, она передается на следующий уровень по всем исходящим соединениям узла.

Изначально веса и пороговые значения выбираются случайным образом, а в процессе обучения они постоянно корректируются, пока учебные данные с одинаковыми метками, подаваемые на вход сети (нижний слой), не будут выдавать одинаковые значения на выходе из нее.

Первая обучаемая нейросеть, «перцептрон», была создана Фрэнком Розенблаттом, психологом Корнельского университета, в 1957 году. В отличие от современных, она имела лишь один слой между входным и выходным. Уже в то время было предсказано, что с помощью перцептрона можно решать практически любые стандартные математические задачи, и до 1969 года нейросети оставались областью активных исследований. Но затем математики МТИ Марвин Минский и Сеймур Пейперт опубликовали результаты исследования, показавшего, что выполнение стандартных вычислительных операций с помощью перцептрона будет отнимать неприемлемо много времени. После этого интерес к нейронным сетям угас и возродился только к 1980-м, когда были разработаны алгоритмы корректировки весов и порогов, позволившие преодолеть ограничения, указанные Минским и Пейпертом.

Нынешнему взрыву развития машинного обучения помогла эволюция графических процессоров, которые содержат множество относительно простых ядер, которые можно использовать в качестве узлов нейросети. Современные видеочипы позволяют строить нейросети не из одного, как в 1960-х, и не из двух-трех, как в 1980-х, а из гораздо большего количества слоев. Именно поэтому «глубокое обучение» получило свое название: глубина — это число слоев нейросети.

Между тем, вопросом, беспокоящим исследователей, остается смысл настроек обученной нейросети — неясно, например, на какие именно особенности изображения она обращает внимание при классификации; изучение весов каждого из соединений ответа на этот вопрос не дает. Что касается продвижения науки на этом фронте, на сегодня решены задачи глобальной оптимизации — получения гарантий того, что сеть нашла настройки, оптимально соответствующие учебным данным, и выявления признаков переобучения — когда сеть настолько сфокусировалась на обучающей выборке, что на любых значениях за ее пределами она работать не сможет.


Теги: Самое интересное Нейронные сети Искусственный интеллект МТИ
На ту же тему: