NeuroPro | нейронные сети |
|
Главная Новости Услуги Нейронные сети Программы Статьи Заметки Ссылки Вопросы и ответы Об авторе / контакты |
Мифы нашего городка. Кто первым доказал, что любой нелинейности нейронов достаточно, чтобы нейросеть была способна аппроксимировать любую функцию?При обсуждении возможностей искусственных нейронных сетей обычно любят вспоминать о том, что доказаны:
Но! Теорема о пригодности любой нелинейной функции нейронов была доказана задолго до работ Горбаня бывшим советским, а с конца 1980х годов американским математиком В.Крейновичем [5] и опубликована в одном из лидирующих западных нейросетевых журналов. Соответственно говорим, что на качественном уровне (на уровне доказательства феномена) приоритет у Крейновича. А Горбаня можно поблагодарить за то, что его переоткрытие пришлось на момент отсутствия широкого коммуникативного научного канала с западом (интернета в России в те годы было всего ничего), и затем вспоминать только при обращении именно к его способу доказательства теоремы (т.е. переходе на тот уровень анализа, когда именно особенности доказательства могут быть полезны в дальнейшей работе, например, при уточнении теоремы либо доказательстве другой). О том, что Крейновича сейчас в России и на Западе не знают - утверждать неверно, CiteSeer выдает список из примерно полутора тысяч работ, цитирующих работы Крейновича (статьи по разным темам - по чистой математике, по фаззи-вычислениям, интервальным вычислениям, и т.д.). Правда, здесь я сделал подмену - это не полторы тысячи цитат именно статьи [5], а цитаты всех публикаций Крейновича, - но только для того, чтобы показать "калибр" фигуры автора [5]). Поэтому ассоциация только имени Горбаня с теоремой о пригодности любой нелинейности нейронов - это местечковый феномен, взращенный на очном насаждении мифа переоткрывателем и знакомстве только с русскоязычной литературой по нейронным сетям. Если в середине 1990х годов (когда писались работы [1-4]) незнание о теореме Крейновича еще можно было списать на недоступность интернета в России и недоставаемость западных научных изданий, то сейчас на оторванность от западной науки грешить нельзя (издательство Elsevier по договору с РАН несколько последних лет предоставляло институтам РАН доступ через интернет к электронной версии журнала Neural Networks, плюс русские ученые в последние годы гораздо активнее ездят за рубеж на конференции по нейронным сетям - а буржуинские ученые журнал Neural Networks читают и должны при обращении к теме вспоминать именно Крейновича). Поэтому призываю воздать должное и первооткрывателю - давно пришла пора демонстрировать знакомство именно с мировыми достижениями в области нейроинформатики и мировой же историей теории искусственных нейронных сетей. Дополнительно в практической работе полезной будет другая статья Крейновича [6]. Для теории же и практики - его статья [7] с описанием истории переформулировок теорем Колмогорова и Стоуна-Вейерштрасса для нейросетей и конструктивных алгоритмов формирования нейронных сетей на основе этих теорем, в том числе при задании допусков на точность аппроксимации искомой функции многих переменных нейронной сетью и при наличии погрешностей реализации нелинейных функций нейронов (и/или отличии реализаций нелинейных функций каждого нейрона друг от друга). Обзор [8] гораздо полнее статьи [7] по охвату литературы и тоже рекомендован.
Литература
|