Многослойный персептрон Розенблатта

Поговорим о персептроне Ф.Розенблатта - о нейронной сети, с которой начались современная теория нейроинформатики и программные и аппаратные реализации обучаемых нейросетей и нейрокомпьютеров. Как я отмечал в заметке про многослойные нейронные сети, неправомерно называть многослойным персептроном только нейросеть, обучаемую на основе алгоритма обратного распространения ошибки - персептрон Розенблатта тоже включает 2 слоя нейронов, а "многослойность" многослойного персептрона обратного распространения характеризует в первую очередь возможность обучения всех его слоев. Обучаемость только последнего слоя в персептроне Розенблатта и случайная генерация набора связей каждого нейрона скрытого слоя только с рядом точек входного рецепторного поля являются препятствием к эффективному применению - многослойный персептрон обратного распространения из-за обучаемости всех его слоев и полносвязности структуры позволяет получать лучшую точность классификации.

Указанные практические ограничения привели к тому, что сейчас персептрон Розенблатта имеет лишь образовательно-историческую ценность, поэтому в учебниках его теория излагается очень кратко (и изложение обычно не выходит за рамки описания процедуры обучения единственного порогового нейрона, т.е. представляет персептрон в вырожденном виде, что совершенно неадекватно). Но! В настоящий момент для задач распознавания изображений или объектов на изображении актуальны именно многослойные нейронные сети - в заметке про них было сказано, что только при большом числе слоев возможно получение инвариантности распознавания к сдвигам, поворотам, деформациям контура или тела объекта. "Плоские" же архитектуры наподобие машин опорных векторов и персептронов (Розенблатта или обратного распространения) с одним скрытым слоем с обеспечением инвариантности распознавания не справляются. Таким образом, кажется, что персептрон Розенблатта сейчас вообще не стоит изучать. Однако, это не так!

Многослойный персептрон Розенблатта с двумя скрытыми слоями нейронов У Розенблатта были и конструкции персептронов с двумя скрытыми слоями, т.е. с тремя слоями нейронов! Неизвестные читателям современных "учебников", они, тем не менее, были описаны в печати достаточно широко: так, статья Розенблатта [1] была аж трижды (!) напечатана на русском языке в СССР/России - в [2-4] (за перевод его фамилии с одним финальным "т" пинать неизвестного советского переводчика). Почему важен факт наличия персептронов с двумя скрытыми слоями - в указанной статье Розенблатт продолжил (после статьи "Обобщение восприятия по группам преобразований") работу по обеспечению инвариантности распознавания к сдвигам, поворотам объекта на изображении, т.е. был пионером не только в теории и практике применения нейронных сетей, но и в том теоретическом вопросе, который сейчас управляет актуальностью и перспективностью нейросетевых архитектур. Действительно, инвариантное распознавание возможно только при многослойной схеме распознавания, независимо от того, сколько "слоев" будет отнесено к блоку предобработки или выделению информативных/инвариантных признаков, а сколько - к собственно принятию решения в этом признаковом пространстве.

Вышеизложенное - розенблаттовские персептроны с двумя скрытыми слоями и сегодняшняя актуальность его идей об обеспечении инвариантности распознавания плюс доказанная принципиальная необходимость большого числа слоев - в современных учебниках по нейронным сетям не описывается! Как не акцентируется и то, что пионерами в реальной нейросетевой многослойности были Розенблатт и К.Фукушима (автор когнитрона и неокогнитрона).

Более того, сверточные нейронные сети, являющиеся на настоящий момент одними из наиболее мощных многослойных нейросетей для распознавания изображений, в начале своей истории тоже имели 2 скрытых слоя (см. работу [5]) и лишь потом "подросли", в т.ч. из-за необходимости работать с изображениями значительного размера, когда после сверточных плоскостей оставалось слишком "много" признаков, и для снижения числа признаков и повышения инвариантности к сдвигам на бОльшее число пикселов пришлось ввести промежуточные слои ресэмплинга сигналов. И изменение их структуры шло в полном согласии с предложением книги "Персептроны" Минского и Пейперта увеличивать "диаметр" предиката, который вычисляется некоторым нейроном (правда, такое увеличение шло неявно - через увеличение числа предшествующих некоторому нейрону слоев, что аналогично увеличению диаметра сложного предиката, эквивалентного пирамидальному подграфу прохождения сигналов по сети начиная со входного образа и до искомого нейрона на вершине этого подграфа). Поэтому многое из теории персептронов, даже если это относится к доказательству их неэффективности, применимо к сегодняшним реалиям, ибо чуть ли не явно показывает возможность улучшения других нейросетевых моделей.

Литература
1. Rosenblatt F. Analytic techniques for the study of neural nets / IEEE Trans. on Appl. and Industry. 1964. Vol.83, №74. - pp.285-292.
2. Розенблат Ф. Аналитические методы изучения нейронных сетей // Зарубежная радиоэлектроника, 1965. №8.
3. −||− // Нейрокомпьютер, 1997. №3-4. - С.49-65.
4. −||− // Нейронные сети: история развития теории. - М., ИПРЖР, 2001. - 840с. - С.180-197.
5. LeCun Y. Generalization and network design strategies / Dept. of Comp. Sci., Univ. of Toronto. Tech. Rep. CRG-TR-89-4. 1989. - 20p.