NeuroPro

нейронные сети
и анализ данных

Начало
Новости
Услуги
Нейронные сети
Программы
Статьи
Заметки
Ссылки
Вопросы и ответы
Об авторе / контакты
Заметки

Интервальные нейронные сети

Еще в начале 1990х были опубликованы алгоритмы обработки недоопределенных (заданных интервалом значений) величин на входе нейронной сети, был разработан вариант алгоритма обратного распространения ошибки для интервальных сигналов [1-6]. Мне казалось, что за последующие годы сделали кучу интервальных вариантов и других нейросетевых алгоритмов. Тем более, что принципы интервальных вычислений проще принципов fuzzy-исчисления, а уж с фаззи-то нейронные сети наскрещивали вдоль и поперек. И само недоопределенное значение - интервал - проще по смыслу и менее субъективно при практическом фиксировании, чем фаззи-функция принадлежности.

Но когда я поискал свежие статьи по интервальным нейронным сетям, то нашел индейскую избу "фиг вам". Существенно новых результатов не появилось, ссылок на две статьи чеха J.Sima [1,2] в международном, пусть и издаваемом в Чехии, журнале Neural Network World и на три доклада японцев H.Ishibuchi и H.Tanaka [3-5] почти нет. В материалах японской международной конференции 1993 года наряду с [4,5] была и статья испано-японского коллектива [6], поэтому я ожидал, что по миру результаты разойдутся. "Фиг вам" в квадрате. В общем, полезной нашел только статью еще одного чеха [7], а в основном базовые вещи много раз переоткрывались заново - как в свежей статье корейцев [8] (хотя, думаю, корейцы грубо сплагиатили: сославшись на [3] среди списка ссылок на работы по нейросетям, при описании собственно алгоритмов обработки интервальных сигналов и обучения нейронной сети никаких ссылок на [3] или другие ранние работы не дали, а формулы при этом − близнецы-братья формул начала 1990х).

Идея же нейрообработки неточных и недоопределенных фактов, интервального задания ограничений на переменные мне кажется нужной и полезной. В России недоопределенными моделями (не нейросетевыми и в рамках специального формализма) занимаются в Институте искусственного интеллекта у А.С. Нариньяни, но в рамках теории и практики нейронных сетей интервальные методы и в России, и в мире остаются маловостребованными.

А полезного можно получить много.

  1. Возможность обучения (и последующей работы) нейронной сети, когда одно или несколько значений независимых признаков (входных сигналов нейронной сети) известно неточно, причем позиции этих неточностей могут разниться от одного примера к другому. Но отметим, что стандартные средства СУБД и электронных таблиц не позволяют традиционно (с точки зрения традиционных способов подачи данных статистическим или нейросетевым программам) хранить интервальные значения.
  2. Возможность решать обратные и смешанные задачи, когда и на выходе нейронной сети фиксируется интервал нужных значений.
  3. Возможность уточнять-сокращать первоначальные интервальные значения с помощью автоассоциативной нейронной сети, используя при обучении сети дополнительное требование сужения интервалов выходных сигналов
  4. Возможность считать информативности входных сигналов, чувствительности к колебаниям значений на входах, к погрешностям внутри нейронной сети. Сейчас для этого обычно используют анализ первых-вторых производных тейлоровского разложения.

Всё сказанное является реально востребованным на практике, но народ не знает о возможности таких постановок задач. Мощность нейросетевых методов обработки данных можно повысить, если позволить нейронной сети воспринимать и обрабатывать интервальные типы данных.

Литература.
1. Sima J. Generalized back propagation for interval training patterns / Neural Network World, 1992. Vol.2. №2. - pp.167-174.
2. Sima J. The multi-layered neural network as an adaptive expert system with the ability to work with incomplete information and to provide justification of inference / Neural Network World, 1992. Vol.2, №1. - pp.47-58.
3. Ishibuchi H., Tanaka H. An extension of the BP-algorithm to interval input vectors / Proc. IEEE Int. Joint Conf. on Neural Networks, Singapore. 1991. Vol.2. - pp.1588-1593.
4. Kwon K., Ishibuchi H., Tanaka H. Nonlinear mapping of interval vectors by neural networks / Proc. Int. Joint Conf. in Neural Networks, Nagoya, Japan. 1993. Vol.1. - pp.758-761.
5. Ishibuchi H., Miyazaki A., Kwon K., Tanaka H. Learning from incomplete training data with missing values and medical application / Proc. Int. Joint Conf. in Neural Networks, Nagoya, Japan. 1993. Vol.2. - pp.1871-1874.
6. Hernandez C.A., Espf J., Nakayama K., Fernandez M. Interval arithmetic backpropagation / Proc. Int. Joint Conf. in Neural Networks, Nagoya, Japan. 1993. Vol.1. - pp.375-378.
7. Belohlavek R. Backpropagation for interval patterns / Neural Network World, 1997. Vol.7, №3. - pp.335-346.
8. Kim H.J., Ryu T.-W. Time series prediction using an interval arithmetic FIR network / Neural Information Processing - Letters and Reviews, 2005. Vol.8, №3. - pp.39-47.