Статьи

Здесь размещены аннотации и электронные варианты отдельных моих научных статей по анализу данных, теории и практике применения нейронных сетей.

17. Царегородцев В.Г. Конструктивный алгоритм синтеза структуры многослойного персептрона // Вычислительные технологии, 2008. Т.13 - Вестник КазНУ им. Аль-Фараби, серия "математика, механика, информатика", 2008. №4 (59). (Совм. выпуск). Часть 3. - с.308-315. pdf-файл, 284кб
Для нахождения оптимальной структуры многослойного персептрона предлагается алгоритм, основанный на расчете и минимизации критериев Бартлетта или Мураты-Амари, оценивающих ошибку обобщения для пробных шагов модификации структуры нейросети элементарными структуровоздействующими операциями, лучшая из которых выбирается для применения на текущем шаге или до момента смены поведения критерия.

16. Дробушевская О.В., Царегородцев В.Г. Географо-климатические варианты светлохвойных травяных лесов Сибири // Сибирский экологический журнал. 2007, №2. - С.211-219. pdf-файл, 271кб
Продолжение начатых в [1] исследований. На основе базы данных по климату и растительности для территории Сибири в пространстве климатических показателей с помощью метода кластерного анализа выделены 4 кластера - географо-климатических варианта светлохвойных травяных лесов (подтайги). Выявлены ведущие климатические факторы, определяющие границы между кластерами, изучены внутрикластерная общность и межкластерные отличия по составу лесообразователей. Полученные кластеры сопоставлены с предложенными ранее вариантами, выделенными по составу растительности.

15. Царегородцев В.Г. Определение оптимального размера нейросети обратного распространения через сопоставление средних весов синапсов // Материалы XIV Международной конференции по нейрокибернетике, Ростов-на-Дону, 2005. Т.2. - С.60-64. pdf-файл, 297кб
Для определения оптимального размера нейронной сети в случае отсутствия независимой тестовой выборки имеются несколько индикаторов (NIC-критерий Мураты и Амари, критерии Бартлетта, Баррона), теоретически связывающих прогнозируемый уровень ошибки обобщения с внутренними свойствами обученной нейросети. Подобные индикаторы позволяют пользователю целенаправленно вести изменения структуры и размера сети (вместо проб методом "тыка"), вводить штрафные функции вторичной оптимизации (наподобие регуляризующих штрафов) для явной минимизации этих критериев. Данная работа развивает это направление, описывает результаты экспериментов для 6 задач классификации с учителем, показывает возможность идентификации момента наступления переобучения при превышении оптимального размера нейросети, показывает возможность определять структурные уровни сложности задач, например, моменты перехода от компетенции малопараметрических моделей (традиционные линейные регрессии, линейные дискриминанты) к компетенции многопараметрических нейромоделей.

14. Царегородцев В.Г. Оптимизация предобработки признаков выборки данных: критерии оптимальности // Нейрокомпьютеры: разработка, применение. 2005, №4. pdf-файл, 304кб
Продолжение и обобщение тематики статьи [4].

13. Tsaregorodtsev V.G. Parallel implementation of back-propagation neural network software on SMP computers / Lecture Notes In Computer Science 3606 (PaCT-2005 Proceedings), Springer-Verlag, 2005. - pp.185-192. pdf-файл, 131кб
В связи с ростом сложности задач, для решения которых применяются нейронные сети, нейросетевая программа автора доработана для поддержки многопоточных и многопроцессорных вычислений, проведены эксперименты на двухпроцессорном компьютере для определения коэффициента ускорения при распараллеливании алгоритма обучения нейронной сети, изучены факторы, влияющие на коэффициент ускорения. Статья является продолжением работы [8].

12. Царегородцев В.Г. Редукция размеров нейросети не приводит к повышению обобщающих способностей // Материалы XII Всеросс. семинара "Нейроинформатика и ее приложения", Красноярск, 2004. - 196с. - С.163-165. pdf-файл, 292кб
Сделанное в ходе полемики с методологическими оппонентами исследование, ограниченное достаточно жесткими рамками экспериментальных условий (в которых работают оппоненты) и отсутствием теоретического объяснения (чтобы не давать оппонентам решения в руки). Более детально см. в добавленных после текста статьи комментариях. А так - классическая задача определения такого размера нейронной сети, при котором достигаются наилучшие обобщающие способности.

11. Царегородцев В.Г. Общая неэффективность использования суммарного градиента выборки при обучении нейронной сети // Материалы XII Всеросс. семинара "Нейроинформатика и ее приложения", Красноярск, 2004. - 196с. - С.145-151. pdf-файл, 216кб
Показано, что обучение нейросети на основе базового метода обратного распространения ошибки (обучение с постоянным шагом, коррекция синапсов после просмотра каждого очередного примера выборки) при оптимальном выборе длины шага в среднем не уступает по эффективности применению "быстрых" методов градиентной оптимизации наподобие метода сопряженных градиентов, т.е. использующих суммарный по выборке градиент и оптимизацию шага вдоль направления спуска. Проигрыш максимум в 20 раз (для худшей из задач) опровергает утверждение о стабильном проигрыше в несколько порядков на любых задачах (как утверждалось в книге "Обучение нейронных сетей" 1990г). Результаты подтверждают недавно полученные зарубежными авторами выводы о преимуществе обучения с попримерной коррекцией над методами обучения по суммарному градиенту.

10. Царегородцев В.Г. Оптимизация экспертов boosting-коллектива по их кривым обучения // Материалы XII Всеросс. семинара "Нейроинформатика и ее приложения", Красноярск, 2004. - 196с. - С.152-157. pdf-файл, 221кб
При построении коллектива нейросетей-экспертов на основе boosting-алгоритма исследована необходимость оптимизации размера обучающей выборки для каждого эксперта. Использована парадигма кривых обучения (learning curves), результаты показывают существенное отличие статистических свойств оптимальных обучающих выборок для второго и третьего экспертов коллектива от свойств генеральной совокупности, т.е. оптимизация размера выборки для каждого очередного эксперта нужна и может улучшать итоговую точность прогноза коллектива.

9. Царегородцев В.Г. Высокая чувствительность отклика нейроклассификатора к колебаниям входов может индицировать наличие выбросов в данных // Материалы XII Всеросс. семинара "Нейроинформатика и ее приложения", Красноярск, 2004. - 196с. - С.158-162. pdf-файл, 227кб
Описан результат применения эмпирической схемы: при высокой чувствительности выходных сигналов обученной нейронной сети к значениям отдельных независимых переменных и невозможности обучения нейросети решению задачи именно на этом малом числе переменных визуализация данных в подпространстве высокочувствительных признаков может помочь увидеть нетипичные примеры-выбросы, которые нейросеть при обучении запомнила. Несколько итераций ручного удаления выбросов, нового обучения нейросети, расчета чувствительностей и визуализации могут повысить обобщающие способности итоговой нейромодели, обученной по очищенной выборке, и приближению чувствительности решения к изменениям значений признаков к реальной информативности этих признаков.

8. Царегородцев В.Г. Перспективы распараллеливания программ нейросетевого анализа и обработки данных // Материалы III Всеросс. конф. "Математика, информатика, управление - 2004", Иркутск, 2004. pdf-файл, 217кб
В последние годы в Красноярске наблюдается интерес к кластерным, параллельным и распределенным вычислениям, в том числе было несколько попыток создания параллельных нейроимитаторов. Но к распараллеливанию наивно предлагались базовые методы, из-за своей примитивности действительно вычислительно затратные или неэффективные. Однако современные нейросетевые алгоритмы во многом либо снижают необходимость распараллеливания, либо даже не позволяют провести распараллеливание - но их эффективность и так позволяет быстро обработать большие объемы данных на одном процессоре.
В статье я обрисовал свое видение перспектив и возможностей, перечислил задачи и методы, распараллеливание которых для повышения скорости и качества нейромоделирования востребовано и оправдано.

7. Царегородцев В.Г. Взгляд на архитектуру и требования к нейроимитатору для решения современных индустриальных задач // Материалы XI Всеросс. семинара "Нейроинформатика и ее приложения", Красноярск, 2003. - 215с. - С.171-175. pdf-файл, 208кб
Описан практический опыт по разработке и использованию собственного аналитического софта, перечислены приемы, методы и ритуалы анализа данных, оказавшиеся полезными автору в работе.

6. Царегородцев В.Г. Уточнение решения обратной задачи для нейросети-классификатора // Нейрокомпьютеры: разработка, применение. 2003, №12. pdf-файл, 194кб
Обратное распространение ошибки можно "распространить" на входные сигналы нейросети для коррекции их значений. Этот прием используется с конца 1980х годов для решения обратных задач с помощью нейросетей, обученных решению прямой задачи. Иначе говоря, если обученная нейронная сеть выдает прогноз на основе значений некоторых показателей (входных сигналов), и этот прогноз отличается от желаемого, то можно потребовать от нейросети так откорректировать входные сигналы, чтобы ответ совпал с требуемым, а затем попытаться привести свойства реальности в соответствие с предлагаемыми сетью значениями входных сигналов.
В работе предложено несколько эмпирических приемов для коррекции решения обратной задачи и повышения надежности такого решения.

5. Царегородцев В.Г. Робастная целевая функция с допуском на точность решения для нейросети-предиктора // Нейрокомпьютеры: разработка, применение. 2003, №12. pdf-файл, 209кб
Предложена целевая функция для задач нейросетевой нелинейной регрессии, позволяющая задавать допустимую невязку по точности решения каждого примера обучающей выборки и устойчивая к выбросам в данных.
Приведена достаточно обширная библиография работ с описанием различных целевых функций, используемых при обучении нейросети задачам прогнозирования и классификации с учителем.

4. Царегородцев В.Г. Оптимизация предобработки данных: константа Липшица обучающей выборки и свойства обученных нейронных сетей // Нейрокомпьютеры: разработка, применение. 2003, №7. - С.3-8. pdf-файл, 253кб
Исследуется действенность одного критерия оптимальности предобработки данных. Показано, что оптимизация предобработки может приводить к увеличению скорости обучения нейросети на порядок и более и к изменению внутренних свойств нейросетей.
При обсуждении результатов впервые поставлен вопрос о проблеме определения относительных эффектов нескольких правил предобработки независимых переменных (для того, чтобы решить, например, от каких приемов предобработки отказываться в пользу других, если они конфликтуют между собой).

3. Царегородцев В.Г. Простейший способ вычисления показателей значимости первого порядка для сетей обратного распространения // Материалы Х Всеросс. семинара "Нейроинформатика и ее приложения", Красноярск, 2002. 185с. - с.153-156. pdf-файл, 236кб
Оцениваются изменения выходных сигналов нейронной сети при вариациях весов синапсов или значений входных/промежуточных сигналов сети. Критерий качества решения задачи (т.е. сравнение выхода нейросети с требуемым ответом) не используется. Экспериментально показана возможность использования таких оценок для исключения избыточных (малозначимых элементов) из нейросети - даже без дообучения сети удается удалять несколько десятков процентов от имеющегося в сети общего числа синапсов при сохранении точности решения задач классификации.

2. Царегородцев В.Г. Об исследовании эффективности одного метода построения отказоустойчивых нейросетей // Материалы Х Всеросс. семинара "Нейроинформатика и ее приложения", Красноярск, 2002. 185с. - с.157-160. pdf-файл, 228кб
Исследуется гипотеза о том, что для повышения обобщающих способностей нейросети и ее отказоустойчивости (предотвращения снижения качества решения при повреждении элементов нейросети) необходимо не допускать роста чувствительности решения к изменениям весов синапсов. Оценивать и снижать чувствительность можно разными способами, в работе исследована эффективность повышения отказоустойчивости в процессе обучения нейронной сети путем временного запрещения коррекции наиболее чувствительных синапсов.

1. Царегородцев В.Г., Назимова Д.И. Нейросетевые анализ и моделирование современных связей климата и растительности // Современные подходы к интеграции информационных технологий. Труды V Всеросс. семинара "Информационные технологии в энергетике", Иркутск, 2000. Иркутск: ИСЭМ СО РАН, 2001. - 235с. - С.157-165. pdf-файл, 186кб
Описываются эксперименты по построению моделей взаимосвязей между климатическими показателями территории и характеристиками ее лесорастительного покрова. Исследовалась территория Сибири (более 500 локальных участков), был сделан прогноз смены качественных и количественных характеристик лесорастительного покрова (например, степеней доминирования отдельных лесообразователей) при изменениях климата.
Текст работы ориентирован на специалистов в области экологии, климатологии, моделирования поведения природных систем и описывает несколько возможных постановок задач идентификации связей между климатом и растительностью. Эти задачи не зависят от используемого инструмента математического моделирования - вместо нейронных сетей можно использовать классические методы статистики и другие методы восстановления зависимостей по экспериментальным данным.