NeuroPro | нейронные сети |
|
Начало Новости Услуги Нейронные сети • базовые идеи • возможности • преимущества • применение • области приложения • точность решения • НС и ИИ Программы Статьи Заметки Ссылки Вопросы и ответы Об авторе / контакты |
Нейронные сети - точность решения задачЧастично на этот вопрос был дан ответ при рассмотрении возможностей и преимуществ нейронных сетей − возможно более точное решение за счет большей гибкости по сравнению с конкурирующими методами. Реальная практика описана в нижеуказанных работах - здесь я перескажу эти и другие результаты. Эксперименты проводились на 24х общедоступных реальных задачах классификации: 21 задача перечислена в [1], плюс задача CoverType в [2], плюс задача Connect4 − это одни из наиболее объемных задач, используемых в качестве тестовых для апробации и сравнения алгоритмов обучения и представленных в , а в статье [4] использовалась задача Gong из другого источника. В большинстве случаев удается обеспечить ошибку обобщения (ошибку решения новых, не использованных при обучении нейросети данных, взятых из независимой тестовой выборки или путем разделения исходной выборки на обучающую и тестовую части) менее чем в 10% неправильных ответов, т.е. правильно решать >90% случаев, характеризующих новые ситуации. Трудна задача Yeast (там правильность порядка 70%), точность в задаче CoverType может превысить указанный в [2] финальный уровень в 72% правильных ответов при увеличении размера сети (размер одиночной нейронной сети был остановлен на отметке в 75 нейронов, но рисунок в [2] показывает, что минимум ошибки не достигнут и повышение размера сети может помочь). Увеличение размера нейронной сети рекомендуется и для задач MultipleFeatures-Zernike и MultipleFeatures-Fourier, где число правильных ответов находится на уровнях 82 и 83%, но минимум ошибки вдоль оси размера сети не достигнут, что видно на рисунках в [3], и для задачи Satellite (88% правильных ответов) − см. график в [4]. В задаче Connect4 использование одной сети для классификации на все три заданных класса неоптимально, нужно строить двухшаговую иерархическую бинарную классификацию (отделять один класс от двух других одной нейронной сетью и затем разделять эти два других класса второй нейронной сетью) тоже с использованием сетей значительного размера. Т.е. 25% задач (6 из 24 названных) показывают точность <90% правильных ответов на тестовых выборках (я не говорю утвердительно, что нельзя указанный уровень в 90% достичь и превысить − просто мне для целей названных статей было излишним экспериментирование с нейронными сетями значительного размера). Остальные же 3/4 задач достаточно просто могут быть решены с достижением <10% ошибок на новых данных − тем более, что во всех названных работах, не ставилась задача предельной минимизации ошибки обобщения: эксперименты проводились путем нахождения околооптимальных значений 1-2 параметров (размер нейронной сети и число информативных признаков задачи), но можно управлять настройками алгоритма обучения нейронной сети, подбором более сложной структуры сети, отслеживать возможность возникновения переобучения нейронной сети. Соответственно, значительное число задач, для которых другие авторы указывают ошибку обобщения на уровне 60-70% (при 100%-правильном решении обучающей выборки), может иметь причиной неинформативность выборки и/или неадекватность нейронной сети. Здесь я говорю, что особых проблем с широким кругом ёмких и сложных буржуинских задач нет. Не думаю, что мы живем в разных вселенных, так что лицам, имевшим негативный опыт использования нейронных сетей, можно посоветовать пополнить обучающие данные, взять другую нейропрограмму либо потратить время на образование в области нейроинформатики и методов анализа данных. А потенциальным пользователям нейронных сетей можно обещать получение хорошей точности решений. В условиях же малых выборок тоже возможно достаточно точное обобщение-прогнозирование, особенно когда разбиение задачи на подзадачи с меньшим числом классов позволяет выделить узкие места начальной постановки: в [5] при средних уровнях правильных ответов на тестовых выборках >80% для исходных трех и более классовых постановок задач удалось переходом к попарному отделению классов друг от друга добиться точности в >90% для части подзадач и в 77% − для действительно сложно разделимых на данном наборе признаков классов. Локализация проблемных подзадач и их экспертное осмысление позволили подтвердить неоднозначность задачи разделения проблемных классов и рекомендовать использование дополнительных признаков, которые могут быть информативными. В [5] нет детального описания экспериментов с указанием ошибок обобщения и схем разбиения задач на подзадачи - частично это описано в цитируемых в [5] работах, но те эксперименты выполнялись на чуть ли не вдвое меньшей базе данных и другом наборе описывающих ситуацию признаков, поэтому цифры в тех стартовых работах хуже. Соответственно, в случае недостатка данных тоже бывает возможно получение достаточно точного решения подзадач без необходимости обеспечить представительную выборку с информативными признаками. Также стоит повторить, что здесь приведены значения ошибок обобщения (процент правильных ответов на новых, не использованных при обучении нейронной сети описаниях ситуаций), а не ошибок обучения (точность распознавания именно обучающей выборки) − последние выше вплоть до того, что нейронная сеть на обучающих ситуациях может отвечать абсолютно без ошибок.
Литература.
|