NeuroPro | нейронные сети |
|
Начало Новости Услуги Нейронные сети Программы Статьи Заметки Ссылки Вопросы и ответы Об авторе / контакты |
Апология скорости вычисленийВ продолжение двух заметок, где я сказал, что моя программа реализации сверточных нейронных сетей работает на порядок быстрее другой, и продемонстрировал, во сколько раз можно ускорить вычисление значения нелинейной функции нейрона в виде гиперболического тангенса (традиционная для обучаемых алгоритмом обратного распространения ошибки нейросетей часть в программе). Здесь будет кратко рассмотрены две чужих заметки, показывающих важность скорости вычислений как в приложениях искусственного интеллекта, так и в реальном бизнес-мире. Первый текст - про историю создания программы-игрока в робофутбол. Что важно - простые алгоритмы/методы могут выигрывать у более сложных потому, что быстрота их работы позволяет провести больше проб для нахождения самых оптимальных значений параметров. Причем становится возможным и применение генетических алгоритмов для оптимизации параметров модели, раз модель должна быть простой и быстрой (поэтому фитнес-функция для неё должна вычисляться тоже быстро). Вторая ссылка - от живущего в США и описывающего внутриинвестбанковскую кухню человека. Пост содержит малознакомые большинству термины ("маркет-мейкеры" и др.), но позволяет сделать следующие выводы. Первое - скорость и только скорость вычислений там рулит. Второе - стандартные математические библиотеки при этом находятся в аутсайдерах (как было показано и у меня в заметке про тормоза стандартной реализации гиперболического тангенса). Третье - те, кто способен обеспечить нужную скорость (программно, аппаратно или путём предоставления физического местоположения для компьютера), получают за это, если огрублять, примерно во столько раз больше обычного, во сколько раз достигается ускорение. Четвертое - суперкомпьютеры на видеокартах уже вошли там в жизнь (да и в России постепенно начинают использоваться нейрокомпьютеры из видеокарт - об этом был доклад на конференции по нейроинформатике в Москве, в МИФИ, в январе 2009).
|