Нейроинформатика

А. Н. Горбань, В. Л. Дунин-Барковский, А. Н. Кирдин, Е. М. Миркес, А. Ю. Новоходько, Д. А. Россиев, С. А. Терехов, М. Ю. Сенашова, В. Г. Царегородцев
Новосибирск: Наука, 1998

Скачать

Полный текст (ftp сервер ИВМ СО РАН) [pdf, 4,0 Mb, in russian]
http://oasis.peterlink.ru/~dap/nneng/nnlinks/book2/ann.htm

Аннотация

Введение. НЕЙРОКИБЕРНЕТИКА, НЕЙРОИНФОРМАТИКА, НЕЙРОКОМПЬЮТЕРЫ

В предшествующее десятилетие развитие средств вычислительной техники во всем мире испытало сильное влияние со стороны инициированной Японией программы «Пятое поколение компьютеров». Основным лозунгом этой программы было развитие систем искусственного интеллекта на основе алгоритмических языков. В 1992 г. программа «Пятое поколение» была завершена и ей на смену пришла программа «Вычисления в Реальном мире».

В ней речь идет прежде всего о том, чтобы дать вычислительным и управляющим системам возможность самостоятельно, без помощи «переводчика»-человека воспринимать воздействия внешнего мира и действовать в нем. Авторы программы огромную роль — до 30-40% ее содержания отводят исследованию естественных и созданию искусственных нейросетевых систем.

Искусственные нейронные сети, они же коннекционистские или связевые системы представляют собой устройства, использующие огромное число элементарных условных рефлексов, называемых по имени недавно умершего канадского физиолога синапсами Хебба. Такой синапс, как основу возможных механизмов памяти и поведения, Д. Хебб описал теоретически в 1949 году, т.е. в первые годы после рождения кибернетики. Уже сейчас искусственные нейронные сети применяются для решения очень многих задач обработки изображений, управления роботами и непрерывными производствами, для понимания и синтеза речи, для диагностики заболеваний людей и технических неполадок в машинах и приборах, для предсказания курсов валют и результатов скачек. Та часть работ, которая связана с разработкой устройств переработки информации на основе принципов работы естественных нейронных систем относится к области нейроинформатики или нейровычислений (нейрокомпьютинга). Термины эти появились недавно — в середине 80-х годов.

Суть всех подходов нейроинформатики: разработка методов создания (синтеза) нейронных схем, решающих те или иные задачи. Нейрон при этом выглядит как устройство очень простое: нечто вроде усилителя с большим числом входов и одним выходом. Различие между подходами и методами — в деталях представлений о работе нейрона, и, конечно, в представлениях о работе связей. Собственно, как уже отмечалось выше, устройства нейроинформатики представляют собой связевые системы. В отличие от цифровых микропроцессорных систем, представляющих собой сложные комбинации процессорных и запоминающих блоков, нейропроцессоры содержат память, распределенную в связях между очень простыми процессорами. Тем самым основная нагрузка на выполнение конкретных функций процессорами ложится на архитектуру системы, детали которой в свою очередь определяются межнейронными связями.

Во введении дан краткий исторический обзор, обсуждаются значения основных понятий и свойства биологических прототипов, основные движущие мотивы исследований в области нейроинформатики.

Глава 1. Возможности нейронных сетей

Для описания алгоритмов и устройств в нейроинформатике выработана специальная «схемотехника», в которой элементарные устройства — сумматоры, синапсы, нейроны и т.п. объединяются в сети, предназначенные для решения задач. Стандартный формальный нейрон составлен из входного сумматора, нелинейного преобразователя и точки ветвления на выходе. Дано описание основных элементов, из которых составляются нейронные сети. Рассматриваются только нейронные сети, синхронно функционирующие в дискретные моменты времени. Описаны основные архитектуры нейронных сетей. Нейронные сети вычисляют линейные функции, нелинейные функции одного переменного, а также всевозможные суперпозиции — функции от функций, получаемые при каскадном соединении сетей. Что можно получить, используя только такие операции? Какие функции удастся вычислить точно, а какие функции можно сколь угодно точно аппроксимировать с помощью нейронных сетей? Даются ответы на эти вопросы, в частности, приведено доказательство теоремы Колмогорова о представлении непрерывных функций многих переменных суперпозициями функций одного переменного и линейных функций, доказана (впервые публикуется на русском языке) обобщенная аппроксимационная теорема Стоуна для произвольных алгебр функций. Впервые в монографической литературе приводятся результаты о плотности полугрупп непрерывных функций. Подробно обсуждается вопрос о универсальных аппроксимационных способностях нейронных сетей.

Глава 2. Решение задач нейронными сетями

В данной главе описано несколько базовых задач для нейронных сетей и основных или исторически первых методов настройки сетей для их решения:

Классификация (с учителем) (персептрон Розенблатта).
Ассоциативная память (сети Хопфилда).
Решение систем линейных уравнений (сети Хопфилда и их обобщения).
Восстановление пробелов в данных (сети Хопфилда и их обобщения).
Кластер-анализ и классификация (без учителя) (сети Кохонена).

Во вводных разделах главы описаны одноэлементные системы и их приложения:

Линейная регрессия и восстановление простейших закономерностей;
Линейная фильтрация и адаптивная обработка сигналов;
Линейное разделение классов и простейшие задачи распознавания образов.

Глава 3. Быстрое дифференцирование, двойственность

и обратное распространение ошибки В этой главе излагается материал, значение которого для вычислительной математики и всего того, что по-английски именуют «computer sciences», выходит далеко за пределы нейроинформатики. необходимые вычислительные затраты на поиск их градиента всего лишь в два-три раза превосходят затраты на вычисление одного значения функции. Это удивительно — ведь координатами вектора градиента служат n частных производных, а затраты на вычисление одной такой производной в общем случае примерно такие же, как и на вычисление значения функции. «Чудо» объясняется довольно просто: нужно рационально организовать вычисление производных сложной функции многих переменных, избегая дублирования. Для этого необходимо подробно представить само вычисление функции, чтобы потом иметь дело не с «черным ящиком», преобразующим вектор аргументов в значение функции, а с детально описанным графом вычислений. Поиск gradH удобно представить как некоторый двойственный процесс над структурой вычисления H. Промежуточные результаты, появляющиеся при вычислении градиента, являются ни чем иным, как множителями Лагранжа. Оказывается, что если представить H как сложную функцию, являющуюся суперпозицией функций малого числа переменных (а по-другому вычислять функции многих переменных мы не умеем), и аккуратно воспользоваться правилом дифференцирования сложной функции, не производя по дороге лишних вычислений и сохраняя полезные промежуточные результаты, то вычисление всей совокупности H/xi (i=1,...,n) немногим сложнее, чем одной из этих функций — они все собраны из одинаковых блоков. Детально со всеми доказательствами описан принцип двойственности для сложных функций общего вида, а также для нейронных сетей.

Глава 4. Нейросетевые информационные модели сложных инженерных систем

В данной главе обсуждаются нейросетевые методы построения моделей сложных систем, основанные на экспериментальных данных. Подробно рассмотрены постановки типовых задач информационного моделирования (прямых, обратных и смешанных). Изложение сопровождается модельными иллюстрациями и примерами реальных практических применений. Внутренние регуляризирующие особенности нейронных сетей позволяют решать также обратные и комбинированные задачи с локальной оценкой точности. Для некорректно поставленных задач моделирования предложена нейросетевая информационная технология построения гибридной нейроархитектуры, содержащей кластеризующую карту Кохонена и семейство сетей с обратным распространением, обучаемых на данных индивидуальных кластеров. В этой технологии выявляются области частичной корректности задачи, в которых дается решение с высокой локальной точностью. Для остальных областей признакового пространства нейросеть автоматически корректно отвергает пользовательские запросы. В главе рассмотрены примеры применения методики решения обратных задач к моделированию отклика сложной инженерной системы — промышленного контейнера с ядерными отходами — на внешние аномальные условия (тепловая нагрузка вследствие пожара). Результаты исследований могут быть использованы для технических рекомендаций.

Глава 5. Медицинская нейроинформатика

Анализ применения персональных ЭВМ в медицинских учреждениях показывает, что наибольшее использование компьютеров идет для обработки текстовой документации, хранения и обработки баз данных, ведения статистики и финансовых расчетов. Отдельный парк ЭВМ используется совместно с различными диагностическими и лечебными приборами. Многолетние исследования, проводимые с самыми различными явными алгоритмами, показали, что медицинские задачи, имеющие неявный характер, решаются явными методами с точностью и удобством, совершенно недостаточными для широкого практического использования в конкретных задачах диагностики, прогнозирования и принятия решений. Неявные задачи медицины и биологии явились идеальным полем для применения нейросетевых технологий, и именно в этой области наблюдается наиболее яркий практический успех нейроинформационных методов. В главе дан обзор более 20 нейроэкспертных систем для диагностики заболеваний, предсказания из исходов, оптимизации лечения. Подробно описаны следующие системы: 1. Прогнозирование осложнений инфаркта миокарда. 2. Система назначения оптимальной стратегии лечения больных облитерирующим тромбангиитом и прогнозирования его непосредственных исходов. 3. Система дифференциальной диагностики «острого живота». 4. Нейросети для изучения иммунореактивности Обсуждаются достоинства и недостатки нейросетевого подхода к построению медицинских систем. Описаны способы подбора и подготовки медицинских данных для обучения нейросетевых систем. Подробна описана технология построения таких систем, суммирован отечественный и зарубежный опыт их создания и эксплуатация. Большинство результатов впервые публикуется в монографической литературе.

Глава 6. Погрешности в нейронных сетях

Рассматриваются нейронные сети слоистой структуры, состоящие из слоев стандартных нейронов. Изучаются ошибки, возникающие при технической реализации сетей, а также при шумах и повреждениях. Определены максимально допустимые погрешности, возможные для сигналов и параметров каждого элемента сети, исходя из условия, что вектор выходных сигналов сети должен вычисляться с заданной точностью. Используются два типа оценок погрешности: гарантированные интервальные оценки и среднеквадратические оценки погрешностей. Показано, что оценки допустимых погрешностей можно получить в ходе специального процесса «обратного распространения точности». Он состоит в функционировании сети с той же системой связей, но от выходов к входам и с заменой элементов на двойственные. Эта двойственность принципиально отличается от той, которая используется в классическом методе вычисления градиентов оценки с помощью обратного распространения ошибок (back propagation of errors). С помощью полученных результатов объясняется наблюдаемая высокая устойчивость нейронных сетей к шумам и разрушениям.

Глава 7. Скрытые параметры и транспонированная регрессия

Решается классическая проблема восстановления недостающих данных в следующей постановке: найти для каждого объекта наилучшую формулу, выражающую его признаки через признаки других объектов (которых должно быть по возможности меньше). Эта формула должна быть инвариантна относительно смены шкал измерения. Инвариантность достигается тем, что решение представляется в виде суперпозиции однородных дробно — линейных функций. Строится отношение «объект — опорная группа объектов». Опорная группа выделена тем, что по признакам ее элементов наилучшим образом восстанавливаются признаки исходного объекта. Решение дается с помощью нейронной сети специальной архитектуры. Предлагается способ минимизации опорной группы, использующий преимущества нейросетевого подхода. Метод транспонированной регрессии применяется к задаче интерполяции свойств химических элементов. Исследуется точность интерполяции потенциалов ионизации химических элементов при помощи транспонированной линейной регрессии. Достигнутая точность позволяет предсказать отсутствующие в справочной литературе значения высших (с 5-го по 10-й) потенциалов ионизации для элементов с атомными номерами от 59-го до 77-го и рекомендовать метод для интерполяции иных физических и химических свойств элементов и соединений.

Глава 8. Нейронные сети ассоциативной памяти

Рассматриваются нейронные сети ассоциативной памяти, восстанавливающие по искаженному и/или зашумленному образу ближайший к нему эталонный. Исследована информационная емкость сетей и предложено несколько путей ее повышения, в том числе — ортогональные тензорные (многочастичные) сети. Построены способы предобработки, позволяющие конструировать нейронные сети ассоциативной памяти для обработки образов, инвариантной относительно групп преобразований. Описан численный эксперимент по использованию нейронных сетей для декодирования различных кодов.

Глава 9. Логически прозрачные нейронные сети и производство явных знаний из данных

Производство явных знаний из накопленных данных — проблема, которая намного старше чем компьютеры. Обучаемые нейронные сети могут производить из данных скрытые знания: создается навык предсказания, классификации, распознавания образов и т.п., но его логическая структура обычно остается скрытой от пользователя. Проблема проявления (контрастирования) этой скрытой логической структуры решается в работе путем приведения нейронных сетей к специальному «логически прозрачному» разреженному виду. Исследуются два вопроса, встающие перед каждым исследователем, решившим использовать нейронные сети: «Сколько нейронов необходимо для решения задачи?» и «Какова должна быть структура нейронной сети?» Объединяя эти два вопроса, мы получаем третий: «Как сделать работу нейронной сети понятной для пользователя (логически прозрачной) и какие выгоды может принести такое понимание?» Описаны способы получения логически прозрачных нейронных сетей и алгоритмы получения явных знаний из данных. Приведен пример из области социально-политических предсказаний. Для определенности рассматриваются только нейронные сети, обучение которых есть минимизация оценок (ошибок) с использованием градиента. Градиент оценки вычисляется методом двойственности (его частный случай — метод обратного распространения ошибки).