МИНИСТЕРСТВО ОБЩЕГО И ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ РФ
КРАСНОЯРСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ
СИБИРСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНОЛОГИЧЕСКИЙ УНИВЕРСИТЕТ
РОССИЙСКАЯ АКАДЕМИЯ НАУК
СИБИРСКОЕ ОТДЕЛЕНИЕ
ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОГО МОДЕЛИРОВАНИЯ
МЕТОДЫ
НЕЙРОИНФОРМАТИКИ
СБОРНИК НАУЧНЫХ ТРУДОВ
Под редакцией доктора
физико-математических наук
А.Н. Горбаня
КРАСНОЯРСК
КГТУ
1998
УДК 519
Методы нейроинформатики / Под. ред. А.Н. Горбаня; отв. за выпуск М.Г. Доррер. КГТУ, Красноярск, 1998. 205 с.
Сборник статей молодых ученых – представителей красноярской школы нейроинформатики. Большинство работ связано с созданием нейросетевых алгоритмов обработки данных и реализацией этих алгоритмов на персональных компьютерах. Представлены новые алгоритмы решения классической проблемы заполнения пробелов в данных, описаны технологии нейросетевого производства явных знаний из данных, продемонстрированы различные приложения нейросетевых методов – от очень популярных сейчас геоинформационных систем (ГИС) до систем психологического тестирования и предсказания отношений в группе.
Другая группа работ посвящена развитию теории. Даны оценки необходимой точности во входных сигналах и элементах сети при заданой требуемой точности на выходе. Без решения такой задачи невозможно создавать надежные нейронные сети “в железе”. Две статьи посвящены проблеме “бесструктурного параллелизма” – устройствам, совершающими вычисления при беспорядочном взаимодействии различных элементов.
Описан также опыт подготовки учебно-исследовательских задач для работы со студентами и школьниками и дан обзор результатов решения этих задач.
Печатается при поддержке
ФЦП "ИНТЕГРАЦИЯ"
Печатается в авторской редакции
ЛР № 020375 от 7.02.1997 г. Коллектив авторов, 1998
Редакционно-издательский отдел КГТУ
660074, Красноярск, ул. Киренского, 26
“Что день грядущий мне готовит?” Стремительный прогресс информатики размывает границы между реальностью и фантазией. Системы искусственного интеллекта на основе алгоритмических языков развивались во всемирной программе “Пятое поколение компьютеров”. Сейчас ей на смену пришла другая программа – “Вычисления в реальном мире”. Ее сверхзадача – разработать cистемы, способные самостоятельно, без помощи переводчика-поводыря человека действовать в “естественном” (а не только в специально приготовленном) внешнем мире. Огромная доля этой программы отводится на создание искусственных нейросетевых систем.
В словах "искусственные нейронные сети" слышатся отзвуки фантазий об андроидах и бунте роботов, о машинах, заменяющих и имитирующих человека. Эти фантазии интенсивно поддерживаются многими разработчиками нейросистем: рисуется не очень отдаленное будущее, в котором роботы осваивают различные виды работ, просто наблюдая за человеком, а в более отдаленной перспективе – человеческое сознание и личность перегружаются в искусственную нейронную сеть – появляются шансы на вечную жизнь.
Если перейти к прозаическому уровню повседневной работы, то искусственные нейронные сети – это всего-навсего сети, состоящие из связанных между собой простых элементов – формальных нейронов. Значительное большинство работ по нейроинформатике посвящено переносу различных алгоритмов решения задач на такие сети.
Ядром используемых представлений является идея о том, что нейроны можно моделировать довольно простыми автоматами, а вся сложность мозга, гибкость его функционирования и другие важнейшие качества определяются связями между нейронами. Каждая связь представляется как совсем простой элемент, служащий для передачи сигнала и его линейного усиления или ослабления. Предельным выражением этой точки зрения может служить лозунг: "структура связей – все, свойства элементов – ничто".
Совокупность идей и научно-техническое направление, определяемое описанным представлением о мозге, называется коннекционизмом (по-ангийски connection – связь). Как все это соотносится с реальным мозгом? Так же, как карикатура или шарж со своим прототипом-человеком – весьма условно. Это нормально: важно не буквальное соответствие живому прототипу, а продуктивность технической идеи.
С коннекционизмом тесно связан следующий блок идей:
-
однородность системы (элементы одинаковы и чрезвычайно просты, все определяется структурой связей);
-
надежные системы из ненадежных элементов и "аналоговый ренессанс" – использование простых аналоговых элементов;
-
"голографические" системы – при разрушении случайно выбранной части система сохраняет свои полезные свойства.
Предполагается, что система связей достаточно богата по своим возможностям и достаточно избыточна, чтобы скомпенсировать бедность выбора элементов, их ненадежность, возможные разрушения части связей.
Коннекционизм и связанные с ним идеи однородности, избыточности и голографичности еще ничего не говорят нам о том, как же такую систему научить решать реальные задачи. Хотелось бы, чтобы это обучение обходилось не слишком дорого.
Существует большой класс задач: нейронные системы ассоциативной памяти, статистической обработки, фильтрации и др., для которых связи формируются по явным формулам. Но еще больше (по объему существующих приложений) задач требует неявного процесса. По аналогии с обучением животных или человека этот процесс называют обучением.
Обучение нейронных сетей оказалось продуктивным и при решении задач на обычных персональных компьютерах. Оказалось, что если обучить нейронную сеть решать какую-либо задачу, а затем вырезать из нее все связи, кроме необходимых, без которых эту задачу не решить, то получается очень полезное явное представление знаний о способе решения. Из данных, использованных для обучения, получаем явные знания. Например, обучая сеть предсказывать социально-политическую ситуацию, получаем полезную политологическую теорию, заложим обработку экономических данных – получим экономические знания и т.д.
По-настоящему эффективная работа нейронных сетей требует параллелизма. Можно даже сказать, что искусственные нейронные сети – одно из мощных средств программирования высокопараллельных компьютеров. Обкатка нейросетевых алгоритмов на персональных компьютерах позволяет, однако, усовершенствовать и сами алгоритмы – дефицит вычислительных ресурсов (отсутствие параллельности) приводит здесь к более жесткому отбору и быстрой эволюции.
В предлагаемом сборнике собраны статьи молодых ученых – представителей красноярской школы нейроинформатики. Большинство статей связано с созданием нейросетевых алгоритмов обработки данных и реализацией этих алгоритмов на персональных компьютерах (А.А. Россиев, В.Г. Царегородцев, Н.А. Погребная, М.Г. Доррер, А.А. Питенко). Здесь есть и новые алгоритмы решения классической проблемы заполнения пробелов в данных, и описание технологии нейросетевого производства явных знаний из данных, а также различные приложения нейросетевых методов: от очень популярных сейчас геоинформационных систем (ГИС) до систем психологического тестирования и предсказания отношений в группе.
Другая группа работ посвящена развитию теории. В статье М.Ю. Сенашовой даны оценки необходимой точности во входных сигналах и элементах сети при заданой требуемой точности на выходе. Без решения такой задачи невозможно создавать надежные нейронные сети “в железе”. Е.О. Горбунова занимается проблемой “бесструктурного параллелизма” – грубо говоря, устройствами, совершающими вычисления при беспорядочном взаимодействии различных элементов.
Особое место занимает статья Л.И. Жукова, который описал свой богатый опыт подготовки учебно-исследовательских задач для работы со студентами и школьниками и дал обзор результатов решения этих задач.
Все работы были выполнены в учебно-научном центре по нейроинформатике, объединяющем академический институт и несколько вузов. Это один из центров, созданных по проекту № 68 Федеральной целевой программы “ИНТЕГРАЦИЯ” (направление 2.1).
Принятые к публикации работы были доложены и прошли конкурсный отбор на семинаре, поддержанном в рамках другого проекта ФЦП “ИНТЕГРАЦИЯ” (№ К0790+К0691, направление 1.6).
Работы получали также поддержку различных фондов и программ, ссылки на которые приведены в конце каждой статьи.