8. Влияние функции оценки на логическую прозрачность сети. Исключение примеров

Точность решения задачи нейронной сетью регулируется функцией оценки [2,6], вычисляющей невязку между выходными сигналами сети и сигналами, которые требуется получить. Чем ниже требуемая точность, тем более простая (и более логически прозрачная сеть) сможет решить задачу. Поэтому для задачи приведения сети к логически прозрачному виду надо устанавливать как можно более низкие требования к точности и использовать специализированные функции оценки.

Не все примеры сеть может решить с одинаковой точностью – в таблице данных могут присутствовать примеры, которые с трудом решаются сетью, в то время, как остальные примеры сеть решает хорошо. Причиной этого может быть некорректность поставленной задачи. Например, в действительности в таблицу данных входят примеры трех классов, а мы пытаемся обучить сеть классификации на два класса. Другой причиной может быть, например, ошибка измерений либо опечатка при вводе данных в таблицу.

Для того, чтобы обнаружить некорректность в данных (либо в постановке задачи), предлагается исключать из таблицы данных наиболее “трудные” примеры (примеры с наибольшим значением функции оценки). Если сеть обучается правильно решать задачу и упрощается до довольно простой структуры, то исключение примеров производить не надо – задача корректна. В противном случае можно предложить следующий подход.

Зададимся требованием к числу правильно решенных примеров. Допустим, что нас устроит правильность решения 95% от общего числа примеров, присутствующих в таблице данных. Тогда построим процесс обучения и упрощения сети так, чтобы сеть, правильно решающая 95% примеров, считалась правильно обученной решать задачу и, соответственно, упрощалась с сохранением навыка решения 95% примеров. При упрощении сети примеры, входящие в состав 5% наиболее трудных, могут меняться. После завершения процесса упрощения, если в итоге получилась сеть, гораздо более простая по сравнению с логически прозрачной сетью для всего набора задач, необходимо проанализировать наиболее трудные примеры – там могут встретиться ошибки в данных (см., например, [2], стр. 14) либо эти примеры будут “нетипичны” по сравнению с остальными.

Если же сеть с самого начала не может обучиться правильно решать задачу, то будем исключать из таблицы данных наиболее трудные примеры до тех пор, пока сеть не сможет обучиться. Далее надо исследовать статистические различия между набором оставшихся и исключенных данных – может обнаружиться, что отброшенные примеры образуют отдельный класс. Так было при решении задачи нейросетевой постановки диагноза вторичного иммунодефицита по иммунологическим и метаболическим параметрам лимфоцитов. Только коррекция классификационной модели (из отброшенных данных сформировали третий класс в дополнение к двум изначально имевшимся) позволила обучить сеть правильно решать теперь уже измененную задачу ([2] , стр. 15-16).

1. 9. Как выбирают американских президентов

Проиллюстируем процесс производства знаний из таблиц данных на основе базы данных по результатам выборов президентов США [2].

Имеется таблица данных с результатами 31-ой предвыборной ситуации (с 1860 по 1980 г.). Для каждых выборов в таблице содержатся данные по 12-ти бинарным признакам:

1. 
   Правящая партия была у власти более одного срока?
   
2. 
   Правящая партия получила более 50% голосов на прошлых выборах?
   
3. 
   В год выборов была активна третья партия?
   
4. 
   Была серьезная конкуренция при выдвижении кандидата от правящей партии?
   
5. 
   Кандидат от правящей партии был президентом в год выборов?
   
6. 
   Был ли год выборов временем спада или депрессии?
   
7. 
   Был ли рост среднего национального валового продукта на душу населения более 2,1%?
   
8. 
   Произвел ли правящий президент существенные изменения в политике?
   
9. 
   Во время правления были существенные социальные волнения?
   
10. 
    Администрация правящей партии виновна в серьезной ошибке или скандале?
    
11. 
    Кандидат от правящей партии – национальный герой?
    
12. 
    Кандидат от оппозиционной партии – национальный герой?
    

Нейронные сети, обученные на этой таблице данных, уверенно предсказывали результаты вторых выборов Рейгана, победу Буша над Дукакисом, обе победы Клинтона.

Рассмотрим результаты построения по этой таблице логически прозрачных сетей и их вербализации. Оказывается, правильно предсказать результаты выборов можно на основании всего 5-ти признаков из 12-ти исходных.

Минимальная нейронная сеть содержит всего один сигмоидный нейрон, у которого на сумматор подаются значения признаков 4,6,8,9,12 (нумерация соответствует номеру признака в вышеприведенном списке) и постоянный единичный сигнал. Однако не все веса синапсов этой сети бинаризованы.

Можно построить однонейронные сети с бинаризованными весами синапсов, но для этого приходится оставлять 6 наиболее значимых признаков. Две такие сети приведены на рис. 2. Эти сети, как и ранее упомянутая однонейронная сеть с пятью входами, были получены из однослойной сети с 10-ю сигмоидными нейронами и дополнительным адаптивным сумматором, принимающим сигналы всех нейронов, с которого и снимался выходной сигнал сети.

Рис. 2. Однонейронные сети для предсказания результатов выборов президентов США

Рис. 3. Логически прозрачная нейронная сеть для предсказания

результатов выборов президентов США

Можно построить четырехнейронную логически прозрачную сеть, на каждый нейрон которой приходит три или два сигнала. Веса синапсов бинаризованы, используется пять входных сигналов. Она приведена на рис. 3. Эта сеть была получена из двухслойной сети с 10-ю нейронами в каждом слое и дополнительным выходным адаптивным сумматором.

На основе этих нейронных сетей можно строить наборы правил, помогающие как прогнозировать результаты выборов, так и менять предвыборную ситуацию таким образом, чтобы либо остаться у власти (для правящей партии), либо прийти к власти (для оппозиции). Так, для правящей партии плохо, если внутри ее существует конкуренция, если были социальные волнения, если активна третья партия или если отсутствует экономический рост. Для правящей партии хорошо, если президент зарекомендовал себя новатором (произвел существенные изменения в политике). Соответственно, для оппозиционной партии выигрышна прямо противоположная ситуация.

1. 10. Заключение

Применение описанной технологии приведения сети к логически прозрачному виду и последующей вербализации для получения явных знаний из таблиц данных возможно во всех проблемных областях, где нейронные сети давно и с успехом применяются – в медицине, психологии, политологии, экономике, экологии, диагностике и управлении в технических системах и т.д. После приведения к логически прозрачному виду получаем нейронную сеть, не только допускающую простейшую техническую реализацию и использующую минимум данных, но и формирующую явный алгоритм решения задачи. Поскольку нейронные сети часто применяются для решения неформализованных задач, то возможность формирования явных алгоритмов решения поднимает нейронные сети на новый потребительский уровень.

Работа выполнена при поддержке Министерства науки и технологий РФ (подпрограмма "Перспективные информационные технологии", проект № 05.04.1291) и Красноярского краевого фонда науки (грант 7F0113).
ЛИТЕРАТУРА

1. 
   Горбань А.Н. Обучение нейронных сетей. М.": изд. СССР-США СП "ParaGraph", 1990. 160 с. (English Translation: AMSE Transaction, Scientific Siberian, A, 1993, Vol. 6. Neurocomputing, рp.1-134).
   
2. 
   Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. Новосибирск: Наука, 1996. 276 с.
   
3. 
   Гилев С.Е., Коченов Д.А., Миркес Е.М., Россиев Д.А. Контрастирование, оценка значимости параметров, оптимизация их значений и их интерпретация в нейронных сетях // Доклады III Всероссийского семинара “Нейроинформатика и ее приложения”. – Красноярск: Изд-во КГТУ, 1995.- С.66-78.
   
4. 
   Горбань А.Н. Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей // Сиб. журн. вычисл. математики / РАН. Сиб. отд-ние. - Новосибирск, 1998. - Т.1, №1. - с.11-24.
   
5. 
   Горбань А.Н., Миркес Е.М. Логически прозрачные нейронные сети для производства знаний из данных. Вычислительный центр СО РАН в г. Красноярске. Красноярск, 1997. 12 с. (Рукопись деп. в ВИНИТИ 17.07.97, № 2434-В97)
   
6. 
   Горбань А.Н., Миркес Е.М. Оценки и интерпретаторы ответа для сетей двойственного функционирования. Вычислительный центр СО РАН в г. Красноярске. Красноярск, 1997. 24 с. (Рукопись деп. в ВИНИТИ 25.07.97, № 2511-В97)
   
7. 
   A. M. Chen, H.-m. Lu, R. Hecht-Nielsen. On the geometry of feedforward neural network error surfaces // Neural computations, 1993. - 5. pp. 910-927.
   
8. 
   Царегородцев В.Г., Погребная Н.А. Нейросетевые методы обработки информации в задачах прогноза климатических характеристик и лесорастительных свойств ландшафтных зон. // Настоящий сборник. - C. 65-110.