НЕЙРОННЫЕ СЕТИ

1. Основное отличие нейронных сетей от программного обеспечения?

К ним относятся:

1-массовый параллелизм; 2-распределенное представление информации и вычисления; 3-способность к обучению и к обобщению; 4-адаптивность; 5-свойство контекстуальной обработки информации; 6-толерантностью ошибкам; 7-низкое энергопотребление.

2. Что такое нейронная сеть ?

3. В какие классы могут быть сгруппированы нейронные сети по архитектуре связей?

По архитектуре связей ИНС могут быть сгруппированы в два класса: сети прямого распространения, в которых графы не имеют петель, и рекуррентные сети или сети с обратными связями.

4. Как расположены нейроны в нейронных сетях прямого распространения?

В наиболее распространенном семействе сетей первого класса, называемых многослойным персептроном, нейроны расположены слоями и имеют однонаправленные связи между слоями.

5. Нейронные сети прямого распространения ?

Сети прямого распространения являются статическими в том смысле, что на заданный вход они вырабатывают одну совокупность выходных значений, не зависящих от предыдущего состояния сети.

6. Рекуррентные нейронные сети ?

Рекуррентные сети являются динамическими, так как в силу обратных связей в них модифицируются входы нейронов, что приводит к изменению состояния сети.

7. Что понимается под емкостью в теории обучения нейронных сетей?

Под емкостью понимается, сколько образцов может запомнить сеть, и какие функции и границы принятия решений могут быть на ней сформированы.

8. Что понимается под сложностью образцов в теории обучения нейронных сетей?

Сложность образцов определяет число обучающих примеров, необходимых для достижения способности сети к обобщению.

9. Что понимается под вычислительной сложностью в теории обучения нейронных сетей?

Слишком малое число примеров может вызвать «переобученность» сети, когда она хорошо функционирует на примерах обучающей выборки, но плохо — на тестовых примерах, подчиненных тому же статистическому распределению.

10. Обучение нейронных сетей с помощью правила коррекции по ошибке ?

1. Правило коррекции по ошибке. При обучении с учителем для каждого входного примера задан желаемый выход d. Реальный выход сети у может не совпадать с желаемым. Принцип коррекции по ошибке при обучении состоит в использовании сигнала (d-y) для модификации весов, обеспечивающей постепенное уменьшение ошибки. Обучение имеет место только в случае, когда персептрон ошибается.

11. Обучение нейронных сетей методом Больцмана ?

Представляет собой стохастическое правило обучения, которое следует из информационных теоретических и термодинамических принципов. Целью обучения Больцмана является такая настройка весовых коэффициентов, при которой состояния видимых нейронов удовлетворяют желаемому распределению вероятностей. Обучение Больцмана может рассматриваться как специальный случай коррекции по ошибке, в котором под ошибкой понимается расхождение корреляций состояний в двух режимах.

12. Обучение нейронных сетей с помощью правила Хебба ?

Хебб опирался на следующие нейрофизиоло-гические наблюдения: если нейроны с обеих сторон синапса активизируются одновременно и регулярно, то сила синаптической связи возрастает. Важной особенностью этого правила является то, что изменение синаптического веса зависит только от активности нейронов, которые связаны данным синапсом.

13. Обучение нейронных сетей методом соревнования ?

При соревновательном обучении выходные нейроны соревнуются между собой за активизацию. Подобное обучение имеет место в биологических нейронных сетях. Обучение посредством соревнования позволяет кластеризовать входные данные: подобные примеры группируются сетью в соответствии с корреляциями и представляются одним элементом. При обучении модифицируются только веса «победившего» нейрона. Эффект этого правила достигается за счет такого изменения сохраненного в сети образца, при котором он становится чуть ближе ко входному параметру.

14. Архитектура многослойной сети прямого распространения?

Архитектура многослойной сети прямого распространения. Стандартная L- слойная сеть прямого распространения состоит из слоя входных узлов, (L-1) скрытых слоев и выходного слоя, соединенных последовательно в прямом направлении и не содержащих связей между элементами внутри слоя и обратных связей между слоями.

15. Многослойный персептрон.

Многослойный персептрон. Каждый вычислительный элемент использует пороговую или сигмоидальную функцию активации. Многослойный персептрон может формировать сколь угодно сложные границы принятия решения и реализовывать произвольные булевы функции. Разработка алгоритма обратного распространения для определения весов в многослойном персептроне сделала эти сети наиболее популярными у исследователей и пользователей нейронных сетей. Геометрическая интерпретация объясняет роль элементов скрытых слоев.
16. Сети, использующие радиальные базисные функции (RBF-сети)?

Сети, использующие радиальные базисные функции (RBF-сети), являются частным случаем двухслойной сети прямого распространения. Каждый элемент скрытого слоя использует в качестве активационной функции радиальную базисную функцию типа гауссовой. Радиальная базисная функция (функция ядра) центрируется в точке, которая определяется весовым вектором, связанным с нейроном.

17. Алгоритмы обучения RBF-сетей?

Основной алгоритм использует двушаговую стратегию обучения, или смешанное обучение. Он оценивает позицию и ширину ядра с использованием алгоритма кластеризации «без учителя», а затем алгоритм минимизации среднеквадратической ошибки «с учителем» для определения весов связей между скрытым и выходным слоями.

18. Самоорганизующиеся карты Кохонена.

Такая сеть является специальным случаем сети, обучающейся методом соревнования, в которой определяется пространственная окрестность для каждого выходного элемента. Представляет собой двумерный массив элементов, причем каждый элемент связан со всеми п входными узлами. Самоорганизующиеся карты Кохонена могут быть использованы для проектирования многомерных данных, аппроксимации Плотности и кластеризации. Эта сеть успешно применялась для распознавания речи, обработки изображений, в робототехнике и в задачах управления, анализе финансовых данных. Параметры сети включают в себя размерность массива нейронов, число нейронов в каждом измерении, форму окрестности, закон сжатия окрестности и скорость обучения.

19. Модели теории адаптивного резонанса.

Сеть имеет достаточное число выходных элементов, но они не используются до тех пор, пока не возникнет в этом необходимость. Обучающий алгоритм корректирует имеющийся прототип категории, только если входной вектор в достаточной степени ему подобен. В этом случае они резонируют. Степень подобия контролируется параметром сходства k, 0который связан также с числом категорий. Когда входной вектор недостаточно подобен ни одному существующему прототипу сети, создается новая категория, и с ней связывается нераспределенный элемент со входным вектором в качестве начального значения прототипа. Если не находится нераспределенного элемента, то новый вектор не вызывает реакции сети.

20. Сеть Хопфилда.

Сеть Хопфилда Динамическое изменение состояний сети может быть выполнено по крайней мере двумя способами: синхронно и асинхронно. В первом случае все элементы модифицируются одновременно на каждом временном шаге, во втором — в каждый момент времени выбирается и подвергается обработке один элемент. Этот элемент может выбираться случайно. Главное свойство энергетической функции состоит в том, что в процессеэволюции состояний сети согласно уравнению она уменьшается и достигает локального минимума, в котором она сохраняет постоянную энергию.

21. Ассоциативная память.

Ассоциативная память представляет собой способность восстановить полностью завершенные ситуации и образы из частичной информации. Эти системы соотносят входные данные с информацией, хранимой в памяти. Системы ассоциативной памяти могут определять сходство между новыми входными и хранящимися образцами. Такой тип неуправляемого обучения, как соревновательный фильтр ассоциативной памяти, имеет способности для обучения путем изменения своих весов в процессе распознавания категорий входных данных, не будучи обеспеченным примерами внешних учителей. Ассоциативная память обычно работает в двух режимах: хранения и восстановления.

22. Опишите основные шаги процесса развития и настройки искусственной нейронной сети?