ЛР-5:
"Идентификация слов по входящим в них буквам"

Первую лабораторную работу рассмотрим более подробно, чтобы студенты могли ознакомиться с базовой системой "Эйдос", на которой основан курс лекций и лабораторных работ.

В данной работе исследуется возможность идентификации слов по входящим в них буквам. При этом слова рассматриваются как классы распознавания, а буквы – как признаки. Подробно описана технология синтеза и анализа модели с применением инструментария СК-анализа – системы "Эйдос", приведены видеограммы, табличные и графические выходные формы, причем впервые – классическая и интегральная когнитивные карты, генерируемые в версии 12.5. Продемонстрировано на численных примерах, что при идентификации слов главную роль играет информация о входящих в них буквах, а последовательность букв и их сочетаний не играет особой роли. Продемонстрирована устойчивость модели от неполноты и зашумленности информации.

Краткая теория

Язык является мощным средством моделирования реальности. Иерархическая структура языка, включающего в частности такие структуры, как символы, слова, предложения и тексты, является ярким примером иерархической структуры обработки информации, обеспечивающей адекватное отражение структуры реальности. Описание некоторых объектов на естественном языке является их моделированием и позволяет решать задачи идентификации, прогнозирования, сравнения и классификации этих объектов. Автоматизированный синтез моделей объектов, описанных на естественном языке, представляет большой интерес для теории и практики систем искусственного интеллекта.

Эффективность языка, как системы моделирования, удивительна: 32 буквы русского алфавита позволяют составить более 40 тысяч слов русского языка, из которых может быть образовано огромное количество осмысленных предложений.

Каждый символ содержит некоторое количество информации о словах, предложениях и текстах, в которые он входит, каждое слово – о предложениях и текстах, и каждое предложение – о текстах. Однако в буквах содержится больше информации о словах, в словах – о предложениях, в предложениях – о текстах. Поэтому на основе анализа букв целесообразно идентифицировать лишь слова, а на основе слов – предложения, на основе предложений – тексты.

В данной работе исследуется возможность идентификации слов по входящим в них буквам. При этом слова рассматриваются как классы распознавания, а буквы – как признаки.

Эта задача проста и наглядна. Поэтому она рекомендуется в качестве первой лабораторной работы для освоения инструментария системно-когнитивного анализа – универсальной когнитивной аналитической системы "Эйдос" [64, 92].

Подобные задачи имеют большое практическое значение и решаются в ряде систем, например, в редакторе Word – при проверке орфографии и подборе рекомендуемых слов для замены, в системе FineReader – для поиска слов с неверно распознанными символами и др.

Задание

1. Создать файл в стандарте DOS-текст с концами строк, записать его в поддиректорию DOB.

2. Сгенерировать классификационные и описательные шкалы и градации, а также обучающую выборку.

3. Осуществить синтез и верификацию модели.

4. Провести анализ устойчивости модели к неполноте информации и наличию шума.

5. Проверить способность модели правильно идентифицировать классы, один из которых является подмножеством другого.

6. Оценить ценность букв для идентификации слов. Сравнить суммарную ценность для этой цели гласных и согласных букв.

7. Выполнить кластерно-конструктивный анализ слов и букв, вывести информационные и семантические портреты слов и букв, построить их профили.

8. Вывести в графической форме семантические сети и когнитивные диаграммы слов и букв, а также классическую и интегральную когнитивные карты.

Пример решения

Пример решения задания 1: "Создать файл в стандарте DOS-текст с концами строк, записать его в поддиректорию DOB"

Текстовый файл создается в редакторе Word или MultiEdit. Если он создан в Word, то при сохранении выбирается режим: "Файл – Сохранить как – Тип файла: Текст DOS с разбиением на строки". Имя файла произвольное, но удовлетворяющее требованиям DOS. Этот файл каждый студент создает самостоятельно из двух – трех абзацев текста. Например, это может быть краткая биография студента или текст может быть взят из какого-либо файла, имеющегося на компьютере. Могут использоваться и русский, и латинский алфавиты, а также цифры. Регистр роли не играет.

Пример текста файла:

Молоко око срок окорок огород В. Г. Белинский
высоко и по достоинству оценил гениальное творение
нашего национального поэта. Великий критик писал:
"Пусть идет время и приводит с собой новые
потребности, пусть растет русское общество и обгоняет
"Онегина": как бы далеко оно ни ушло, всегда будет
оно любить эту поэму, всегда будет останавливать на
ней исполненный любви и благодарности взор...".

Слова из этого файла будут использованы системой для выполнения следующего этапа работы.

Пример решения задания 2: "Сгенерировать классификационные и описательные шкалы и градации, а также обучающую выборку"

Генерация классификационных и описательных шкал и градаций осуществляется в соответствующих режимах системы "Эйдос": "Автоввод первичных признаков и TXT-файлов", "F5 Признаки – Буквы". (рисунки 121 и 122):

Рисунок 121. Выбор режима "Импорт данных из TXT-файлов
стандарта DOS-текст

Рисунок 122. Выбор режима "Признаки – F5 Буквы"

В результате будут автоматически сгенерированы классификационные и описательные шкалы и градации, а также обучающая выборка (приведена полностью) (таблицы 67, 68, 69).

Таблица 67 – КЛАССИФИКАЦИОННЫЕ ШКАЛЫ И ГРАДАЦИИ (СЛОВА)

Код	Слово	Код	Слово	Код	Слово
1	БЕЛИНСКИЙ	16	ЛЮБВИ	31	ОЦЕНИЛ
2	БЛАГОДАРНОСТИ	17	ЛЮБИТЬ	32	ПИСАЛ
3	БУДЕТ	18	МОЛОКО	33	ПОТРЕБНОСТИ
4	ВЕЛИКИЙ	19	НАЦИОНАЛЬНОГО	34	ПОЭМУ
5	ВЗОР	20	НАШЕГО	35	ПОЭТА
6	ВРЕМЯ	21	НЕЙ	36	ПРИВОДИТ
7	ВСЕГДА	22	НОВЫЕ	37	ПУСТЬ
8	ВЫСОКО	23	ОБГОНЯЕТ	38	РАСТЕТ
9	ГЕНИАЛЬНОЕ	24	ОБЩЕСТВО	39	РУССКОЕ
10	ДАЛЕКО	25	ОГОРОД	40	СОБОЙ
11	ДОСТОИНСТВУ	26	ОКО	41	СРОК
12	ИДЕТ	27	ОКОРОК	42	ТВОРЕНИЕ
13	ИСПОЛНЕННЫЙ	28	ОНЕГИНА	43	УШЛО
14	КАК	29	ОНО	44	ЭТУ
15	КРИТИК	30	ОСТАНАВЛИВАТЬ

Таблица 68 – ОПИСАТЕЛЬНЫЕ ШКАЛЫ И ГРАДАЦИИ (БУКВЫ)

Код	Буква	Код	Буква	Код	Буква	Код	Буква
1	0	18	H	35	Y	52	П
2	1	19	I	36	Z	53	Р
3	2	20	J	37	А	54	С
4	3	21	K	38	Б	55	Т
5	4	22	L	39	В	56	У
6	5	23	M	40	Г	57	Ф
7	6	24	N	41	Д	58	Х
8	7	25	O	42	Е	59	Ц
9	8	26	P	43	Ж	60	Ч
10	9	27	Q	44	З	61	Ш
11	A	28	R	45	И	62	Щ
12	B	29	S	46	Й	63	Ъ
13	C	30	T	47	К	64	Ы
14	D	31	U	48	Л	65	Ь
15	E	32	V	49	М	66	Э
16	F	33	W	50	Н	67	Ю
17	G	34	X	51	О	68	Я

Таблица 69 – ОБУЧАЮЩАЯ ВЫБОРКА

№	Класс	Коды признаков
1	БЕЛИНСКИЙ	38	42	48	45	50	54	47	45	46	77
2	БЛАГОДАРНОСТИ	38	48	37	40	51	41	37	53	50	51	54	55	45	81
3	БУДЕТ	38	56	41	42	55	73
4	ВЕЛИКИЙ	39	42	48	45	47	45	46	75
5	ВЗОР	39	44	51	53	72
6	ВРЕМЯ	39	53	42	49	68	73
7	ВСЕГДА	39	54	42	40	41	37	74
8	ВЫСОКО	39	64	54	51	47	51	74
9	ГЕНИАЛЬНОЕ	40	42	50	45	37	48	65	50	51	42	78
10	ДАЛЕКО	41	37	48	42	47	51	74
11	ДОСТОИНСТВУ	41	51	54	55	51	45	50	54	55	39	56	79
12	ИДЕТ	45	41	42	55	72
13	ИСПОЛНЕННЫЙ	45	54	52	51	48	50	42	50	50	64	46	79
14	КАК	47	37	47	71
15	КРИТИК	47	53	45	55	45	47	74
16	ЛЮБВИ	48	67	38	39	45	73
17	ЛЮБИТЬ	48	67	38	45	55	65	74
18	МОЛОКО	49	51	48	51	47	51	74
19	НАЦИОНАЛЬНОГО	50	37	59	45	51	50	37	48	65	50	51	40	51	81
20	НАШЕГО	50	37	61	42	40	51	74
21	НЕЙ	50	42	46	71
22	НОВЫЕ	50	51	39	64	42	73
23	ОБГОНЯЕТ	51	38	40	51	50	68	42	55	76
24	ОБЩЕСТВО	51	38	62	42	54	55	39	51	76
25	ОГОРОД	51	40	51	53	51	41	74
26	ОКО	51	47	51	71
27	ОКОРОК	51	47	51	53	51	47	74
28	ОНЕГИНА	51	50	42	40	45	50	37	75
29	ОНО	51	50	51	71
30	ОСТАНАВЛИВАТЬ	51	54	55	37	50	37	39	48	45	39	37	55	65	81
31	ОЦЕНИЛ	51	59	42	50	45	48	74
32	ПИСАЛ	52	45	54	37	48	73
33	ПОТРЕБНОСТИ	52	51	55	53	42	38	50	51	54	55	45	79
34	ПОЭМУ	52	51	66	49	56	73
35	ПОЭТА	52	51	66	55	37	73
36	ПРИВОДИТ	52	53	45	39	51	41	45	55	76
37	ПУСТЬ	52	56	54	55	65	73
38	РАСТЕТ	53	37	54	55	42	55	74
39	РУССКОЕ	53	56	54	54	47	51	42	75
40	СОБОЙ	54	51	38	51	46	73
41	СРОК	54	53	51	47	72
42	ТВОРЕНИЕ	55	39	51	53	42	50	45	42	76
43	УШЛО	56	61	48	51	72
44	ЭТУ	66	55	56	71

Пример решения задания 3: " Осуществить синтез и верификацию модели"

Синтез модели осуществляется на основе обучающей выборки (таблица 69) в соответствующем режиме (рисунок 123) после формирования классификационных и описательных шкал и градаций и обучающей выборки.

Рисунок 123. Режим "Синтез семантической информационной модели"
системы "Эйдос"

В результате синтеза семантической информационной модели рассчитываются две ее основные матрицы: матрица абсолютных частот (таблица 70) и матрица информативностей (таблица 71).

В матрице частот отражается суммарное количество встреч каждого признака у объектов каждого класса по данным обучающей выборки. Каждый элемент матрицы информативностей показывает, какое количество информации о переходе объекта управления в состояние, соответствующее классу, мы получаем, если узнаем, что действует некоторый признак.

Таблица 70 – МАТРИЦА АБСОЛЮТНЫХ ЧАСТОТ (ФРАГМЕНТ)

Коды букв	Коды классов (слов)
	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19
37		2					1		1	1				1					2
38	1	1	1													1	1
39				1	1	1	1	1			1					1
40		1					1		1										1
41		1	1				1			1	1	1
42	1		1	1		1	1		2	1		1	1
43
44					1
45	2	1		2					1		1	1	1		2	1	1		1
46	1			1									1
47	1			1				1		1				2	2			1
48	1	1		1					1	1			1			1	1	1	1
49						1												1
50	1	1							2		1		3						3
51		2			1			2	1	1	2		1					3	3
52													1
53		1			1	1									1
54	1	1					1	1			2		1
55		1	1								2	1			1		1
56			1								1

Таблица 71 – МАТРИЦА ИНФОРМАТИВНОСТЕЙ (ФРАГМЕНТ)

Коды букв	Коды классов (слов)
	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19
37		1,0					1,1		0,6	1,1				1,7					1,0
38	1,2	0,9	1,8													1,8	1,6
39				1,1	1,6	1,4	1,3	1,3			0,7					1,4
40		1,0					1,7		1,2										1,0
41		1,0	1,9				1,7			1,7	1,1	2,1
42	0,4		0,9	0,6		0,9	0,7		0,9	0,7		1,1	0,2
43
44					4,1
45	1,0			1,3					0,3		0,2	1,1	0,2		1,4	0,9	0,7
46	1,8			2,0									1,6
47	0,8			1,0				1,2		1,2				2,5	1,9			1,2
48	0,8	0,4		1,0					0,7	1,2			0,6			1,4	1,2	1,2	0,4
49						2,8												2,7
50	0,4								0,9		0,2		1,2						1,1
51					0,4			0,7	-0,5		0,1		-0,6					1,1	0,3
52													1,3
53		0,6			1,7	1,5									1,3
54	0,6	0,2					1,0	1,0			1,1		0,4
55		0,1	1,0								0,9	1,2			0,8		0,8
56			2,0								1,3

Верификация модели осуществляется путем копирования обучающей выборки в распознаваемую (рисунок 124), распознавания (рисунок 125, 126) и измерения дифференциальной и интегральной валидности (рисунок 127):

Рисунок 124. Режим "Ввод-корректировка обучающей выборки"
системы "Эйдос" (копирование ее в распознаваемую – F5)

Рисунок 125. Выбор режима "Пакетное распознавание"
системы "Эйдос"

Рисунок 126. Выполнение режима "Пакетное распознавание"
системы "Эйдос"

Рисунок 127. Выбор режима "Измерение адекватности модели"
системы "Эйдос"

Рисунок 128. Режим "Измерение адекватности модели"
системы "Эйдос"

Видим, что модель адекватна, т.к. интегральная валидность составляет 100%. Это означает, что при идентификации слов на основе знания входящих в них букв системой не было допущено ни одной ошибки, причем необходимо специально отметить, что при этом в модели не учитывались последовательность букв и их сочетаний.

Пример решения задания 4: "Проверить устойчивость модели к неполноте информации и наличию шума"

В примере, исследуемом в данной лабораторной работе, неполнота информации – это пропуск букв, а наличие шума – замена верных букв неверными.

Устойчивость модели к неполноте информации

Подготовим распознаваемую выборку, состоящую из идентифицируемых слов с отсутствующими буквами.

Для этого выполним следующую последовательность шагов:

Шаг 1. Сбросим распознаваемую выборку в режиме "F7 Сервис – Генерация (сброс) баз данных – Распознаваемые анкеты" (рисунок 129):

Рисунок 129. Режим "Сброс распознаваемой выборки"
системы "Эйдос"

Шаг 2. Скопируем, например, первую анкету из обучающей выборки в распознаваемую, используя возможности режима "F2 Обучение – Ввод-корректировка обучающей выборки" (рисунок 124);

Шаг 3. Выберем режим "F4 Распознавание – Ввод-корректировка распознаваемой выборки" (рисунок 130):

Рисунок 130. Выбор режима "Ввод-корректировка распознаваемой
выборки" системы "Эйдос"

Выбор режима осуществляется нажатием клавиши Enter.

Шаг 4. Перейдем в правое окно, в котором задаются коды признаков, нажав клавишу "TAB".

Шаг 5. Удаляем последний код признака и дублируем анкету, нажав клавишу "F5 Дублирование анкеты".

Повторяем шаги 4 и 5 до тех пор, пока в описании слова останется одна буква. В результате получится видеограмма, представленная на рисунке 131.

Студенты при выполнении этого этапа работы могут взять несколько анкет на выбор. При этом набор анкет должен отличаться у разных студентов.

Обучающая выборка в этом случае будет иметь вид, представленный на таблице 72:

Таблица 72 – ВАРИАНТЫ КОДИРОВАНИЯ ОБЪЕКТА ОБУЧАЮЩЕЙ ВЫБОРКИ, ОТЛИЧАЮЩИЕСЯ СТЕПЕНЬЮ НЕПОЛНОТЫ ИНФОРМАЦИИ

№	Класс	Коды признаков
1	БЕЛИНСКИЙ	38	42	48	45	50	54	47	45	46
2	БЕЛИНСКИЙ	38	42	48	45	50	54	47	45
3	БЕЛИНСКИЙ	38	42	48	45	50	54	47
4	БЕЛИНСКИЙ	38	42	48	45	50	54
5	БЕЛИНСКИЙ	38	42	48	45	50
6	БЕЛИНСКИЙ	38	42	48	45
7	БЕЛИНСКИЙ	38	42	48
8	БЕЛИНСКИЙ	38	42
9	БЕЛИНСКИЙ	38

Жирным шрифтом выделены символы, коды которых есть в анкете.

Рисунок 131. Выполнение режима "Ввод-корректировка
распознаваемой выборки" системы "Эйдос"

Шаг 6. Выполним пакетное распознавание, выбрав и выполнив режим "F4 Распознавание – Пакетное распознавание", как показано на рисунках 125 и 126.

Шаг 7. Затем выберем и выполним режим "F4 Распознавание – Вывод результатов распознавания" (рисунок 132):

Рисунок 132. Выбор режима "Вывод результатов распознавания"
системы "Эйдос"

Шаг 8. Войдя в этот режим получим видеограмму, представленную на рисунке 133:

Рисунок 133. Обобщенная форма по результатам выполнения режима
"Вывод результатов распознавания" системы "Эйдос"

Шаг 9. Нажав клавишу "F1 Карта идентификации объекта с классами" получим более подробные результаты идентификации, представленные в карточках распознавания на рисунке 134:

Рисунок 134. Идентификация в условиях неполноты информации
в системе "Эйдос"

Из обобщенных и детальных выходных форм по результатам распознавания слова по его неполному описанию видно, что модель обладает очень высокой устойчивостью к неполноте информации в описании идентифицируемых объектов.

Устойчивость модели к наличию шума

Шум можно рассматривать как сочетание неполноты информации (т.к. некоторые значащие символы исчезают из описаний объектов), и дезинформации (т.к. в описание включаются ложные символы).

Поэтому замену символов в словах на символы, которые не встречаются по обучающей выборке можно считать неполнотой информации. Этот случай мы рассматривать не будем, т.к. по сути уже рассмотрели его в предыдущем пункте.

Рассмотрим пример, в котором одно слово заменой букв преобразуется в другое слово, например, слово "критик" преобразуется в слово "окорок". Каждой замене будет соответствовать одна анкета распознаваемой выборки (таблица 73):

Таблица 73 – ВАРИАНТЫ КОДИРОВАНИЯ ОБЪЕКТА ОБУЧАЮЩЕЙ ВЫБОРКИ, ОТЛИЧАЮЩИЕСЯ УРОВНЕМ ШУМА

№	Класс	Коды признаков
1	КРИТИК	47	53	45	55	45	47
2	КРОТИК	47	53	51	55	45	47
3	КРОТОК	47	53	51	55	51	47
4	ОКОРОК	47	53	51	51	51	47

Результаты идентификации представлены на рисунке 135:

Рисунок 135. Результаты идентификации в условиях шума
в системе "Эйдос"

Видим, что модель обладает определенной устойчивостью и к шуму.

Пример решения задания 5: "Проверить способность модели правильно идентифицировать классы, один из которых является подмножеством другого"

С этой целью в текстовый файл специально включены такие слова, как: "око", "окорок", "молоко".

Результаты их идентификации приведены на рисунке 136:

Рисунок 136. Карточка результатов распознавания системы "Эйдос"
в случае идентификации классов, один из которых
является подмножеством других

Как видим, идентификация классов, один из которых является подмножеством других, осуществляется правильно. Это является важным достоинством семантической информационной модели системы "Эйдос", т.к. представляет собой проблему для многих типов нейронных сетей. Достаточно отметить, что возможность решения подобных задач считается одним из основных достоинств развитой модели нейронной сети, реализованной в неокогнитроне Фукушимы.

Пример решения задания 6: Оценить ценность букв для идентификации слов. Сравнить суммарную ценность для этой цели гласных и согласных букв

Для решения этой задачи запустим 2-й режим в 3-й подсистеме (рисунок 137). В этом режиме все признаки, которыми в данном примере являются буквы, выводятся системой "Эйдос" в порядке убывания среднего количества информации, которое в них содержится о принадлежности к словам. Если просуммировать ценность букв "нарастающим итогом" то получим накопительную кривую, представленную на рисунке 138. Эта кривая называется "Парето-диаграмма" по имени известного итальянского математика и экономиста XIX, Вильфредо Парето, впервые предложившего оценивать силу влияния факторов, исключать из рассмотрения незначимые факторы и впервые построившего подобные диаграммы.

Рисунок 137. Запуск режима системы "Эйдос" измерения ценности признаков для решения задач идентификации, прогнозирования и управления

Рисунок 138. Парето-диаграмма ценности букв для идентификации слов

Характерная "полочка" на Парето-диаграмме соответствует цифрам и буквам латинского алфавита, которые не встретились в словах обучающей выборки. В таблице 74 приведены буквы, проранжированные в порядке убывания среднего количества информации в них, о принадлежности к словам.

Таблица 74 – ЦЕННОСТЬ БУКВ ДЛЯ ИДЕНТИФИКАЦИИ СЛОВ

№	Код	Буква	Ценность (бит)	Ценность (бит) "нарастающим итогом"	Ценность (%) "нарастающим итогом"
1	66	Э	0,76988	0,76988	4,841
2	56	У	0,74529	1,51517	9,526
3	49	М	0,71090	2,22607	13,996
4	46	Й	0,69728	2,92335	18,380
5	61	Ш	0,68748	3,61083	22,703
6	47	К	0,68569	4,29652	27,014
7	67	Ю	0,66376	4,96028	31,187
8	52	П	0,66014	5,62042	35,338
9	64	Ы	0,65157	6,27199	39,434
10	41	Д	0,64023	6,91222	43,460
11	68	Я	0,63612	7,54834	47,459
12	44	З	0,62131	8,16965	51,366
13	65	Ь	0,59697	8,76662	55,119
14	38	Б	0,59622	9,36284	58,868
15	53	Р	0,58610	9,94894	62,553
16	59	Ц	0,57201	10,52095	66,149
17	40	Г	0,56958	11,09053	69,730
18	39	В	0,55490	11,64543	73,219
19	62	Щ	0,52045	12,16588	76,492
20	37	А	0,51477	12,68065	79,728
21	48	Л	0,50010	13,18075	82,872
22	54	С	0,47977	13,66052	85,889
23	55	Т	0,47498	14,13550	88,875
24	51	О	0,46548	14,60098	91,802
25	50	Н	0,45089	15,05187	94,637
26	45	И	0,43046	15,48233	97,343
27	42	Е	0,42253	15,90486	100,000

Пример решения задания 7: "Выполнить кластерно-конструктивный анализ слов и букв, вывести информационные и семантические портреты слов и букв, построить их профили"

Кластерно-конструктивный анализ слов

Кластерно-конструктивный анализ выполняется в 5-й подсистеме "Типология" (рисунок 139). Сначала на основе матрицы информативностей рассчитывается матрица сходства классов (таблица 75), а затем на основе нее формируется таблица кластеров и конструктов классов (таблица 76).

Рисунок 139. Запуск режима кластерно-конструктивного анализа классов (слов)

Таблица 75 – ФРАГМЕНТ МАТРИЦЫ СХОДСТВА КЛАССОВ (СЛОВ)

Код	Коды классов
	1	2	3	4	5	6	7	8	9	10	11	12
1	100,0	20,0	19,0	78,1	-6,6	-5,5	1,3	9,7	12,9	22,2	5,3	13,3
2	20,0	100,0	43,1	-1,4	4,3	1,5	68,2	-4,6	32,4	54,0	23,9	31,5
3	19,0	43,1	100,0	-2,4	-5,5	-1,6	29,5	-6,7	2,2	36,3	65,5	57,8
4	78,1	-1,4	-2,4	100,0	7,2	7,9	11,7	19,5	12,9	29,3	5,6	18,3
5	-6,6	4,3	-5,5	7,2	100,0	17,2	8,3	10,2	-7,2	-5,5	4,9	-4,9
6	-5,5	1,5	-1,6	7,9	17,2	100,0	9,6	5,1	0,0	-1,4	1,4	1,7
7	1,3	68,2	29,5	11,7	8,3	9,6	100,0	18,0	35,1	49,5	47,9	44,5
8	9,7	-4,6	-6,7	19,5	10,2	5,1	18,0	100,0	-10,6	9,6	19,6	-6,0
9	12,9	32,4	2,2	12,9	-7,2	0,0	35,1	-10,6	100,0	23,3	-5,8	11,7
10	22,2	54,0	36,3	29,3	-5,5	-1,4	49,5	9,6	23,3	100,0	25,3	53,4
11	5,3	23,9	65,5	5,6	4,9	1,4	47,9	19,6	-5,8	25,3	100,0	51,4
12	13,3	31,5	57,8	18,3	-4,9	1,7	44,5	-6,0	11,7	53,4	51,4	100,0
13	42,0	-2,2	-5,7	36,4	-7,0	-5,8	-2,4	46,5	16,9	2,4	0,5	-2,3
14	19,8	23,2	-4,6	24,4	-3,5	-4,4	14,7	25,7	7,8	55,9	-5,1	-4,1
15	32,9	8,4	2,5	39,0	13,0	9,4	-7,2	18,2	-1,5	23,9	9,2	28,2
16	30,3	18,2	15,4	26,5	6,9	3,9	6,5	6,7	4,0	7,7	4,3	2,8
17	24,1	15,2	18,0	9,3	-5,6	-7,0	-8,2	-6,9	35,3	5,0	1,2	9,0
18	14,6	0,1	-6,1	18,9	-1,6	43,7	-6,8	14,5	-2,5	26,9	-5,1	-5,5
19	-0,6	24,6	-7,8	-3,6	-5,0	-7,4	19,5	-4,9	57,2	10,9	-5,7	-7,0
20	-2,3	29,7	-1,1	-2,9	-4,9	-2,2	33,7	-5,8	36,1	10,5	-5,7	2,3
21	61,5	-6,4	5,7	59,9	-4,1	3,0	4,1	-5,0	24,2	6,3	-3,1	11,8
22	0,1	-7,4	1,2	14,9	10,8	12,4	17,4	80,2	12,3	1,6	8,2	5,5
23	13,3	30,3	21,5	-4,9	-4,3	51,6	19,3	-4,0	20,5	-3,2	0,5	6,2
24	13,9	10,1	18,6	4,7	4,8	3,7	12,0	11,3	-4,4	-3,2	15,7	5,2

Таблица 76 – КОНСТРУКТ СЛОВ: "КРИТИК – ВСЕГДА"

№	Код слова	Слово	Уровень сходства	№	Код слова	Слово	Уровень сходства
1	15	КРИТИК	100,00	23	2	БЛАГОДАРНОСТИ	8,37
2	27	ОКОРОК	71,79	24	28	ОНЕГИНА	7,32
3	41	СРОК	65,59	25	31	ОЦЕНИЛ	5,70
4	14	КАК	52,61	26	44	ЭТУ	5,67
5	26	ОКО	51,07	27	16	ЛЮБВИ	5,34
6	42	ТВОРЕНИЕ	40,52	28	30	ОСТАНАВЛИВАТЬ	3,81
7	39	РУССКОЕ	40,23	29	35	ПОЭТА	2,59
8	36	ПРИВОДИТ	39,13	30	3	БУДЕТ	2,53
9	4	ВЕЛИКИЙ	38,98	31	37	ПУСТЬ	1,54
10	38	РАСТЕТ	37,88	32	23	ОБГОНЯЕТ	-1,37
11	1	БЕЛИНСКИЙ	32,92	33	9	ГЕНИАЛЬНОЕ	-1,50
12	33	ПОТРЕБНОСТИ	29,38	34	24	ОБЩЕСТВО	-1,55
13	12	ИДЕТ	28,16	35	13	ИСПОЛНЕННЫЙ	-3,75
14	10	ДАЛЕКО	23,87	36	29	ОНО	-4,20
15	18	МОЛОКО	19,13	37	21	НЕЙ	-4,87
16	8	ВЫСОКО	18,23	38	43	УШЛО	-5,20
17	25	ОГОРОД	16,45	39	22	НОВЫЕ	-5,51
18	5	ВЗОР	12,98	40	40	СОБОЙ	-5,64
19	6	ВРЕМЯ	9,39	41	20	НАШЕГО	-5,81
20	32	ПИСАЛ	9,36	42	34	ПОЭМУ	-6,07
21	11	ДОСТОИНСТВУ	9,19	43	19	НАЦИОНАЛЬНОГО	-7,01
22	17	ЛЮБИТЬ	8,54	44	7	ВСЕГДА	-7,17

Кластерно-конструктивный анализ букв

Аналогично в режиме кластерно-конструктивного анализа признаков (рисунок 140) получаем матрицу сходства букв и конструкты букв (таблицы 77 и 78).

Рисунок 140. Запуск режима кластерно-конструктивного анализа
признаков (букв)

Таблица 77 – ФРАГМЕНТ МАТРИЦЫ СХОДСТВА ПРИЗНАКОВ (БУКВ)

Код	Коды букв
	37	38	39	40	41	42	43	44	45	46	47	48
37	100,0	-22,5	-11,1	33,7	5,4	-1,6	0,0	-9,0	-15,9	-20,6	5,1	6,5
38	-22,5	100,0	-2,1	-3,6	3,3	-6,5	0,0	-7,5	9,4	18,5	-20,9	13,9
39	-11,1	-2,1	100,0	-11,3	1,2	10,7	0,0	36,7	7,5	-7,3	-15,9	-6,5
40	33,7	-3,6	-11,3	100,0	22,9	15,2	0,0	-7,0	-15,4	-16,0	-24,7	-14,5
41	5,4	3,3	1,2	22,9	100,0	21,7	0,0	-7,0	8,5	-16,0	-13,8	-10,4
42	-1,6	-6,5	10,7	15,2	21,7	100,0	0,0	-12,0	6,1	20,8	-23,3	-11,4
43	0,0	0,0	0,0	0,0	0,0	0,0	0,0	0,0	0,0	0,0	0,0	0,0
44	-9,0	-7,5	36,7	-7,0	-7,0	-12,0	0,0	100,0	-9,1	-5,3	-8,2	-9,4
45	-15,9	9,4	7,5	-15,4	8,5	6,1	0,0	-9,1	100,0	15,3	5,4	35,3
46	-20,6	18,5	-7,3	-16,0	-16,0	20,8	0,0	-5,3	15,3	100,0	-1,8	8,1
47	5,1	-20,9	-15,9	-24,7	-13,8	-23,3	0,0	-8,2	5,4	-1,8	100,0	-2,8
48	6,5	13,9	-6,5	-14,5	-10,4	-11,4	0,0	-9,4	35,3	8,1	-2,8	100,0
49	-15,9	-13,3	7,9	-12,4	-12,4	-1,0	0,0	-4,1	-16,1	-9,5	0,5	3,9
50	0,9	-17,8	-16,8	29,0	-25,0	35,9	0,0	-8,8	-5,8	28,7	-29,0	-4,8
51	-31,8	2,6	-15,6	-0,9	-6,2	-36,3	0,0	7,6	-32,1	-6,3	30,3	-14,0
52	9,1	-13,2	-15,5	-19,5	-7,0	-30,2	0,0	-6,5	8,0	-4,7	-22,9	-1,6
53	-19,2	-20,2	15,7	-6,9	0,5	-4,8	0,0	36,4	-0,6	-20,4	19,8	-34,1
54	1,8	5,0	-0,5	-12,2	-4,6	-14,4	0,0	-9,6	-14,8	9,2	4,4	-14,3
55	-1,9	13,6	-12,1	-23,1	18,7	2,1	0,0	-10,3	10,2	-23,5	-25,1	-28,2
56	-25,1	-2,0	-20,5	-19,6	6,3	-12,3	0,0	-6,5	-23,8	-14,9	-14,9	-4,3
57	0,0	0,0	0,0	0,0	0,0	0,0	0,0	0,0	0,0	0,0	0,0	0,0
58	0,0	0,0	0,0	0,0	0,0	0,0	0,0	0,0	0,0	0,0	0,0	0,0
59	5,1	-10,6	-12,8	6,2	-9,9	4,9	0,0	-3,3	8,7	-7,6	-11,6	24,3
60	0,0	0,0	0,0	0,0	0,0	0,0	0,0	0,0	0,0	0,0	0,0	0,0

Таблица 78 – КОНСТРУКТ БУКВ: "А – О"

№	Код буквы	Буква	Уровень сходства	№	Код буквы	Буква	Уровень сходства
1	37	А	100,00	13	42	Е	-1,57
2	40	Г	33,67	14	55	Т	-1,90
3	65	Ь	11,94	15	44	З	-8,98
4	52	П	9,08	16	62	Щ	-8,98
5	61	Ш	8,37	17	39	В	-11,08
6	48	Л	6,54	18	68	Я	-12,81
7	41	Д	5,41	19	67	Ю	-12,84
8	47	К	5,13	20	64	Ы	-15,79
9	59	Ц	5,13	21	45	И	-15,90
10	66	Э	4,66	22	49	М	-15,92
11	54	С	1,79	23	53	Р	-19,19
12	50	Н	0,90	24	46	Й	-20,58
				25	38	Б	-22,52
				26	56	У	-25,09
				27	51	О	-31,79

Информационные портреты классов (слов)

Информационные портреты классов (слов) представляют собой списки признаков (букв), проранжированных в порядке убывания количества информации, содержащихся в них о принадлежности к данным классам.

Выход на режим генерации информационных портретов классов показан на рисунке 140. На рисунке 141 приведена круговая диаграмма информационного портрета класса (слова) "Достоинству". Обращает внимание, что в 4-х буквах из 8: "У", "Д", "С", "Т" содержится более 80% информации о принадлежности к данному слову.

Рисунок 141. Информационный портрет слова "Достоинству"

Профили слов

Профиль класса представляет собой гистограмму, в которой показан вклад каждого признака в общее количество информации, содержащееся в образе данного класса.

Профили классов и признаков отображаются в 4-м режиме 6-й подсистемы системы "Эйдос" (рисунок 142). Для примера на рисунке 143 показан профиль того же слова "Достоинству".

Рисунок 142. Выход на режим вывода профилей классов и признаков

Рисунок 143. Профиль слова "Достоинству"

Семантические портреты и профили букв

Выход на режим генерации семантических портретов признаков (букв) показан на рисунке 140. Один таких портретов, а именно портрет буквы "Й", приведен на рисунке 144, а ее профиль – на рисунке 145.

Рисунок 144. Информационный портрет буквы "Й"

Рисунок 145. Профиль буквы "Й"

Пример решения задания 8: "Вывести в графической форме семантические сети и когнитивные диаграммы слов и букв, классическую и интегральную когнитивные карты"

Эти возможности реализуются в режимах, выход на которые показан на рисунке 140. Семантическая сеть классов отображает в графической форме результаты кластерно-конструктивного анализа слов (рисунок 146), а признаков – букв (рисунок 147). Красный цвет линии связи в семантических сетях означает сходство, а синяя – различие, толщина линии соответствует степени выраженности этого свойства. Детальную структуру любой линии связи на семантических сетях можно исследовать на когнитивных диаграммах классов (рисунок 148) и признаков (рисунок 149). Классическая когнитивная карта для слова "Останавливать" приведена на рисунке 150. Классическая когнитивная карта представляет собой графическую диаграмму, объединяющую изображение нейрона и семантической сети его рецепторов. Классическая когнитивная карта представляет собой подмножество "Интегральной когнитивной карты", в которой объединены семантический сети нейронов и рецепторов и фрагмент нейронной сети, соединяющей рецепторы с нейронами. Режим системы "Эйдос" "Классические и интегральные когнитивные карты" позволяет при соответствующих параметрах, задаваемых в диалоге, генерировать и выводить в графической форме как интегральные, так и классические когнитивные карты, а также инвертированные когнитивные карты, представляющие собой семантическую сеть нейронов, соединенных фрагментов нейронной сети с одним рецептором.

Рисунок 146. Семантическая сеть классов (слов)

Рисунок 147. Семантическая сеть признаков (букв)

Рисунок 148. Детальная структура сходства слов "Молоко" и "Око"

Рисунок 149. Детальная структура сходства букв "Е" и "Н"

Рисунок 150. Классическая когнитивная карта для слова
"Останавливать", генерируемая системой "Эйдос" версии 10.7

Рисунок 151. Пример интегральной когнитивной карты,
генерируемой системой "Эйдос" версии 12.5

Выводы

На основе вышеизложенного можно сделать вывод о том, что для надежной и достоверной идентификации слов (по крайней мере при сравнительно небольшом их количестве) вполне достаточно информации о входящих в них буквах, и для этого нет особой необходимости привлекать дополнительную информацию о последовательности букв и их сочетаний. Продемонстрирована устойчивость модели от неполноты и зашумленности информации. Приведено более 30 графических форм, генерируемых системой "Эйдос", в т.ч. новые формы – классическая и интегральная когнитивные карты.

Контрольные вопросы

1. Каким образом провести анализ устойчивости модели к неполноте информации и наличию шума?

2. Каким образом можно проверить способность модели правильно идентифицировать классы, один из которых является подмножеством другого?

3. Как оценить ценность букв для идентификации слов. Сравнить суммарную ценность для этой цели гласных и согласных букв?

Литература по лабораторной работе

1. Луценко Е.В. Теоретические основы и технология адаптивного семантического анализа в поддержке принятия решений (на примере универсальной автоматизированной системы распознавания образов "ЭЙДОС-5.1"). - Краснодар: КЮИ МВД РФ, 1996. - 280с.