ГЛАВА 5. СПЕЦИАЛЬНЫЙ ПРОГРАММНЫЙ ИНСТРУМЕНТАРИЙ АСК-АНАЛИЗА – СИСТЕМА "ЭЙДОС"
5.1. НАЗНАЧЕНИЕ И СОСТАВ СИСТЕМЫ "ЭЙДОС"
5.1.1. Цели и основные функции системы "Эйдос"
Универсальная когнитивная аналитическая система "Эйдос" является отечественным лицензионным программным продуктом [230–233], созданным исключительно с использованием официально приобретенного лицензионного программного обеспечения. По системе "Эйдос" и различным аспектам ее применения имеется около 60 публикаций ряда авторов [14, 69, 70, 136–165, 230–233, 237, 255, 270, 273–286, 313, 314, 320, 329, 366]. Титульная видеограмма системы приведена на рисунке 5.1:
|
|
Система "Эйдос" является одним из элементов предлагаемого решения проблемы и достижения цели данной работы, т.к. она обеспечивает решение следующих задач:
1. Синтез и адаптация семантической информационной модели предметной области, включая объект активный управления и окружающую среду.
2. Идентификация и прогнозирование состояния активного объекта управления, а также разработка управляющих воздействий для его перевода в заданные целевые состояния.
3. Углубленный анализ семантической информационной модели предметной области.
Таким образом, система "Эйдос" является инструментарием, решающим проблему данной работы.
Синтез содержательной информационной модели предметной области
Для разработки
информационной модели предметной области необходимо владеть основными
принципами ее когнитивной структуризации и формализованного описания. Синтез содержательной
информационной модели включает следующие этапы:
1. Формализация (когнитивная структуризация
предметной области).
2. Формирование исследуемой выборки и управление
ею.
3. Синтез или адаптация модели.
4. Оптимизация модели.
5. Измерение адекватности модели (внутренней и внешней, интегральной и дифференциальной валидности), ее скорости сходимости и семантической устойчивости.
Идентификация и прогнозирование состояния объекта управления, выработка управляющих воздействий
Данный вид работ включает:
1. Ввод распознаваемой выборки.
2. Пакетное распознавание.
3. Вывод результатов распознавания и их оценку.
Углубленный анализ содержательной информационной модели предметной области
Углубленный анализ выполняется в подсистеме "Типология" и включает:
1. Информационный и семантический анализ классов и признаков.
2. Кластерно–конструктивный анализ классов распознавания и признаков, включая визуализацию результатов анализа в оригинальной графической форме когнитивной графики (семантические сети классов и признаков).
3. Когнитивный анализ классов и признаков (когнитивные диаграммы и диаграммы Вольфа Мерлина).
5.1.2. Обобщенная структура системы "Эйдос"
Данной обобщенной структуре соответствуют и структура управления и дерево диалога системы (таблица 5.1):
|
Таблица 5. 1 – ОБОБЩЕННАЯ СТРУКТУРА СИСТЕМЫ "ЭЙДОС" (версии 7.3) |
|
|
Подробнее подсистемы, режимы, функции и операции, реализуемые системой "Эйдос", описаны в работе [146].
5.2. ПОЛЬЗОВАТЕЛЬСКИЙ ИНТЕРФЕЙС, ТЕХНОЛОГИЯ РАЗРАБОТКИ И ЭКСПЛУАТАЦИИ ПРИЛОЖЕНИЙ В СИСТЕМЕ "Эйдос"
Все видеограммы, приведенные в данном разделе, получены на основе приложения системы "Эйдос", разработанного на основе данных об учащихся Краснодарского юридического института МВД РФ и обеспечивающего решение ряда задач рефлексивной АСУ качеством подготовки специалистов. Более подробно данное приложение описано в главе 6 данной работы. В наименованиях разделов с описаниями подсистем и режимов системы "Эйдос" указаны коды реализуемых ими базовых когнитивных операций системного анализа в соответствии с обобщенной схемой АСК-анализа (рисунок 2.16).
5.2.1. Начальный этап синтеза модели: когнитивная структуризация и формализация предметной области, подготовка исходных данных (подсистема "Словари")
|
|
Подсистема "Словари" (рисунок 5.2) предназначена для формализации предметной области и включает следующие режимы: – классификационные шкалы и градации; – описательные шкалы и градации; |
– градации описательных шкал;
– иерархические уровни организации систем;
– автоматический ввод первичных признаков из текстовых файлов;
– почтовая служба по нормативно-справочной информации;
– печать анкеты.
Классификационные шкалы и градации (БКОСА-1.1).
Классификационные шкалы и градации предназначены для ввода справочника будущих состояний активного объекта управления – классов.
|
|
Режим: "Классификационные шкалы и градации" (рисунок 5.3) обеспечивает ведение базы данных классификационных шкал и градаций классов: ввод; корректировку; удаление; распечатку (в файл); сортировку; поиск по базе данных. |
Описательные шкалы и градации (БКОСА-1.2)
Описательные шкалы и градации предназначены для ввода справочников факторов, влияющих на поведение активного объекта управления – признаков (рисунок 5.4).
|
|
В этом режиме обеспечивается ввод, удаление, корректировка, копирование наименований описательных шкал и связанных с ними градаций. Характерной особенностью системы "Эйдос" является возможность использования неальтернативных градаций, |
|
Рисунок 5. 4. Режим: "Описательные шкалы и градации"(БКОСА-1.2) |
которых может быть различное количество по различным шкалам, причем это количество может быть любое (рисунок 5.5).
|
|
Справочник позволяет работать непосредственно с градациями (с учетом связей со шкалами), видеть их общее количество, а также просматривать и распечатывать процентное распределение ответов респондентов по градациям. |
|
|
Уровни организации систем (уровни Вольфа Мерлина) являются независимым способом классификации классов и факторов, что позволяет легко создавать и анализировать различные их подмножества как сами по себе, так и в сопоставлении друг с другом. |
|
|
В ставшей классической работе [182] В.С.Мерлин предложил интегральную концепцию индивидуальности, в которой рассматривал взаимодействие и взаимообусловленность различных уровней свойств личности: |
от генетически предопределенных, до социально-обусловленных и отражающих сиюминутное состояние.
В системе "Эйдос" предусмотрен аппарат, позволяющий классифицировать факторы таким образом, что становится возможным исследовать различные уровни их организации и взаимообусловленности.
|
|
Уровни организации классов предназначены для классификации будущих состояний активного объекта управления, как целевых и нежелательных с точки зрения самого объекта управления и управляющей системы, а также различных |
вариантов сочетаний этих вариантов.
Возможны и другие виды классификации.
|
|
Система "Эйдос" обеспечивает решение задач атрибуции анонимных и псевдонимных текстов (установления вероятного авторства), датировки текстов, определения их принадлежности к определенным традициям, школам или течениям мысли [152, 181]. |
|
Рисунок 5. 9. Автоматический ввод атрибутов из текстовых файлов |
Данный режим предназначен для автоматического ввода признаков текстов из текстовых файлов.
|
|
Работы, проводимые в системе "Эйдос", не требует одновременной работы многих пользователей с одними и теми же базами данных в режиме корректировки записей. |
Поэтому возможна эффективная организация распределенной работы по многомашинной технологии без использования ЛВС. Данный режим обеспечивает необходимую тождественность справочников на различных компьютерах.
|
|
Классификационные шкалы и градации в социально-психологических и политологических исследованиях представляют собой опросники (анкеты). После их ввода данный режим обеспечивает распечатку в файл (в поддиректорию "TXT"). |
В системе "Эйдос" все текстовые и графические входные и выходные формы сохраняются в виде файлов, удобных для использования в различных приложениях под Windows.
|
|
Данная подсистема обеспечивает ввод и корректировку обучающей выборки, управление ею, синтез и адаптацию модели на основе данных обучающей выборки, экспорт и импорт данных с других компьютеров. |
Ввод-корректировка обучающей информации (БКОСА-2.1)
|
|
Данный режим имеет двухоконный интерфейс, позволяющий ввести в обучающую выборку двухвекторные описания объектов. Левое окно служит для ввода классификационной характеристики объекта. В этом окне каждому объекту |
|
Рисунок 5. 13. Ввод-корректировка обучающей информации (БКОСА-2.1) |
соответствует одна строка с прокруткой.
В правом окне вводится описательная характеристика объекта на языке признаков. Каждому объекту соответствует окно с прокруткой. Переход между окнами осуществляется по нажатию клавиши "TAB". Количество объектов в обучающей выборке не ограничено. Имеется практический опыт проведения расчетов с объемами обучающей выборки до 7000 объектов.
|
|
Данный режим предназначен для управления обучающей выборкой путем параметрического задания подмножеств анкет для обработки, объединения классов, автоматического ремонта обучающей выборки ("ремонт или взвешивание данных"). |
|
|
Выделение подмножества анкет для обработки может осуществляться логически и физически (рекомендуется 2-й вариант), это осуществляется путем сравнения с анкетой-маской. В ней задаются коды тех классов и признаков, которые |
обязательно должны присутствовать во всех анкетах обрабатываемого подмножества.
|
|
Данный режим предназначен для выявления слабо представленных классов (по которым недостаточно данных) и объединения нескольких классов в один. При этом производится переформирование справочника классов и автоматиче- |
|
Рисунок 5. 16. Статистическая характеристика обучающей выборки. Ручной ремонт |
ское перекодирование анкет обучающей выборки.
Автоматический ремонт обучающей выборки (ремонт или взвешивание данных) (БКОСА-2.2)
|
|
В данном режиме задается частотное распределение объектов по категориям, характерное для генеральной совокупности (или другое), затем автоматически осуществляется формирование последовательных подмножеств анкет обучающей выборки (с увели- |
чивающимся числом анкет),
максимально соответствующих заданному частотному распределению.
|
|
При этом используется метод последовательных приближений по минимаксному критерию: максимизация корреляции и минимизация максимального отклонения. Соответствующие графики представлены на рисунке 5.18. |
Система рекомендует оптимальное (по этим двум критериям) подмножество и позволяет исключить остальные анкеты из рассмотрения.
|
|
На рисунке 5.19 приведены графики частотных распределений объектов генеральной совокупности и выбранного подмножества обучающей выборки по категориям (классам), а также отклонение между этими распределениями. При достижении минимакса можно говорить об обеспечении структурной репрезентативности. |
|
Рисунок 5. 19. Автоматический ремонт обучающей выборки (генеральное и текущее распределения, отклонение) |
5.2.2. Количественный синтез модели: пакетное обучение системы распознавания (БКОСА-3.1)
|
|
Данный режим включает: расчет матрицы абсолютных частот, поиск и исключение из дальнейшего анализа артефактов, расчет матрицы информативностей, расчет матрицы условных процентных распределений, пакетный |
|
Рисунок 5. 20. Пакетное обучение системы распознавания (БКОСА-3.1) |
режим автоматического выполнения вышеперечисленных 4-х режимов, а также исследовательский режим, обеспечивающий измерение скорости сходимости и семантической устойчивости сформированной содержательной информационной модели.
Расчет матрицы абсолютных частот (БКОСА-3.1.1)
|
|
В данном режиме осуществляется последовательное считывание всех анкет обучающей выборки и использование описаний объектов для формирования статистики встреч признаков в разрезе по классам. На экране в наглядной форме |
отображается стадия этого процесса, который может занимать значительное время при больших размерностях задачи и объеме обучающей выборки. Кроме того на качественном уровне красным отображается заполнение матрицы абсолютных частот данными: классы соответствуют столбцам, а признаки – строкам. Поэтому значительная фрагментарность данных легко обнаруживается еще на этой стадии. Данный режим обеспечивает полную "развязку по данным" и независимость времени исполнения процессов синтеза модели и ее анализа от объема обучающей выборки. Кроме того в данном режиме выявляются 4 типа формально-обнаружимых ошибок в исходных данных и по ним формируется файл отчета.
Исключение артефактов (робастная процедура) (БКОСА-3.1.2)
|
|
|
|
Рисунок 5. 22. Исключение артефактов невозможно, т.к. статистики нет |
Рисунок 5. 23. Исключение артефактов возможно, т.к. статистика есть |
В данном режиме на основе исследования частотного распределения частот встреч признаков в матрице абсолютных частот, делаются выводы: об отсутствии статистики (рисунок 5.22) и невозможности обнаружения и исключения артефактов; о наличии статистики и возможности выявления артефактов (рисунок 5.23); рекомендуется частота, которая признается незначимой и характерной для артефактов, осуществляется переформирование баз данных с исключенными артефактами.
Расчет матрицы информативностей (БКОСА-3.1.3, 3.2, 3.3)
|
|
В этом режиме непосредственно на основе матрицы абсолютных частот с применением системной формулы Харкевича, рассчитывается матрица абсолютных частот, определяются значимость признаков, степень сформированности |
обобщенных образов классов, а также критерий Харкевича для всей матрицы информативностей в целом. На экране наглядно отображается стадия выполнения процесса и структура заполнения матрицы информативностей значимыми данными (на качественном уровне).
|
|
В этом режиме непосредственно на основе матрицы абсолютных частот рассчитывается матрица условных процентных распределений (процентные распределения ответов респондентов на вопросы анкеты в разрезе по классам – социальным категориям). |
Автоматическое выполнение режимов 1-2-3-4. В данном пакетном режиме просто последовательно выполняются ранее перечисленные режимы обучения системы (кроме режима исключения артефактов).
|
|
В данном режиме после учета каждой анкеты обучающей выборки перерассчитывается матрица информативностей и в отдельной базе данных запоминаются информативности для заданных призна- |
|
Рисунок 5. 26. Скорость сходимости и семантическая устойчивость модели |
ков. Это позволяет измерять скорость сходимости и семантическую устойчивость модели.
|
|
В этом режиме задаются параметры, определяющие исследование скорости сходимости: порядок выборки анкет (физический; случайный; в порядке возрастания соответствия генеральной совокупности; в порядке |
убывания степени многообразия, вносимого анкетой в модель), количество и коды признаков, по которым исследуется сходимость модели, а также интервал сглаживания для расчета скользящей погрешности.
|
|
|
|
Рисунок 5. 28. Сходимость модели по атрибуту: 1246, класс: 219 |
Рисунок 5. 29. Семантическая устойчивость модели по атрибуту: 1246, классы: 152, 153, 186, 187, 217, 218, 219 |
В работе [159], на примере прогнозирования фондового рынка, подробно рассматриваются вопросы сходимости и семантической устойчивости содержательной информационной модели.
|
|
В данном режиме обеспечивается экспорт и импорт обучающей информации при решении задач в системе "Эйдос" по многомашинной технологии. |
5.2.3. Оптимизация модели (подсистема "Оптимизация") (БКОСА-4)
|
|
В данной подсистеме различными способами реализуется контролируемое существенное снижение размерности семантических пространств классов и атрибутов при несущественном уменьшении их объема. |
|
Рисунок 5. 31. Оптимизация модели (подсистема "Оптимизация") |
Формирование ортонормированного базиса классов (БКОСА-4.2)
|
|
|
|
Рисунок 5. 32. Список классов в порядке убывания степени сформированности образов |
Рисунок 5. 33. Парето-диаграмма степени сформированности обобщенных образов классов |
Прокрутка окна вправо позволяет просмотреть дополнительные характеристики. Образы классов хорошо сформированы. Пространство классов практически ортонормированно.
Реализовано три итерационных алгоритма оптимизации, относящиеся к методу последовательных приближений: путем исключения из модели заданного количества наименее сформированных классов; путем исключения заданного процента количества классов от оставшихся (адаптивный шаг); путем исключения классов, вносящих заданный процент степени сформированности от оставшегося суммарного (адаптивный шаг).
Критерий остановки процесса последовательных приближений – срабатывание одного из заданных ограничений: достигнуто заданное минимальное количество классов в модели; достигнуто заданное минимальное количество классов на признак (полнота описания признака).
Исключение признаков с низкой селективной силой (БКОСА-4.1)
Реализовано три итерационных алгоритма оптимизации, относящиеся к методу последовательных приближений: путем исключения из модели заданного количества наименее значимых признаков; путем исключения заданного процента количества признаков от оставшихся (адаптивный шаг); путем исключения признаков, вносящих заданный процент значимости от оставшейся суммарной (адаптивный шаг). Критерий остановки процесса последовательных приближений – срабатывание одного из заданных ограничений: достигнуто заданное минимальное количество признаков в модели; достигнуто заданное минимальное количество признаков на класс (полнота описания класса).
Удаление классов и признаков, по которым недостаточно данных
Данный режим сходен с режимом выявления и исключения из модели артефактов.
5.2.4. Верификация модели (оценка ее адекватности) (БКОСА-5)
Данный режим исполняется после синтеза модели, копирования обучающей выборки в распознаваемую и пакетного распознавания. Он показывает средневзвешенную погрешность идентификации (интегральная валидность) и погрешность идентификации в разрезе по классам. Объект считается отнесенным к классу, с которым у него наибольшее сходство. Необходимо отметить, что остальные классы, находящиеся по уровню сходства на второй и последующих позициях не учитываются. Это обусловлено тем, что их учет привел бы к завышению оценки валидности модели. Классы, по которым дифференциальная валидность неприемлемо низка считаются не сформированными. Причинами этого может быть очень высокая вариабельность объектов, отнесенных к данным классам (тогда имеет смысл разделить их на несколько), недостаток достоверной информации по этим классам и т.д.
5.2.5. Эксплуатация приложения в режиме адаптации и периодического синтеза модели
Идентификация и прогнозирование (подсистема "Распознавание") (БКОСА-7)
|
|
Данная подсистема включает режимы ввода и корректировки распознаваемой выборки; пакетного распознавания; вывода результатов и межмашинного обмена данными. |
|
Рисунок 5. 38. Идентификация и прогнозирование (подсистема "Распознавание") |
|
|
|
В левом окне отображаются заголовки идентифицируемых объектов, в которых отображаются их коды и условные наименования, а в правом окне – описания объектов на языке признаков. В левом окне каждому объекту соответствует строка, а в правом – окно с |
|
Рисунок 5. 39. Двухоконный интерфейс ввода-корректировки распознаваемых анкет |
прокруткой. Переход между окнами происходит по нажатию клавиши "TAB".
|
|
В данном режиме каждая анкета распознаваемой выборки последовательно идентифицируется с каждым классом. |
|
|
Вывод результатов распознавания (идентификации и прогнозирования) возможен в двух разрезах: информация о сходстве каждого объекта со всеми классами; информация о сходстве каждого класса со всеми объектами. |
|
|
|
На рисунке 5.42 представлен обобщающий отчет по итогам идентификации, в котором в каждой строке дана информация о классе, с которым объект имеет наивысший уровень сходства (выражается в процентах). Качество результата идентификации – это эвристическая оценка качества, учитывающая максимальную величину сходства, различие между первым и вторым классами по уровню сходства и в (меньшей степени) общий вид распределения классов по уровням сходства с данным объектом.
На рисунке 5.43 представлена карточка результатов идентификации (прогнозирования), которая по сути дела представляет собой результат разложения вектора объекта в ряд по векторам классов. Эти карточки распечатываются в файл с полными наименованиями классов и содержат классы, с уровнем сходства выше заданного.
|
|
|
На рисунке 5.44 представлен обобщающий отчет по итогам идентификации, в котором в каждой строке дана информация об объекте, с которым класс имеет наивысший уровень сходства (выражается в процентах). Качество результата идентификации – это эвристическая оценка качества, учитывающая максимальную величину сходства, различие между первым и вторым объектами по уровню сходства и в (меньшей степени) общий вид распределения объектов по уровням сходства с данным классом.
На рисунке 5.45 представлена карточка результатов идентификации (прогнозирования), которая по сути дела представляет собой результат разложения вектора класса в ряд по векторам объектов. Эти карточки распечатываются в файл и содержат информацию по объектам, с уровнем сходства с классом выше заданного.
|
|
Данный режим обеспечивает запись на дискету распознаваемой выборки и считывание распознаваемой выборки с дискеты с добавлением к имеющейся на текущем компьютере. Этот режим служит для объединения информации по идентифицируемым объектам, |
введенной на различных компьютерах.
|
|
Данная подсистема обеспечивает типологический анализ классов и признаков. |
|
Рисунок 5. 47. Кластерно-конструктивный, семантический и когнитивный анализ (подсистема "Типология") |
|
|
|
Типологический анализ классов включает: информационные (ранговые) портреты; кластерно-конструктивный и когнитивный анализ классов. |
Информационные портреты классов (БКОСА-9.1)
|
|
Информационный портрет класса представляет собой список признаков в порядке убывания количества информации о принадлежности к данному классу. Такой список представляет собой результат решения обратной задачи идентификации (прогнозирования). |
|
Рисунок 5. 49. Информационные (ранговые портреты) классов (БКОСА-9.1) |
Фильтрация (F6) позволяет выделить из информационного портрета класса диапазон признаков (по кодам или уровням Мерлина) и, таким образом, исследовать влияние заданных признаков на переход активного объекта управления в состояние, соответствующее данному классу.
|
|
Данный режим обеспечивает: расчет матрицы сходства классов; генерацию кластеров и конструктов; просмотр и печать кластеров и конструктов; пакетный режим, обеспечивающий автоматическое выполнение |
первых трех режимов при установках параметров "по умолчанию"; визуализацию результатов кластерно-конструктивного анализа в форме семантических сетей.
Расчет матрицы сходства эталонов классов (БКОСА-10.1.1)
|
|
В данном режиме непосредственно на основе оптимизированной матрицы информативностей рассчитывается матрица сходства классов. На экране в наглядной форме отображается информация о текущей |
|
Рисунок 5. 51. Расчет матрицы сходства эталонов классов (БКОСА-10.1.1) |
стадии выполнения этого процесса.
Генерация кластеров и конструктов классов (БКОСА-10.1.2)
|
|
В данном режиме задаются параметры для генерации кластеров и конструктов классов, позволяющие исключить из форм центральную часть конструктов (оставить только полюса), а также сформировать кластеры и конструкты для |
|
Рисунок 5. 52. Генерация кластеров и конструктов классов (БКОСА-10.1.2) |
заданных (кодами или уровнями Мерлина) подматриц.
|
|
В данном режиме обеспечивается отображение отчета по конструктам и вывод его в виде текстового файла. Реализован режим быстрого поиска заданного конструкта и быстрый выход на него по заданному классу. |
|
Рисунок 5. 53. Просмотр и печать кластеров и конструктов атрибутов |
Автоматическое выполнение режимов 1-2-3
В данном пакетном режиме автоматически выполняются вышеперечисленные 3 режима с параметрами "по умолчанию". Выполнение пакетного режима целесообразно в самом начале проведения типологического анализа для общей оценки его результатов. Более детальные результаты получаются при выполнении отдельных режимов с конкретными значениями параметров.
Вывод 2d-семантических сетей классов (БКОСА-10.1.3)
|
|
В данном режиме в диалоге задаются коды от 3 до 12 классов (больше просто не помещается на мониторе при используемом разрешении), а затем на основе данных матрицы сходства классов отображается граф, в вершинах которого находятся классы, а ребра |
|
Рисунок 5. 54. Вывод 2d-семантических сетей классов (БКОСА-10.1.3) |
соответствуют знаку (красный – "+", синий – "-") и величине (толщина линии) сходства/различия между ними. Посередине каждой линии уровень сходства/различия соответствующих классов отображается в числовой форме (в процентах).
Когнитивные диаграммы классов (БКОСА-10.3.1, 10.3.2)
|
|
|
|
Рисунок 5. 55. Двухоконный интерфейс ввода задания на формирование когнитивных диаграмм (БКОСА-10.3.1) |
Рисунок 5. 56. Пример когнитивной диаграммы классов (БКОСА-10.3.2) |
На рисунке 5.55 представлен двухоконный интерфейс ввода задания на формирование когнитивных диаграмм. Переход между окнами осуществляется по клавише "ТАВ", выбор класса для когнитивной диаграммы – по нажатию клавиши "Enter". В верхней левой части верхнего окна отображаются коды выбранных классов. Генерация и вывод когнитивной диаграммы для заданных классов выполняется по нажатию клавиши F5. Отображаемые диаграммы всегда записываются в виде графических файлов в соответствующие поддиректории. Имеются также пакетные режимы генерации диаграмм: генерацию когнитивных диаграмм для полюсов конструктов (F6), генерация всех возможных когнитивных диаграмм (F7), а также генерация диаграмм Вольфа Мерлина (F8).
При задании всех этих режимов имеется возможность задания большого количества параметров, определяющих вид диаграмм и содержание отображаемой на них информации.
|
|
В данном режиме обеспечиваются: формирование и отображение семантических портретов признаков, а также кластерно-конструктивный и когнитивный анализ признаков. |
Семантические портреты атрибутов (БКОСА-9.2)
|
|
|
|
Рисунок 5. 58. Семантический портрет признака (отчет) (БКОСА-9.2) |
Рисунок 5. 59. Семантический портрет признака (круговая диаграмма) |
В данном режиме обеспечивается формирование семантического портрета
заданного признака и его отображение в текстовой и графической формах (рисунки
5.58 и 5.59). Окно для просмотра текстового отчета имеет прокрутку вправо, что
позволяет отобразить количественные характеристики. Графическая диаграмма
выводится по нажатию клавиши F5, и может быть непосредственно распечатана или
записана в виде графического файла в соответствующую поддиректорию.
|
|
В данном режиме обеспечивается: расчет матрицы сходства признаков; генерация кластеров и конструктов признаков: просмотр и печать результатов кластерно-конструктивного анализа; автоматическое выполнение перечисленных |
режимов; отображение результатов кластерно-конструктивного анализа в форме семантических сетей.
Расчет матрицы сходства атрибутов (БКОСА-10.2.1)
|
|
Стадия выполнения расчета матрицы сходства признаков наглядно отображается на мониторе. |
|
Рисунок 5. 61. Расчет матрицы сходства атрибутов (БКОСА-10.2.1) |
Генерация кластеров и конструктов атрибутов (БКОСА-10.2.2)
|
|
В данном режиме имеется возможность задания ряда параметров, детально определяющих обрабатываемые данные и форму вывода результатов анализа. |
|
Рисунок 5. 62. Генерация кластеров и конструктов атрибутов (БКОСА-10.2.2) |
|
|
|
В этом режиме отображаются результаты кластерно-конструктивного анализа. Имеются многочисленные возможности манипулирования данными. |
|
Рисунок 5. 63. Просмотр и печать кластеров и конструктов атрибутов |
Автоматическое выполнение режимов 1-2-3. Автоматически реализуются три вышеперечисленные режима.
Вывод 2d-семантических сетей атрибутов (БКОСА-10.2.3)
|
|
Результаты кластерно-конструктивно-го анализа признаков отображаются для заданных признаков в наглядной графической форме семантических сетей. |
|
Рисунок 5. 64. Вывод 2d-семантических сетей атрибутов (БКОСА-10.2.3) |
Когнитивные диаграммы атрибутов (БКОСА-10.4.1, 10.4.2)
|
|
Это новый вид когнитивных диаграмм, не встречающийся в литературе. Частным случаем этих диаграмм являются инвертированные диаграммы Вольфа Мерлина. При их генерации имеется возможность задания ряда параметров, определяющих обрабатываемые |
|
Рисунок 5. 65. Когнитивные диаграммы атрибутов (БКОСА-10.4.1, 10.4.2) |
данные и форму отображения результатов.
|
|
В данной подсистеме реализованы режимы оценки анкет по шкале лживости; измерения внутренней интегральной и дифференциальной валидности модели; измерения независимости классов и признаков (стандартный анализ хи-квадрат), а также режим, |
|
Рисунок 5. 66. Анализ достоверности, валидности, независимости (подсистема "Анализ") |
обеспечивающий генерацию большого количества разнообразных 2d & 3d графических форм на основе данных матриц абсолютных частот, условных процентных распределений и информативностей.
Оценка достоверности заполнения анкет
В данном режиме исследуются корреляции между ответами в каждой анкете, эти корреляции сравниваются с выявленными на основе всей обучающей выборки и все анкеты ранжируются в порядке уменьшения типичности обнаруженных в них корреляций. Считается, что если корреляции в анкете соответствуют "среднестатистическим", которые принимаются за "норму", то анкета отражает обнаруженные макрозакономерности, если же нет, то возникает подозрение в том, что она заполнена некорректно.
|
|
В данном режиме реализован стандартный анализ хи-квадрат, а также рассчитываются коэффициенты Пирсона, Чупрова и Крамера, популярные в социологических и политологических исследованиях. На рисунке 5.67 приведен бланк задания на расчет матриц сопряженности. |
|
Рисунок 5. 67. Измерение независимости объектов и признаков (анализ c2) |
На основе этого задания рассчитываются и записываются в форме текстовых файлов одномерные и двумерные матрицы сопряженности для заданных подматриц. В отличие от матриц сопряженности, выводимых в известной системе SPSS, здесь они выводятся с текстовыми пояснениями на том языке, на котором сформированы классификационные и описательные шкалы, с констатацией того, обнаружена ли статистически-значимая связь на заданном уровне значимости. Необходимо также отметить, что в системе "Эйдос" не используются табулированные теоретические значения критерия хи-квадрат для различных степеней свободы, а необходимые теоретические значения непосредственно рассчитываются со значительно большей точностью, чем они приведены в таблицах (при этом численно берется обратный интеграл вероятностей).
|
|
|
|
|
|
На рисунке 5.68 приведен фрагмент интерфейса задания на вывод графических форм и примеры некоторых из них. Всего система "Эйдос" версии 7.0 (последней на данный момент) позволяет генерировать и выводить 50 различных видов 2d & 3d графических форм.
|
|
Реальная эксплуатация ни одной специальной программной системы невозможна либо без тщательного сопровождения эксплуатации, либо без наличия в системе развитых средств обеспечения надежности эксплуатации. |
|
Рисунок 5. 69. Обеспечение надежности эксплуатации (подсистема "Сервис") |
В системе "Эйдос" автоматически ведется архивирование баз данных; создаются отсутствующие базы данных и индексные массивы; распечатываются служебные формы, являющиеся основой содержательной информационной модели. Кроме того, по желанию пользователя отдельные базы данных просто могут быть сброшены, что необходимо для создания нового приложения.
|
|
Этот режим необходим для начала разработки нового приложения системы "Эйдос". |
|
|
Данный режим позволяет распечатать в текстовый файл матрицу абсолютных частот. Совершенно аналогично распечатываются базы условных процентных распределений и информативностей. |
|
|
В данную подсистему входит также интеллектуальная дескрипторная информационно-поисковая система, автоматически генерирующая нечеткие дескрипторы и имеющая интерфейс нечетких запросов на естественном языке. Отчет по результатам запроса содержит |
|
Рисунок 5. 72. Интеллектуальная дескрипторная информационно-поисковая система |
информационные объекты базы данных системы, ранжированные в порядке уменьшения степени соответствия запросу.
5.3. ТЕХНИЧЕСКИЕ ХАРАКТЕРИСТИКИ СИСТЕМЫ "ЭЙДОС" (ВЕРСИИ 7.3)
5.3.1. Базовая система "Эйдос" и системы окружения "Эйдос-Y" и "Эйдос-фонд"
Система "Эйдос" (текущей версии 7.3) включает базовую систему (система "Эйдос" в узком смысле слова), а также две системы окружения:
– систему комплексного психологического тестирования "Эйдос-Y", разработанную совместно с С.Д.Некрасовым [142, 270];
– систему анализа и прогнозирования ситуация на фондовом рынке "Эйдос-фонд", разработанную совместно с Б.Х.Шульман [159, 233].
Данные системы окружения представляют собой программные интерфейсы базовой системы "Эйдос" с базами данных психологических тестов и биржевыми базами данных соответственно, а также выполняют ряд самостоятельных функций по предварительной обработке информации.
5.3.2. Отличия системы "Эйдос" от аналогов: экспертных и статистических систем
От экспертных систем система "Эйдос" отличается тем, что для ее обучения от экспертов требуется лишь само их решение о принадлежности того или иного объекта или его состояния к определенному классу, а не формулирование правил (продукций) или весовых коэффициентов, позволяющих прийти к такому решению (система генерирует их сама, т.е. автоматически). Дело в том, что часто эксперт не может или не хочет вербализовать, тем более формализовать свои способы принятия решений. Система "Эйдос" генерирует обобщенную таблицу решений непосредственно на основе эмпирических данных и их оценки экспертами.
От систем статистической обработки информации система "Эйдос" отличается прежде всего своими целями, которые состоят в следующем: формирование обобщенных образов исследуемых классов распознавания и признаков по данным обучающей выборки (т.е. обучение); исключение из системы признаков тех из них, которые оказались наименее ценными для решения задач системы; вывод информации по обобщенным образам классов распознавания и признаков в удобной для восприятия и анализа текстовой и графической форме (информационные или ранговые портреты); сравнение распознаваемых формальных описаний объектов с обобщенными образами классов распознавания (распознавание); сравнение обобщенных образов классов распознавания и признаков друг с другом (кластерно-конструктивный анализ); расчет частотных распределений классов распознавания и признаков, а также двумерных матриц сопряженности на основе критерия X2 и коэффициентов Пирсона, Чупрова и Крамера; результаты кластерно-конструктивного и информационного анализа выводятся в форме семантических сетей и когнитивных диаграмм. Система "Эйдос" в универсальной форме автоматизирует базовые когнитивные операции системного анализа, т.е. является инструментарием АСК-анализа. Таким образом, система "Эйдос" выполняет за исследователя-аналитика ту работу, которую при использовании систем статистической обработки ему приходится выполнять вручную, что чаще всего просто невозможно при реальных размерностях данных. Поэтому система "Эйдос" и называется универсальной когнитивной аналитической системой.
5.3.3. Некоторые количественные характеристики системы "Эйдос"
Система "Эйдос" обеспечивает генерацию и запись в виде файлов 50 видов 2d & 3d графических форм и 50 видов текстовых форм, перечень которых приведен в таблице 5.2.
1. При применении системы в самых различных предметных областях обеспечивается достоверность распознавания обучающей выборки: на уровне 90% (интегральная валидность), которая существенно повышается после Парето-оптимизации системы признаков (т.е. после исключения признаков с низкой селективной силой), удаления из модели артефактов, а также классов и признаков, по которым недостаточно данных.
2. Система обеспечивает одновременно обработку до 4000 классов распознавания и 4000 признаков, причем признаки могут быть не только качественные (да/нет), но и количественные, т.е. числовые.
3. Реализована возможность разработки супертестов, в том числе интеграции стандартных тестов в свою среду, (при этом не играет роли известны ли методики интерпретации, т.е. "ключи" этих тестов).
4. В системе имеется научная графика, обеспечивающая высокую степень наглядности, а также естественный словесный интерфейс при обучении Системы и запросах на распознавание.
|
|
Исходные тексты системы "Эйдос" и систем окружения "Эйдос-Y" и "Эйдос-фонд" в формате "Текст-DOS" имеют объем около 2 Мб, их распечатка 6-м шрифтом составляет около 731 страницу (в их большом объеме состоит основная причина, по которой они не включены в приложения к данной работе).
5.4. ОБЕСПЕЧЕНИЕ ЭКСПЛУАТАЦИИ СИСТЕМЫ "ЭЙДОС"
Универсальная когнитивная аналитическая система "Эйдос" представляет собой программную систему, и для ее эксплуатации, как и для эксплуатации любой программной системы, необходима определенная инфраструктура. Без инфраструктуры эксплуатации любая программная система остается лишь файлом, записанным на винчестере.
В зависимости от масштабности решаемых задач управления и специфики предметной области данная структура может быть как довольно малочисленной, так и более развитой. Однако в любом случае ее основные функциональные и структурные характеристики остаются примерно одними и теми же.
Кратко рассмотрим эту инфраструктуру на примере гипотетической организации, производящей определенные виды физической или информационной продукции.
Основная цель: обеспечивать информационную и аналитическую поддержку деятельности организации, направленную на производство запланированного объема продукции заданного качества, достижение высокой эффективности управления и устойчивого поступательного развития.
Данная основная цель предполагает выполнение информационных и аналитических работ с различными объектами деятельности, находящимися на различных структурных уровнях как самой организации, так и ее окружения: персональный уровень; уровень коллективов (подразделений); уровень организации в целом; окружающая среда (непосредственное, региональное, международное окружение).
Для достижения основной цели для каждого класса объектов должны регулярно выполняться следующие работы: оценка (идентификация) текущего состояния с накоплением данных (мониторинг); прогнозирование развития (оперативное, тактическое и стратегическое); выработка рекомендаций по управлению.
Необходимо особо подчеркнуть, что основная цель может быть достигнута
только при условии соблюдения вполне определенной наукоемкой технологии, основы
которой изложены в данной работе.
Задачи, решаемые для достижения цели:
1. Мониторинг: оценка и идентификация текущего (фактического, актуального) состояния объекта управления; накопление данных идентификации в базах данных в течение длительного времени;
2. Анализ: выявление
причинно-следственных зависимостей путем анализа данных мониторинга;
3. Прогнозирование:
оперативное, тактическое и стратегическое прогнозирование развития объекта
управления и окружающей среды путем использования закономерностей, выявленных
на этапе анализа данных мониторинга;
4. Управление: анализ взаимодействия объекта управления с окружающей средой и выработка рекомендаций по управлению.
Таким образом, по мнению автора, управление является высшей на данный момент формой обработки информации.
Для достижения основной цели и решения задач управления необходимо выполнять работы по следующим направлениям: регулярное получение исходной информации о состоянии объекта управления; обработка исходной информации на компьютерах; анализ обработанной информации, прогнозирование развития объекта управления, выработка рекомендаций по оказанию управляющих воздействий на объект управления; разработка и применение (или предоставление рекомендаций заказчикам) различных методов оказания управляющих воздействий на объект управления.
Для этого необходима определенная организационная структура:
1. Научно–методический отдел включает: научно-методический сектор; сектор разработки программного обеспечения; сектор внедрения и сопровождения программного обеспечения; сектор организационного и юридического обеспечения.
2. Отдел мониторинга: сектор исследования объекта управления; сектор по работе с независимыми экспертами; сектор по взаимодействию с поставляющими информацию организациями; сектор по анализу информации общего пользования.
3. Отдел обработки информации: сектор ввода исходной информации (операторы); сектор сетевых технологий и Internet; сектор внедрения, эксплуатации и сопровождения программных систем; сектор технического обслуживания компьютерной техники; сектор ведения архивов баз данных по проведенным исследованиям.
4. Аналитический отдел имеет структуру, обеспечивающую компетентный профессиональный анализ результатов обработки данных мониторинга по объектам, которые приняты для контроля и управления.
Для выполнения работ по этим направлениям необходимо определенное обеспечение деятельности: техническое, программное, информационное, организационное, юридическое и кадровое. Детально подобная структура и виды обеспечения ее деятельности описаны в работе автора [152].
5.5. ВЫВОДЫ
1. Создано специальное программное обеспечение реализации базовых когнитивных операций системного анализа – Универсальная когнитивная аналитическая система "Эйдос", защищенная 4 Свидетельствами РосПатента РФ [230–233].
2. Показано, что система "Эйдос" воплощает формализуемую когнитивную концепцию, реализует предложенную семантическую информационную модель и алгоритмы базовых когнитивных операций системного анализа, и, таким образом, является специальным программным инструментарием для решения проблемы и задач, поставленных в данном исследовании. Система "Эйдос" является инструментарием системного анализа, структурированного до уровня базовых когнитивных операций. В функциях и структуре системы "Эйдос" нашли воплощение фундаментальные закономерности человеческого способа познания Реальности, связанные с функциональной асимметрией мозга и знаковых систем.
3. Подробно описана
технология синтеза и эксплуатации приложений системы "Эйдос",
видеограммы интерфейса и технические характеристики (текущая версия системы
"Эйдос-7.0" позволяет обрабатывать до 4000 будущих состояний АОУ и
4000 градаций факторов).
4. Технология разработки
приложения в системе "Эйдос" включает:
– когнитивную структуризацию
и формализацию предметной области (подсистема "Словари");
– синтез модели (подсистема
"Обучение");
– оптимизацию модели
(подсистема "Оптимизация");
– верификацию модели (оценка
степени адекватности, скорости сходимости и семантической устойчивости модели).
5. Технология эксплуатации
приложения системы "Эйдос" в режиме адаптации и синтеза модели
включает:
– идентификацию и
прогнозирование (подсистема "Распознавание");
– кластерно-конструктивный,
семантический и когнитивный анализ (подсистема "Типология");
– анализ достоверности,
валидности, независимости (подсистема "Анализ");
– средства и инструменты
обеспечения надежности эксплуатации (подсистема "Сервис").
5. Система "Эйдос"
является большой системой: листинг ее исходных текстов (вместе с системами
окружения "Эйдос-фонд" и "Эйдос-Y") 6-м шрифтом
составляет 731 страницу, в процессе работы система оперирует десятками баз
данных (около 70).
6. Разработана инфраструктура применения системы "Эйдос", детализированы организационные, юридические, экономические, технические и другие аспекты информационной технологии применения данной системы для решения задач синтеза рефлексивных АСУ активными объектами и эксплуатации этих АСУ в режиме адаптации и периодического синтеза модели.