ГЛАВА 7. ИНСТРУМЕНТАЛЬНАЯ ПРОГРАММНАЯ СИСТЕМА,
ОБЕСПЕЧИВАЮЩАЯ ПОДДЕРЖКУ
МАТЕМАТИЧЕСКОЙ МОДЕЛИ,
МЕТОДОЛОГИИ,
АЛГОРИТМОВ И МЕТОДИКИ СИНТЕЗА ААСУ СС
В данной главе представлены:
- функциональное описание инструментальной системы (далее "Система"), обеспечивающей поддержку математической модели, методологии, алгоритмов и методики синтеза адаптивных АСУ сложными системами, предложенных в данной работе;
- структура и технические характеристики конкретной программной системы, реализующей эти функции: системы "Эйдос" (от Платоновского термина "Идея");
- вопросы обеспечения эксплуатации данной системы.
7.1. ФУНКЦИИ СИСТЕМЫ
Из результатов, полученных в предыдущих главах, следует, что основные функции системы следующие (рис. 7.1):
- разработка информационной модели объекта управления;
- решение задач идентификации объекта управления и выработки управляющего воздействия;
- углубленный анализ информационной модели предметной области;
- вопросы интерпретации результатов и использование внешних моделей, в т.ч. экспертных;
- адаптация модели к изменениям предметной области;
- взаимодействие системы с Windows-приложениями;
- обеспечение надежности эксплуатации;
- инсталляция и настройка системы.
Применение системы “Эйдос” включает следующие этапы [177, 178, 187 – 200, 268, 271, 272]:
1. Разработка информационной модели объекта управления.
2. Решение задач идентификации состояния объекта управления и выработки управляющего воздействия.
3. Углубленный анализ информационной модели предметной области.
Рис. 7.
1. Обобщенная функциональная схема
инструментальной
программной системы
Рассмотрим эти вопросы подробнее.
7.1.1. РАЗРАБОТКА ИНФОРМАЦИОННОЙ МОДЕЛИ
ОБЪЕКТА УПРАВЛЕНИЯ
Для разработки информационной модели объекта управления необходимо владеть основными принципами формализованного описания предметной области.
Сама разработка модели включает следующие этапы:
- разработка и ввод справочника максимальной системы факторов;
- управление обучающей выборкой и обучение Системы;
- контролируемое снижение размерности модели;
- ортонормирование системы классов распознавания;
- перекодирование.
Формирование справочников классов распознавания
и признаков
Основными объектами обработки информации в Системе являются классы распознавания и признаки (см. табл. 5.2).
Справочники классов распознавания и признаков является иерархической системой шкал, градациями которых и являются классы распознавания и признаки. Полная классификация измерительных шкал дана в источниках [158, 205] и табл. 5.4 данной работы.
В системе должна быть обеспечена возможность использования всех видов шкал: номинальной (наименований), порядковой, интервальной и отношений.
Очень плодотворным является представление классов распознавания как некоторых областей в фазовом пространстве, в котором в качестве осей координат выступают некоторые шкалы. Классы распознавания могут рассматриваться, также как градации (конкретные значения, заданные с некоторой точностью, или диапазоны – зоны), заданные на этих шкалах. Количество шкал, тип шкал и количество градаций на них в системе должен определять сам пользователь (причем на количество шкал и градаций не должно быть ограничений, кроме суммарного количества классов).
Классы распознавания (признаки) могут относиться к различным уровням организации системы. Сами эти уровни могут иметь любой смысл, какой именно – определяет сам пользователь. Классификаторы уровней классов и признаков входят в состав нормативно–справочной информации. Этот механизм представляет собой еще один независимый способ классификации классов и признаков.
Для технологии и системы “Эйдос” нет формальной разницы между первичными и вторичными параметрами (признаками, фиксируемыми непосредственно и получающимися после определенной математической обработки).
Подготовка и ввод обучающей выборки
Обучающая выборка предварительно подготавливается для ввода в компьютер в виде бумажных документов. Ввод ее осуществляется в двухоконном интерфейсе: в первом окне вводится классификационная информация, а во втором – описательная.
При вводе обучающей информации имеется возможность автоматического кодирования классов и признаков. Кроме того, возможен ввод информации с автоматическим кодированием из текстовых файлов и баз данных.
Цель управления – выделить определенные подмножества обучающей выборки по различным критериям.
В системе управление обучающей выборкой включает три функции:
- параметрическое задание подмножества объектов обучающей выборки для обработки;
- ручной ремонт обучающей выборки;
- автоматический ремонт обучающей выборки.
Автоматический
ремонт обучающей выборки – это операция, выделяющая из всех
объектов обучающей выборки такое подмножество, которое дает частотное распределение
логических объектов по классам распознавания, в наименьшей степени отличающееся от
заданного частотного распределения (т.е. распределения генеральной совокупности).
Первоначальное выделение объектов репрезентативной выборки является логическим, т.е. осуществляется без физического удаления введенных данных. Если результаты работы режима устраивают пользователя, то он может и физически удалить объекты, ранее удаленные логически.
Пользовательский интерфейс данной подсистемы должен быть реализован в виде двух окон. Результаты работы данного режима представляются в текстовом и графическом виде.
В Системе имеется ряд критериев, которые позволяют обоснованно принять решение об окончании процесса обучения.
Запуск процесса обучения и его контроль
В процессе обучения Система использует обучающую выборку для формирования статистики встреч признаков по классам распознавания и на этой основе рассчитает какое количество информации каждый признак содержит о принадлежности к каждому классу распознавания. Кроме того, рассчитывается интегральная информативность каждого признака (его селективная сила).
В процессе расчета базы абсолютных частот Система осуществляет довольно полную проверку корректности информации в обучающей выборке и формирует протокол ошибок.
Оптимизация системы признаков и классов распознавания
Исключение артефактов
В системе реализована возможность корректного исключения из системы признаков наименее значимых из них при заданных ограничениях (в т.ч. избыточности). Кроме того, могут быть исключены признаки маловероятной группы, по которым в обучающей выборке нет достаточной статистики (артефакты).
По желанию пользователя из системы классов распознавания могут быть исключены все классы, по которым образы не сформированы либо из-за отсутствия примеров в обучающей выборке, либо из-за высокой вариабельности представляющих их конкретных реализаций.
Данные процедуры относятся к классу робастных.
Под валидностью системы распознавания в данном исследовании понимается способность системы давать адекватные результаты идентификации и прогнозирования.
При исключении классов и признаков, по которым нет достаточной статистики из анализа, повышается качество исследуемой совокупности.
Проверка работоспособности методики и ее сертификация
В Системе должен быть режим, обеспечивающий расчет дифференциальной и интегральной валидности на основе распознавания обучающей выборки. Если эти характеристики приложения удовлетворяют заказчиков, то методика сертифицируется, т.е. признается инструментом, пригодным для достижения тех целей, которые ставились при ее разработке.
Предполагается, что после оптимизации системы признаков, т.е. после корректного удаления признаков с низкой селективной силой, валидность Системы распознавания возрастет. Это связано с тем, что в первую очередь удаляются признаки с шумоподобными статистическими свойствами, затем сильно коррелирующие признаки (статистические), и лишь в последнюю очередь признаки слабокоррелирующие, т.е. признаки детерминистского типа. Ожидается, что при удалении признаков детерминистского типа валидность системы начнет уменьшаться. Очевидно, что если удалить слишком много существенных признаков, то корректная работа системы может нарушиться.
После завершения оптимизации и сертификации методики целесообразно выполнить операцию перекодирования, которое предназначено для удаления пропусков в кодировке справочников, которые возникают после оптимизации.
Перекодируются справочники первичных и обобщенных признаков, объектов обучающей и распознаваемой выборки и статистические базы данных.
Таким образом, перекодированием завершается разработка оптимальной модели предметной области.
7.1.2. РЕШЕНИЕ ЗАДАЧ ИДЕНТИФИКАЦИИ ОБЪЕКТА
УПРАВЛЕНИЯ И ВЫРАБОТКИ УПРАВЛЯЮЩИХ
ВОЗДЕЙСТВИЙ
Данный вид работ включает:
- ввод распознаваемой выборки;
- пакетное распознавание;
- вывод результатов распознавания и их оценка.
Подобно режиму ввода обучающей выборки, режим ввода объектов для распознавания включает следующие этапы работ:
1) документальная формализация объектов распознаваемой выборки;
2) ввод, контроль и корректировка объектов распознаваемой выборки;
3) автоматический ввод объектов распознаваемой выборки из текстовых файлов.
В данном режиме система подсчитывает, какое количество информации содержится в системе признаков, описывающих каждый распознаваемый объект, о принадлежности данного объекта к каждому из классов распознавания. Кроме того, алгоритмом распознавания учитывается общая форма профиля объекта, т.е. корреляции между признаками.
Вывод результатов распознавания и их оценка
Результаты распознавания выводятся в двух вариантах:
1) один объект – много классов;
2) один класс – много объектов.
Оба варианта дополняют друг друга. В каждом из этих режимов сначала отображается сводная форма, которая служит также в качестве меню для вывода более подробных результатов:
- результатом распознавания некоторого объекта является список всех классов распознавания, рассортированный в порядке убывания сходства с этим объектом;
- результатом идентификации распознаваемых объектов с некоторым классом распознавания является список объектов, рассортированный в порядке убывания сходства с этим классом.
7.1.3. УГЛУБЛЕННЫЙ АНАЛИЗ ИНФОРМАЦИОННОЙ МОДЕЛИ
ПРЕДМЕТНОЙ ОБЛАСТИ
Углубленный анализ выполняется в подсистеме "Типология" и включает:
- кластерно–конструктивный анализ классов распознавания и признаков;
- когнитивные диаграммы классов и признаков;
- семантические сети классов и признаков.
Так как обучение Системы может проводиться периодически согласно определенному регламенту (в данном случае это будет мониторинг СОУ), и, кроме того, в различных регионах, то могут исследоваться территориальные и динамические зависимости обобщенных образов классов распознавания, что представляет специальный интерес.
Таким
образом, в данном разделе описываются:
-
функциональная структура программной инструментальной
оболочки, обеспечивающей реализацию предложенной методологии и алгоритмов
синтеза адаптивных АСУ СОУ (система "Эйдос");
-
технология применения
инструментальной оболочки для разработки и эксплуатации адаптивных АСУ СОУ.
7.2. СТРУКТУРА И ОСНОВНЫЕ ТЕХНИЧЕСКИЕ
ХАРАКТЕРИСТИКИ СИСТЕМЫ "ЭЙДОС"
Для применения на практике предложенной методологии синтеза адаптивных АСУ СОУ она должна быть доведена до определенного уровня конкретизации и детализации.
Для этого необходимо:
- разработать алгоритмы, структуры баз данных и программную реализацию инструментальной системы, реализующую разработанные авторами математическую модель, алгоритм и методику синтеза адаптивных АСУ СС;
- создать условия для эксплуатации данной инструментальной программной системы, т.е. разработать инфраструктуру эксплуатации и виды обеспечения.
Инструментальная программная система, удовлетворяющая сформулированным в данной работе требованиям, была создана: это система "Эйдос" [196].
7.2.1. ОБЩИЕ СВЕДЕНИЯ О СИСТЕМЕ "ЭЙДОС"
В качестве инструментальной оболочки, реализующей предложенную в данной работе методологию, математическую модель и алгоритм и синтеза адаптивных АСУ сложными объектами, применена, разработанная авторами, универсальная автоматизированная система распознавания образов "Эйдос" [177, 178, 187 – 200, 268, 271, 272].
Система "Эйдос" является довольно большой системой, имеющей разветвленную функциональную структуру. Достаточно сказать, что объем исходных текстов системы составляет более 2 Мб, система выдает 50 видов текстовых (приложение 1) и 50 видов графических форм (приложение 2), работает более чем с 60 связанными базами данных.
Все входные и выходные формы системы записываются в виде файлов и, как и ее базы данных, легко доступны из приложений Windows.
Требования к конфигурации компьютера, предъявляемые системой "Эйдос", не являются жесткими: она может эффективно эксплуатироваться практически на всех имеющихся в настоящее время IBM–совместимых персональных компьютерах.
Система включает следующие семь подсистем:
1. Словари.
2. Обучение.
3. Оптимизация.
4. Распознавание.
5. Типология.
6. Анализ.
7. Сервис.
Первая подсистема обеспечивает формализацию входной информации, как обучающей, так и распознаваемой.
Вторая и третья подсистемы являются инструментальными, т.е. позволяют (совместно с первой) разрабатывать новые приложения (методики тестирования, диагностики, прогнозирования и т.д.).
Четвертая подсистема предоставляет возможность эксплуатировать эти приложения в промышленном режиме, решая задачи идентификации и прогнозирования.
Пятая и шестая подсистемы позволяют провести углубленный анализ данных, представленных в форме обучающей выборки, в том числе решить обратные задачи декодирования (распознавания), т.е. выработать управляющее воздействие, а также обеспечивают возможность проверить работоспособность приложения.
Седьмая подсистема
обеспечивает возможность для выполнения служебных функций, необходимых для
надежной эксплуатации приложения, а также содержит дескрипторную информационную
систему, основанную на принципах распознавания образов.
7.2.2. СТРУКТУРА СИСТЕМЫ "ЭЙДОС"
Данной обобщенной структуре соответствует и дерево диалога системы. На рис. 2.5 и 7.1 представлена обобщенная функциональная структура системы "Эйдос". Более подробно данная структура отображена в форме иерархической табл. 7.1.
Таблица 7. 1
ДЕТАЛИЗИРОВАННАЯ СТРУКТУРА
СИСТЕМЫ "ЭЙДОС"
|
Подсистема |
Функция |
Операция |
|
|
Словари |
Классификационные шкалы и
градации |
||
|
Описательные шкалы и градации |
Наименования шкал |
||
|
Наименования градаций |
|||
|
Градации описательных шкал
(признаки) |
|||
|
Иерархические уровни
организации систем |
Уровни классов |
||
|
Уровни признаков |
|||
|
Почтовая служба по
нормативной информации |
Обмен по классам |
||
|
Обмен по признакам |
|||
|
Печать объектов |
|||
|
Обучение |
Ввод–корректировка обучающей
выборки |
||
|
Управление составом
обучающей выборки |
Параметрическое задание
объектов для обработки |
||
|
Статистическая
характеристика, ручной ремонт |
|||
|
Автоматический ремонт обучающей
выборки |
|||
|
Пакетное обучение системы
распознавания |
Накопление абсолютных частот |
||
|
Исключение артефактов
(робастная процедура) |
|||
|
Расчет информативностей
признаков |
|||
|
Расчет условных процентных
распределений |
|||
|
Автоматическое выполнение
режимов 1–2–3–4 |
|||
|
Почтовая служба по
обучающей информации |
|||
|
Оптимизация |
Формирование
ортонормированного базиса классов |
||
|
Исключение признаков с
низкой селективной силой |
|||
|
Удаление классов и
признаков, по которым недостаточно данных |
|||
Окончание табл. 7.1
|
Подсистема |
Режим |
Функция |
Операция |
||
|
Распознавание |
Ввод–корректировка
распознаваемой выборки |
||||
|
Пакетное распознавание |
|||||
|
Вывод результатов распознавания |
Разрез: один объект – много
классов |
||||
|
Разрез: один класс – много
объектов |
|||||
|
Почтовая служба по
распознаваемой выборке |
|||||
|
Типология |
Типологический анализ
классов распознавания |
Информационные (ранговые)
портреты (классов) |
|||
|
Кластерный и конструктивный
анализ классов |
Расчет матрицы сходства
образов классов |
||||
|
Генерация кластеров и
конструктов классов |
|||||
|
Просмотр и печать кластеров
и конструктов |
|||||
|
Автоматическое выполнение
режимов: 1,2,3 |
|||||
|
Вывод 2d семантических
сетей классов |
|||||
|
Когнитивные диаграммы
классов |
|||||
|
Типологический анализ
первичных признаков |
Информационные (ранговые)
портреты признаков |
||||
|
Кластерный и конструктивный
анализ признаков |
Расчет матрицы сходства
образов признаков |
||||
|
Генерация кластеров и
конструктов признаков |
|||||
|
Просмотр и печать кластеров
и конструктов |
|||||
|
Автоматическое выполнение
режимов: 1,2,3 |
|||||
|
Вывод 2d семантических
сетей признаков |
|||||
|
Когнитивные диаграммы признаков |
|||||
|
Типология |
Типологический анализ
первичных признаков |
Информационные (ранговые)
портреты признаков |
|||
|
Кластерный и конструктивный
анализ признаков |
Расчет матрицы сходства
образов признаков |
||||
|
Генерация кластеров и
конструктов признаков |
|||||
|
Просмотр и печать кластеров
и конструктов |
|||||
|
Автоматическое выполнение
режимов: 1,2,3 |
|||||
|
Вывод 2d семантических
сетей признаков |
|||||
|
Когнитивные диаграммы признаков |
|||||
|
Анализ |
Оценка достоверности
заполнения объектов |
||||
|
Измерение интегральной и
дифференциальной валидности системы распознавания |
|||||
|
Измерение независимости
классов и признаков |
|||||
|
Просмотр профилей классов и
признаков |
|||||
|
Сервис |
Генерация (сброс) баз
данных |
Все базы данных |
|||
|
Нормативная информация |
Всех баз данных |
||||
|
БД классов |
|||||
|
БД первичных признаков |
|||||
|
БД обобщенных признаков |
|||||
|
Обучающая выборка |
|||||
|
Распознаваемая выборка |
|||||
|
Базы данных статистики |
|||||
|
Переиндексация всех баз данных |
|||||
|
Печать БД абсолютных частот |
|||||
|
Печать БД условных
процентных распределений |
|||||
|
Печать БД информативностей |
|||||
|
Дескрипторная
информационно–поисковая система |
|||||
Подробнее подсистемы, режимы, функции и операции, реализуемые системой "Эйдос", описаны в [196].
7.3. ОБЕСПЕЧЕНИЕ ЭКСПЛУАТАЦИИ СИСТЕМЫ
ИНФРАСТРУКТУРА ОБЕСПЕЧЕНИЯ ЭКСПЛУАТАЦИИ СИСТЕМЫ
Универсальная когнитивная аналитическая система "Эйдос" представляет собой программную систему, и для ее эксплуатации, как и для эксплуатации любой программной системы, необходима определенная инфраструктура. Без инфраструктуры эксплуатации любая программная система остается лишь файлом, записанным на винчестере.
В зависимости от масштабности решаемых задач управления и специфики предметной области данная структура может быть как довольно малочисленной, так и более развитой. Однако в любом случае ее основные функциональные и структурные характеристики остаются примерно одними и теми же.
Кратко рассмотрим эту инфраструктуру на примере гипотетической организации, производящей определенные виды продукции.
Основная цель: обеспечивать информационную и аналитическую поддержку деятельности организации, направленную на достижение запланированного объема и качества продукции, высокой эффективности управления и устойчивого поступательного развития.
Данная основная цель предполагает выполнение информационных и аналитических работ с различными объектами деятельности, находящимися на различных структурных уровнях как самой организации, так и ее окружения: персональный уровень; уровень коллективов (подразделений); уровень организации в целом; окружающая среда (непосредственное, региональное, международное окружение).
Для достижения основной цели для каждого класса объектов должны регулярно выполняться следующие работы: оценка (идентификация) текущего состояния с накоплением данных (мониторинг); прогнозирование развития (оперативное, тактическое и стратегическое); выработка рекомендаций по управлению.
Необходимо особо подчеркнуть, что основная цель может быть достигнута
только при условии соблюдения вполне определенной наукоемкой технологии.
- мониторинг: оценка и идентификация текущего (фактического, актуального) состояния объекта управления;
- прогнозирование: оперативное, тактическое и стратегическое прогнозирование развития объекта управления;
- управление: анализ взаимодействия объекта управления с окружающей средой и выработка рекомендаций по управлению.
Для достижения основной цели и решения задач управления необходимо выполнять работы по следующим направлениям:
- регулярное получение исходной информации о состоянии объекта управления;
- обработка исходной информации на компьютерах;
- анализ обработанной информации, прогнозирование развития объекта управления, выработка рекомендаций по оказанию управляющих воздействий на объект управления;
- разработка и применение (или предоставление рекомендаций заказчикам) различных методов оказания управляющих воздействий на объект управления.
Для этого необходима определенная организационная структура, напоминающая структуру отдела АСУ, но и отличающаяся от нее в связи со спецификой объекта управления, как сложной системы, включающей отделы:
- мониторинга;
- обработки информации;
- аналитический;
- обеспечения.
Научно–методический отдел включает: научно-методический сектор; сектор разработки программного обеспечения; сектор внедрения и сопровождения программного обеспечения; сектор организационного и юридического обеспечения.
Отдел мониторинга: сектор исследования объекта управления; сектор по работе с независимыми экспертами; сектор по взаимодействию с поставляющими информацию организациями; сектор по анализу информации общего пользования.
Отдел обработки информации: сектор ввода исходной информации (операторы); сектор сетевых технологий и Internet; сектор внедрения, эксплуатации и сопровождения программных систем; сектор технического обслуживания компьютерной техники; сектор ведения архивов баз данных по проведенным исследованиям.
Аналитический отдел имеет структуру, обеспечивающую компетентный профессиональный анализ результатов обработки данных мониторинга по тем срезам социума, которые приняты в качестве объектов постоянного контроля и управления.
ВИДЫ ОБЕСПЕЧЕНИЯ
Для выполнения работ по этим направлениям необходимо определенное обеспечение деятельности. Основные виды обеспечения следующие:
- техническое;
- программное и информационное;
- организационное и юридическое;
- кадровое.
Техническое обеспечение. Возможности применения системы во многом лимитируются наличием необходимой компьютерной и оргтехники. Приводимая ниже техника должна рассматриваться лишь как вариант, приемлемый на момент написания данной работы.
Базовый
компьютер,
локальная сеть, Internet:
- стандартный IBM-совместимый компьютер с источником бесперебойного питания;
- локальная сеть на 100 Мбит/с с сервером. В каждом отделе должен быть лазерный принтер, доступный через сеть сотрудникам этого отдела;
- должна быть обеспечена возможность доступа в Internet по выделенному каналу с сетевых рабочих станций через локальную сеть.
Необходимо также несколько компьютеров с увеличенным объемом оперативной и внешней памяти, снабженный системой мультимедиа, пишущим магнитооптическим дисководом, лазерным принтером, цветным струйным принтером А3 и сканером.
Оргтетхническое оборудование и средства
связи:
- пэйджеры для основных сотрудников;
- факс;
- множительные аппараты различного класса;
- кондиционеры и очистители воздуха и др.
- компьютерный издательский комплекс (компьютер, сканер, лазерный и струйный принтеры);
- бумагорезательное, переплетное и брошюровальное оборудование.
Все компьютерное и оргтехническое оборудование должно обеспечиваться расходными материалами и сервисным обслуживанием.
Программное
и информационное обеспечение:
- обеспечение общего назначения (Windows, Office);
- профессиональное программное обеспечение (графические редакторы, системы автоматизированного перевода и др.);
- базовая программная система, автоматизирующая основную деятельность (когнитивная аналитическая система "Эйдос").
- регламентированный поток информации об объекте управления;
- нерегламентированный поток информации, возникающий по мере необходимости.
Организационное и юридическое обеспечение предназначено для придания необходимого юридического статуса рекомендациям по управлению объектами предметной области, разработанным с применением системы, а также для организации взаимодействия специалистов, обеспечивающих эксплуатацию.
Кадровое обеспечение включает все аспекты работы с персоналом, включая поиск, подбор и расстановку кадров, повышение их профессионального уровня и т.д.
7.4. ВЫВОДЫ
1. Конкретизация предложенных в работе математической модели, методологии, алгоритма и методики синтеза адаптивных АСУ сложными системами доведена до уровня инструментальной программной системы (система "Эйдос"), которая предназначена для формирования адаптивных информационных моделей сложных систем, идентификации их состояний, мониторинга и прогнозирования динамики их развития, выработки рекомендаций по управлению.
2. Инструментальная программная система имеет несколько уровней адаптивности и позволяет обрабатывать данные высокой размерности (до 4000 классов распознавания и 4000 градаций факторов), выдавая большое количество текстовых и графических выходных форм, которые записываются в виде файлов. Система не предъявляет жестких требований к конфигурации компьютера и приспособлена для использования во взаимодействии с различными приложениями и системами, работающими в среде Windows.
3. Являясь реализацией предложенных математической модели, методологии, алгоритмов и методики синтеза ААСУ СС система "Эйдос" может быть применена в организационных АСУ, в частности, в подсистеме идентификации состояния сложного объекта управления и подсистеме выработки управляющих воздействий.
4. Система "Эйдос" может быть применена в различных областях, где необходимо решение задач идентификации, мониторинга и прогнозирования поведения сложных динамических многопараметрических систем и управления ими.