РАЗДЕЛ 1.4.
ПРИМЕНЕНИЕ И ПЕРСПЕКТИВЫ
СИСТЕМ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА

1.4.1. ЛЕКЦИЯ-15.
Области применения
систем искусственного интеллекта

Учебные вопросы

1. Обзор опыта применения АСК-анализа для управления и исследования социально-экономических систем.

2. Поддержка принятия решений по выбору агротехнологий, культур и пунктов выращивания.

3. Прогнозирование динамики сегмента рынка.

4. Анализ динамики макроэкономических состояний городов и районов на уровне субъекта Федерации в ходе экономической реформы (на примере Краснодарского края) и прогнозирование уровня безработицы (на примере Ярославской области).

1.4.1.1. Обзор опыта применения АСК-анализа для управления и исследования социально-экономических систем

Впервые предложенная модель была практически применена автором в 1981 году для разработки оптимальной методики тестирования и диагностики специальных способностей. Имеются акты об успешном проведении исследований с помощью данной системы в области социологии, политологии и прикладной психологии по заказам НИИ культуры Российской Федерации и Краснодарского государственного института культуры (ноябрь 1987г.), Академии общественных наук под руководством доцента Б.И.Бессалаева (март 1987г.), Института социологических исследований АН СССР под руководством доктора социологии профессора А.А.Хагурова (май 1987г. и сентябрь 1987г.). В 1994 году система "Эйдос" была представлена в ВЦ РАН в присутствии иностранных специалистов (в основном из Японии) и получила положительную оценку председателя комитета по искусственному интеллекту Российской Академии наук академика Д.А.Поспелова (рекомендована для применения в социологических и психологических исследованиях), имеются положительные отзывы о Системе от Северо-Кавказской поисково-спасательной службы МЧС России (начальник В.М.Нархов) и Министерства Труда Российской Федерации (зам.нач. Управления, профессор Е.В.Белкин), прошла экспериментальную эксплуатацию в отделе информационного взаимодействия Аналитического центра при Президенте РФ (начальник отдела доктор технических наук, академик МАИ профессор А.Н.Райков), а также приобретена Аналитическим центром администрации Ярославской области (руководитель А.В.Бушуев), Информационно - аналитическим центром администрации Краснодарского края (директор С.Б.Лисицын), АО "Новороссийское морское пароходство" (вице-президент, капитан 1-го ранга, к.т.н. доцент В.А.Бобыр), Краснодарским юридическим институтом МВД России (начальник генерал-майор, доктор философских наук, профессор Ю.А.Агафонов). Работы в МЧС и АО "Новошип" проводились совместно с Научно-производственной фирмой "ЭВРИТОП" (директор Б.В.Гауфман) под научным руководством кандидата технических наук, доктора биологических профессора О.А.Засухиной. Под ее же руководством Кубанским Агроуниверситетом совместно с НПП "Эйдос", на основе эмпирических исходных данных, представленных профессором Н.Г.Малюгой, была разработана методика прогнозирования урожайности и качества сельскохозяйственных культур в зависимости от вида почв, культуры-предшественника, применяемой агротехнологии (нормы высева, удобрения, вспашка и т.п.). Данная методика позволяет "просматривать" различные варианты технологии, прогнозировать последствия их применения, и, на этой основе, вырабатывать научно обоснованные рекомендации по выбору возделываемой культуры и оптимальной для поставленных целей агротехнологии. Это исследование показательно как само по себе, так и в качестве примера применения Системы для выявления взаимосвязей между различными технологиями и хозяйственными результатами. Материалы этих и других работ были представлены на международной конференции "Партнерство во имя прогресса", проходившей в конце мая 1994 года в г.Анапе. Совместно с канд.мед.наук. Г.А.Авакимяном на базе системы "Эйдос" была разработана методика диагностики избыточности и недостаточности меридианов, основанная на внешней симптоматике и анамнезе. Для строительной фирмы "ЭКСТЕРН" (директор В.Г.Очередько) была разработана методика прогнозирования профессиональной пригодности сотрудников для работы по должностям, имеющимся в фирме. Кроме того прогнозируется возможность криминогенных проявлений. Данная методика является автоматизированным рабочим местом (АРМом) менеджера по персоналу и эксплуатировалась несколько лет в адаптивном режиме, обеспечивающем постоянное повышение качества прогнозирования на основе роста представительности обучающей выборки.

Опыт применения АСК-анализа подтверждает эффективность его использования в следующих предметных областях: прогнозирование результатов применения агротехнологий и управление выращиванием сельскохозяйственных культур (Кубанский государственный аграрный университет); идентификация и анализ макроэкономических состояний городов и районов Краснодарского края и края в целом на основе оценки значимости индикаторов макроэкономики и применения методов статистической теории информации и искусственного интеллекта (Департамент экономики и прогнозирования администрации Краснодарского края); прогнозирование уровня безработицы (Аналитический центр администрации Ярославской области); социологические и политологические исследования, анализ общественного мнения (Краснодарский сектор Института социологических исследований АН СССР, Краснодарский краевой агропромышленный комитет, Академия государственной службы при Президенте РФ, Краснодарский государственный институт культуры, Информационно-аналитический центр администрации Краснодарского края, Аналитический центр администрации Ярославской области и др.); решение ряда задач управления качеством подготовки специалистов (Краснодарский юридический институт МВД РФ); прогнозирование успешности будущей профессиональной деятельности в экстремальных ситуациях в условиях высокой ответственности и дефицита времени (Северокавказская региональная поисково-спасательная служба Государственного комитета РФ по делам гражданской обороны, чрезвычайным ситуациям и ликвидации последствий стихийных бедствий МЧС, АО "Новошип" Новороссийское морское пароходство); решение задач Центра Правительственной связи в Краснодарском крае; проектирование адаптивных АСУ сложными техническими объектами (Государственное предприятие особое конструкторское бюро "Икар", Кубанский государственный технологический университет), исследование устойчивости управления АПК (профессор Крохмаль В.В., 2004, http://ej.kubagro.ru/2004/01/15/ http://ej.kubagro.ru/2004/01/09/), исследование влияния объемов и направленности инвестиций на качество уровня жизни населения региона (профессор Ткачев А.Н., 2004), управление качеством грунтовых вод на рисовых оросительных системах (Сафронова Т.И., 2004). Это подтверждается 17 актами внедрения предлагаемых технологий (http://lc.kubagro.ru/aidos/aidos02/pr-4/pr-4..htm) и рядом публикаций за период с 1987 по 2006 годы [33, 35, 36, 74, 77, 78, 79, 80, 81, 82, 86, 88, 89, 93, 96, 97, 101, 102, 113, 114, 116, 117, 118, 121, 122, 125, 130, 131, 132, 135, 143, 146-148, 150, 151, 152, 154, 155, 187, 188, 192, 214-217, 219, 221, 222, 223, 224, 227-231, 247-252, 268, 269-271], среди которых 6 монографий и учебное пособие (см. список основной литературы).

1.4.1.1.1. Синтез и решение задач управления качеством подготовки специалистов

Данное исследование проведено совместно с В.Н.Лаптевым и В.Г.Третьяком [67, 81, 148-151, 155, 231, 252]. Наиболее подробно технология проведения работ и полученные результаты приведены в работе [81], в которой есть специальный большой раздел, посвященный этому исследованию, а также приложение 5, которое содержит видеограммы интерфейса системы "Эйдос", полученные на основе данного приложения. На основе данных по абитуриентам и учащимся Краснодарского юридического института МВД РФ (КЮИ МВД РФ) за 1995 – 2002 годы (7-летний лонгитюд) с помощью системы "Эйдос" был осуществлен синтез семантической информационной модели, отражающей информационные взаимосвязи между индивидуальными личностными особенностями учащихся и их учебными и профессиональными достижениями. Размерность модели составила: 318 прогнозируемых состояний учащихся и выпускников КЮИ МВД РФ, 129 градаций факторов, 69 прецедентов в обучающей выборке, 76128 фактов. С помощью модели решены следующие задачи прогнозирования, входящие в состав рефлексивной АСУ качеством подготовки специалистов:

1) поступление в вуз;

2) успешность обучения в вузе по различным дисциплинам и циклам дисциплин;

3) успешность окончания вуза;

4) причины отчисления;

5) успешность профессиональной деятельности после окончания вуза;

6) продолжительность профессиональной деятельности по специальности, полученной в вузе;

7) причины ухода из ОВД (средневзвешенная достоверность прогнозирования составила 83%).

Система "Эйдос", как специальное программное средство (инструментарий интеллектуальной обработки информации), продемонстрировала возможность решения задач выбора оптимальной педагогической технологии для перевода учащегося из текущего состояния в заданное целевое состояние. Технология применения системы "Эйдос", разработанная автором для КЮИ МВД РФ, позволяет заблаговременно принимать обоснованные решения о целесообразности обучения конкретных курсантов по тем или иным специальностям. Перспективно применение данного инструментария и технологии в адаптивном режиме на систематической основе на выборках значительно большего и постоянно увеличивающегося объема по широкому спектру специальностей, в том числе и на межвузовском и межведомственном уровне. Развитие данного направления исследований и разработок целесообразно осуществить за счет включения в модель данных, характеризующих динамику личностных свойств учащихся, т.е. путем учета данных, полученных в процессе обучения, а не только перед его началом (как в проведенном исследовании), а также путем более детального учета влияния педагогических технологий, учебной, бытовой и профессиональной среды.

Описанная технология АСК-анализа может быть успешно применена для решения задач профотбора, подготовки и переподготовки кадров среднего и высшего звена управления АПК в вузах сельскохозяйственного профиля.

1.4.1.1.2. Экономические исследования

Все эти исследования проводятся примерно по одной технологии: разрабатывается и тиражируется опросный лист; проводится массовый опрос общественного мнения; данные опроса вводятся в компьютер и обрабатываются с помощью специальных программных систем; результаты компьютерной обработки анализируются, разрабатывается аналитический отчет, содержащий как описание ситуации, так и рекомендации по управлению.

Различие состоит в том, к какой сфере относится информация, собираемая с помощью опросного листа:

– в случае маркетинговых исследований – это потребительские предпочтения различных групп населения (имеется успешный опыт проведения подобных исследований по закрытой тематике);

– в рекламных исследованиях нас интересует, из каких источников информации различные группы населения получают информацию о приобретаемых ими товарах, а также то, каким образом они реагируют на различные виды и методы рекламы (имеется успешный опыт проведения подобных исследований по закрытой тематике);

– при социально–психологических исследованиях для нас важны психологические качества личности и точка зрения людей на те или иные преобразования (имеется успешный опыт проведения подобных исследований по закрытой тематике).

Различают разовые (точечные) и периодические исследования. Первые дают возможность выявить картину на момент проведения опроса, тогда как периодические – обеспечивают изучение динамики процессов. Вторые со временем дают возможность прогнозирования развития ситуации.

Исследования могут иметь также различный "территориальный охват", т.е. могут ограничиваться лишь одним населенным пунктом или включать сбор информации по району или краю. Во втором случае имеется возможность выявления территориальной специфики, а также возможность выявления регионов, сходных в том или ином отношении.

Использование информации, получаемой в результате маркетинговых, рекламных и социально–психологических исследований, позволяет принимать точные и эффективные решения в области планирования закупок и продвижения на рынок (адресной реализации) различных товаров, а также управлять кадрами, обеспечивая сплоченную, согласованную и надежную работу коллектива.

6.1.3.1. Маркетинговые исследования

Маркетинговые исследования проводятся в целях получения полной и достоверной информации, необходимой для определения объема и номенклатуры закупаемых товаров и организации их адресной реализации конкретным группам потребителей.

Опросный лист разрабатывается таким образом, чтобы с помощью него можно было получить необходимую информацию о потребителях. В опросный лист могут входить фирменные товарные знаки и каталоги товаров как изготовленные типографским способом, так и с изображения товаров, снятые с их фотографий при помощи сканера и отпечатанные на цветном принтере. Опросный лист может служить одновременно и бланком для заполнения, но могут использоваться и специальные бланки для ответов (что более рационально).

Вопросы делятся на несколько групп:

– социальный и гражданский статус потребителя (пол, возраст, образование, состоит ли в браке, сколько имеет детей, форма занятости, если работает, то руководитель он или исполнитель и т.п.);

– уровень достатка в семье потребителя;

– товары, реально приобретенные потребителем за последнее время;

– товары, которые потребитель приобрел бы, если бы у него была финансовая возможность;

– частота приобретения товаров по их видам;

– какие потребительские и стоимостные характеристики товаров привлекают потребителя и какие его не устраивают;

– где потребитель реально приобретает товары: у частных лиц, в магазинах (каких), на рынках (каких);

– какие места приобретения товаров потребитель знает: наименования магазинов и рынков;

– какую роль в выборе товара играет сервис и способ обслуживания в магазине или на рынке.

В результате проведения маркетингового исследования выявляются потребительские предпочтения различных групп населения в определенном секторе рынка. Выясняется, "что, где, когда", кем и по каким причинам приобретается. Например, выясняется, что данная категория населения приобретает такие–то виды товаров в таких–то местах, а приобрела бы и такие, но если бы цена на них была более приемлемая. На основе этой информации может быть разработан план закупок или производства товаров, определена потенциальная емкость рынка на данный момент и перспективу, а также спрогнозирована его динамика, товар может поставляться адресно в те торговые точки, которые пользуются популярностью у конкретных категорий потребителей. Регулярное проведение маркетинговых исследований позволяет постоянно "держать руку на пульсе" и строить свою работу используя достоверное знание предпочтений возможностей и желаний своих потребителей. Имеется положительный опыт подобных исследований (по закрытой тематике).

6.1.3.2. Рекламные исследования

Рекламные исследования проводятся в целях получения полной и достоверной информации, необходимой для адресного управления формой и содержанием информации, на основе которой конкретными группами потребителей принимаются решения о приобретении тех или иных товаров. Подобные исследования проводились автором по закрытой тематике на основе применения технологии АСК-анализа.

Опросный лист разрабатывается таким образом, чтобы с помощью него можно было выяснить, какими источниками информации реально пользуются различные категории потребителей, а также какие формы подачи информации они предпочитают и лучше воспринимают. В опросный лист могут быть включены фирменные знаки, ключевые слова и рекламные фразы, а также наименования источников информации, выполненные их фирменными стилями (которые можно снять с помощью сканера и отпечатать на цветном принтере). Опросный лист может служить одновременно и бланком для заполнения, но могут использоваться и специальные бланки для ответов.

Вопросы делятся на несколько групп:

– социальный и гражданский статус потребителя (пол, возраст, образование, состоит ли в браке, сколько имеет детей, форма занятости, если работает, то руководитель он или исполнитель и т.п.);

– наиболее популярные телевизионные программы и передачи; наиболее популярные радиопрограммы и передачи;

– отношение к рекламе, включаемой в состав радио и телепередач; наиболее популярные журналы и рубрики;

– наиболее популярные газеты и рубрики;

– отношение к внешней рекламе;

– роль форм, методов и фирменных стилей рекламы;

– иные источники и формы информации, на основе которой потребителями принимаются решения.

В результате проведения рекламного исследования выясняется, какими источниками информации пользуются различные потребительские группы населения и какие формы подачи информации для них предпочтительны. Например, выясняется, что определенная группа населения в основном слушает "Радио Рокс" и именно определенную передачу, которая идет с 18 до 19. Кроме того, известно, что эту группу населения раздражает, когда любимая передача прерывается рекламой товаров, которые представителями данной группы в принципе не могут быть куплены. Известно, также, что эта группа предпочитает юмор политике. На основе этой информации может быть разработан план использования этой передачи "Радио Рокс" для адресного сообщения данной группе населения информации о "ее товарах", причем в такой форме, которая будет воспринята этой группой эмоционально положительно. Регулярное проведение рекламных исследований позволяет строить свою работу, используя достоверное знание источников и форм информации, которыми реально пользуются различные категории потребителей. Имеется положительный опыт подобных исследований (по закрытой тематике).

1.4.1.1.3. Социологические и политологические исследования

С применением предложенной методологии и технологии может быть выполнен ряд работ в области социологии и политологии:

– определение социальной базы (структуры электората) партий, их блоков и объединений, конкретных кандидатов в разрезах по краевому центру, городам и районам края (социальный, возрастной, профессиональный, национальный, образовательный, половой и т.п.;

– состав, поддерживающих и отвергающих программные лозунги предвыборной борьбы);

– изучение социальных запросов различных групп населения и формирование на этой основе предвыборной программы блока, партии, кандидата;

– выявление объективных союзников и оппозиции, как в среди партий, блоков и кандидатов, так и среди различных групп населения;

– изучение динамики и территориальных особенностей по всем этим аспектам.

Имеется положительный опыт исследований по данной проблематике, подтвержденный рядом актов (ДСП).

В настоящее время работы, проводящиеся различными группами и организациями по этим проблемам не основаны на использовании автоматизированных систем искусственного интеллекта, позволяющих разрабатывать и использовать оптимальные методики получения социологической информации и ее анализа. Обычно применяемое для компьютерной обработки результатов анкетирования программное обеспечение позволяет получить лишь простейшие характеристики исследуемой выборки, вроде процентного распределения голосов по районам или различным группам населения.

Рассмотрим подробнее вопросы применения АСК-анализа для выявления конфликтующих коалиций в сложных организационных системах.

В теории конфликтов традиционно считается, что конфликтующие стороны известны, т.е. заданы априорно, и, таким образом, вопрос об их обнаружении и выявлении в рамках этой теории не стоит.

Однако в ряде предметных областей, таких, например, как психология общения, социально-экономические и политологические системы, которые представляют собой сложные организационные системы, перед применением методов теории конфликтов часто бывает необходимо предварительно выявить сами конфликтующие стороны и их возможные коалиции, определить содержание и источники конфликтов, и уже только после этого конкретизировать типы конфликтов и применять стандартные методы их разрешения или компромиссного согласования интересов. Более того, именно в обнаружении конфликтующих сторон, а не в дальнейшем анализе, зачастую и состоит основной смысл интеллектуальной обработки данных в этих предметных областях.

Таким образом проблема выявления конфликтующих сторон и коалиций является актуальной научно-технической проблемой, относящейся к области, непосредственно смежной с теорией конфликтов и как бы подготавливающей исходные данные для ее применения.

Авторы предлагают применить для выявления конфликтующих коалиций в сложных организационных системах методы кластерно-конструктивного анализа и теории информации, реализованные в адаптивной системе анализа и прогнозирования состояний сложных систем "Эйдос".

Теория конструктов возникла в 1955 году (Дж.Келли) в области когнитивной психологии. Конструктом называется понятие, имеющее семантические полюса и шкалу промежуточных смысловых значений (градаций). В частности, конструктом является и система из двух наиболее сильно отличающихся кластеров со спектром объектов, занимающих между этими полюсами промежуточные положения.

Более конкретно суть предлагаемой авторами технологии состоит в следующем.

Осуществляется формализация предметной области, которая состоит в том, что каждой относительно самостоятельной компоненте системы ставится в соответствие некоторая обобщенная категория и все компоненты описываются в одной системе свойств и качеств (атрибутов).

На основе описаний компонент формируются обобщенные образы категорий, которые соответствуют конфликтующим или вступающим в коалицию сторонам. Для этой цели применяются методы теории информации, в частности апостериорная семантическая мера информации А.А.Харкевича.

Каждый из обобщенных образов представляет собой список атрибутов, расположенных в порядке убывания их характерности для данной категории. Кроме того, каждый атрибут описывается количеством информации, которое он содержит о принадлежности обладающего данным атрибутом компонента системы к каждой из категорий.

Обобщенные образы непосредственно сравниваются между собой методами корреляционного анализа, на основе чего формируется матрица сходства, которая является непосредственной основной для расчета конструктов и кластеров.

Важно, что в предложенной математической модели при формировании конструктов одновременно формируются и кластеры, причем если для формирования кластеров по классическим алгоритмам необходимо произвести число операций, равное количеству сочетаний из "n по m", то для формирования конструктов, всего n², т.е. в предложенной модели в данном случае снимается проблема комбинаторного взрыва.

Результаты кластерно-конструктивного анализа представляются в наглядной графической форме в виде семантических сетей, которые представляют собой ориентированные графы, в вершинах которых находятся обобщенные категории, а ребрами являются вектора, величина и направление которых соответствуют величине сходства или различия каждой пары категорий.

Конкретное содержание конфликтов и основа для коалиций раскрывается в форме когнитивных диаграмм, представляющих собой по сути дела графическое изображение обобщенных образов двух категорий в форме списков наиболее характерных и нехарактерных для них атрибутов с указанием в форме векторов вклада каждой пары атрибутов в сходство или различие данных категорий.

Таким образом, предложенные математические модели, основанные на теории информации, и конкретная технология интеллектуальной обработки информации, реализованная на базе адаптивной системы анализа и прогнозирования состояний сложных систем "Эйдос", обеспечивают успешное выявление конфликтующих коалиций в сложных организационных системах, в частности коллективах, социально-экономических и политологических системах.

1.4.1.2. Поддержка принятия решений по выбору агротехнологий, культур и пунктов выращивания

1.4.1.2.1. Поддержка принятия решений по выбору агротехнологий

Исследование проведено совместно с О.А.Засухиной на базе Кубанского государственного аграрного университета в 1993-1996 годах [81] на основе эмпирических исходных данных, представленных Н.Г.Малюгой. Предложенные технологии АСК-анализа реализовывалась на базе системы "Эйдос". С помощью сформированной содержательной информационной модели прогнозировались результаты выращивания сельскохозяйственных культур и вырабатывались научно-обоснованных рекомендации по управлению урожайностью и качеством сельскохозяйственной продукции.

Параметры семантической информационной модели

Созданная модель включает:

– активный объект управления (сельскохозяйственную культуру);

– классы (будущие состояния объекта управления, т.е. количественные и качественные результаты выращивания);

– факторы управляющей системы (агротехнологии, т.е. нормы высева, виды и нормы внесения удобрений, методы вспашки, и т.п.);

– факторы окружающей среды (вид почв, культуры–предшественники по предшествующим годам и др.).

Размерность модели составила: 35 прогнозируемых результатов выращивания, 188 градаций факторов, 217 прецедентов в обучающей выборке, 18594 факта. На основе предложенной технологии АСК-анализа разработано конкретное приложение, обеспечивающее поддержку принятия решений по выбору оптимальной агротехнологии, обеспечивающей достижение поставленной цели выращивания с учетом параметров окружающей среды.

Методика проведения работ

1. Формулирование целей методики и в соответствии с ними разработка перечня прогнозируемых, в т.ч. целевых и нежелательных хозяйственных ситуаций, т.е. результатов выращивания (например, для классификации будущих состояний, в том числе целевых, могут быть использованы "шкала качества" и "шкала количества", а также разработка шкал и градаций факторов для описания причин, которые привели к этим результатам. Предложен формализованный паспорт результатов выращивания сельхозкультуры, состоящий из трех частей: первая из их содержит шкалы и градации, позволяющие классифицировать хозяйственный результат; вторая содержит шкалы и градации, описывающие не зависящие от воли человека факторы (факторы среды, в т.ч. технологическая предыстория); третья – технологические факторы, которые можно рассматривать как средство достижения желаемых результатов.

2. Использование бумажного архива по выращиванию сельхозкультуры для заполнения формализованных паспортов выращивания и ввода в программную инструментальную систему "Эйдос" в качестве примеров выращивания (обучающей выборки).

3. Синтез семантической информационной модели, т.е. выявление (на основе предъявленных реальных примеров выращивания сельхозкультур) причинно-следственных взаимосвязей между факторами окружающей среды, применяемыми технологиями и полученными результатами. Матрица абсолютных частот, является обобщением обучающей выборки, и матрица информативностей, представляет собой семантическую информационную модель предметной области.

4. Оценка достоверности модели, т.е. проверка способности созданного приложения правильно прогнозировать хозяйственные результаты на массиве уже введенных формализованных паспортов. Проведенная проверка показала, что валидность оказалась недостаточно высокой для практического применения: на уровне 58%. Причиной этого являются артефакты (неточные и зашумленные данные), из-за которых некоторые хозяйственные ситуации оказались слабо детерминированными. Удаление артефактов (Парето-автоматизация) привело к повышению интегральной валидности до 80%, что достаточно для практического использования методики.

5. Формирование информационных портретов по каждому возможному результату выращивания. Информационный портрет хозяйственной ситуации представляет собой перечень технологических факторов с количественным указанием того, какое влияние оказывает каждый из них на осуществление данной ситуации. По сути дела информационный портрет хозяйственной ситуации является системой научно-обоснованных рекомендаций по выбору культуры для выращивания и применению тех или иных технологий.

6. Каждый из технологических факторов на основе приведенных примеров характеризуется тем, какое влияние он оказывает на осуществление каждой (целевой или нежелательной) хозяйственной ситуации. Эта информация содержится в семантических портретах факторов.

7. Сравнение различных хозяйственных ситуаций и формирование групп наиболее сходных из них (кластеров), а также определение кластеров, наиболее сильно отличаются друг от друга (конструктов). При этом непосредственно на основе эмпирических данных путем их анализа был выявлен конструкт "качество–количество", означающий, что для получения высокого качества и большого количества продукции необходимы совершенно противоположные и несовместимые (т.е. невозможные одновременно) почвы, предшественники и агротехнологические приемы. Вместе с тем низкое качество и небольшое количество продукции вполне совместимы.

8. Группировка технологических факторов в кластеры и конструкты. Кластерно-конструктивный анализ факторов показал, что некоторые различные по своей природе факторы имеют сходное влияние на хозяйственные результаты. Эти сходные по влиянию факторы предложено использовать для замены друг друга в случае необходимости. Так, например, однолетние и многолетние бобовые и ранние предшественники оказывают практически такое же влияние на результаты выращивания пшеницы, как вспашка 20-22 см, а поздние пропашные предшественники как поверхностная вспашка 8-10 см.

Таким образом, с применением математического метода и инструментария АСК-анализа решены две основные задачи:

1. Прогнозирование того, какие хозяйственные результаты наиболее вероятны (а какие практически невозможны) на данном виде почв, с данными предшественниками и при условии применения имеющихся конкретных имеющихся в распоряжении агротехнологий. Указана мера сходства прогнозируемой ситуации с каждым будущим состоянием.

2. Разработка рекомендаций по выбору управляющих воздействий, т.е. консультирование по вопросам о том, какие виды почв, предшественники и агротехнологии должны быть, чтобы можно было рассчитывать с определенной уверенностью на желаемый хозяйственный результат. Необходимо отметить, что эта же задача позволяет также разрабатывать и совершенствовать агротехнологии.

Система "Эйдос" позволяет оценивать степень достоверности своих прогнозов и рекомендаций по управлению, т.е. она не просто дает рекомендацию, но и количественно оценивает степень ее надежности (как в самой карточке прогнозирования или информационном портрете, так в форме по валидности методики). Кроме того, система дает характеристику влияния каждого технологического приема и рекомендации по замене желательных, но очень дорогих или не имеющихся в наличии технологических приемов, другими, более дешевыми и доступными, и, при этом, имеющими сходное влияние на хозяйственные результаты. Таким образом, данная методика позволяет "просматривать" различные варианты технологии, прогнозировать последствия применения различных технологических приемов, и на этой основе вырабатывать научно обоснованные рекомендации по выбору возделываемой культуры и оптимальной для поставленных целей агротехнологии.

Необходимо отметить, что в данном исследовании в количественной форме были обнаружены как уже известные закономерности по влиянию предшественников, почв, удобрений, способов вспашки и т.д. на результаты выращивания сельхозкультур, так и новые, ранее неизвестные. В качестве второго можно привести пример, условно названный автором "бройлерным эффектом для растений". Суть его состоит в том, что применение технологий, дающих особо большие урожаи, приводит к росту зеленной массы в большей степени, чем к росту массы зерна (плодов). В результате себестоимость зерна (плодов) при применении таких технологий резко возрастает и рентабельность производства снижается.

Ограничения и недостатки предложенных модели и инструментария и пути их преодоления

Однако, в приведенном исследовании были и определенные ограничения и недостатки:

– предложенный программный инструментарий системы "Эйдос" разработан еще до создания в операционной системы MS Windows и нуждается в приведении пользовательского интерфейса к современным стандартам;

– в описанном приложении, разработанном на данных Кубанского государственного аграрного университета совместно с О.А.Засухиной в 1993 – 1996 годах никак не учитывались метеоданные (по причине отсутствия соответствующей исходной информации);

– данное приложение было разработано на примере единственной агрокультуры (зерновые колосовые);

– использованные объемы данных: размерность модели составила: 35 прогнозируемых результатов выращивания, 188 градаций факторов, 217 прецедентов в обучающей выборке, 18594 факта для данной области являются достаточно скромными и позволяют лишь продемонстрировать работоспособность предлагаемых технологий, тогда как для обеспечения реального практического использования эти объемы должны быть увеличены на несколько порядков;

– не ставилась и не решалась задача районирования сельхозкультур, и не использовалась технология геоинформационных систем;

– не ставилась и не решалась задача создания многоагентной консалтинговой системы по выращиванию сельхозкультур в Internet.

Некоторые из указанных ограничений и недостатков были преодолены в следующей разработке автора совместно с Драгавцевой И.А. и Лопатиной Л.М.: [29-36, 40, 74, 153, 186, 189], кратко описанной ниже.

1.4.1.2.2. Поддержка принятия решений по выбору культур и пунктов выращивания

Данная работа проводилась в рамках гранта "ИННО-РФФИ" № 02-04-08080 "Модифицирование и коммерциализация методов компьютерной оценки ресурсного потенциала территорий и адаптивности генотипов для оптимизации размещения и зональных технологий с.х.культур" и гранта "Инициативный научный проект" № 02-05-64233 "Разработка теории многокритериальной оценки ландшафтных и метеорологических характеристик Юга России для увеличения продуктивности плодовых культур на основе создания системы банков данных и компьютерного моделирования" совместно с И.А.Драгавцевой и Л.М.Лопатиной [29-36, 40, 74, 153, 186, 189].

Цель работы

Исторически сложившиеся традиционные ареалы выращивания плодовых культур в общем случае могут не совпадать с фактически оптимальными. Само понятие "оптимальности" нуждается в изучении и определении. Прежде всего оно является многокритериальным, т.е. включает не только экономическую необходимость выращивания тех или иных культур, но и возможность этого, обусловленную всей совокупностью факторов, характеризующих природные и технологические условия выращивания в сопоставлении с требованиями, определяемыми биологическими свойствами сортов. В данном исследовании ставится цель создать технологию, обеспечивающую определение и картографическую визуализацию зон оптимального и рискованного выращивания сельскохозяйственных культур (на примере районирования плодовых косточковых в Южно-Российском регионе).

Проблема

Основная проблема, которую необходимо решить для достижения поставленной цели, состоит в отсутствии инструментария и технологий, обеспечивающих выявление и изучение факторов, влияющих на успешность выращивания сельскохозяйственных культур.

Это связано с тем, что огромные объемы информации по условиям и результатам выращивания, наколенной за десятки лет, находятся в бумажной форме, и не преобразованы в электронную форму, допускающую автоматизированную количественную обработку. Не ясно также какие математические модели могут быть использованы для обработки этой информации, т.к. она характеризуется огромной размерностью (десятки тысяч градаций факторов и результатов выращивания), непараметричностью, неполнотой (фрагментарностью), неточностью. Кроме того, отсутствующие данные не могут быть восполнены в результате специально организованного эксперимента. Эффективность математической модели должна быть подтверждена, в соответствии с принятыми в науке стандартами, на новых данных, что требует многолетних исследований с уже существующим инструментарием. Однако разработка эффективных и работоспособных алгоритмов и структур данных, а также программной реализации математической модели, весьма трудоемка и требует высокой квалификации разработчиков. Кроме того, должна быть детально разработана технология применения созданного специального инструментария.

Традиционные пути решения

Традиционно проблема районирования сортов решалась путем обобщения фактических результатов выращивания тех или иных сортов в различных регионах за длительный исторический период. В этом подходе, однако, есть следующие недостатки. Традиционные ареалы выращивания сортов обусловлены не только объективными ландшафтно-климатическим факторами, но и традициями этносов, а также путями и исторически сложившимися зонами их расселения. Это означает, что, с одной стороны, в ряде случаев сорта возделываются там, где это не вполне оправданно по объективным условиям, а с другой стороны, наоборот, они могут не возделываться там, где для этого существуют наилучшие природные условия. Традиционный подход не позволяет на количественном уровне оценить степень соответствия объективных условий в той или иной точке для выращивания заданного сорта, и таким образом, не соответствует критериям строгости, принятым в современной науке.

Еще в 1935 г. Всесоюзной Академией сельскохозяйственных наук бывшего Советского Союза перед Государственной системой испытания сельскохозяйственных культур была поставлена задача проведения их районирования.

Однако, эта задача не решена в полной мере до сих пор, особенно по многолетним культурам. И это понятно, т.к. государственное испытание проводит изучение плодовых в конкретных точках, которые привязываются чаще всего к крупным плодовым хозяйствам иногда без возможности проводить испытание всего набора культур.

Например, в Краснодарском крае нет ни одного сортоучастка, где абрикос давал бы более 4-х урожаев за 10 лет. Госсортосеть рекомендует к закладке садов сорта по данным эмпирического испытания, без учета и анализа их адаптивного потенциала и природно-ресурсного потенциала конкретного пункта. Эти рекомендации с аналогичными данными НИИ используются при разработке проектов закладки садов проектными организациями, например, по Краснодарскому краю ОАО "Краснодарагроспецпроект".

Недостатки традиционных путей

Отсутствие системного подхода к оценке и использованию потенциала природных ресурсов и биологического потенциала сортов. Отсутствие анализируемого разработчиками проекта массива данных в системе взаимодействия "генотип-среда". Отсутствие информации по степени адаптивного потенциала конкретных сортов к конкретным условиям среды. Отсутствие прогноза вероятности проявления лимитирующих факторов (морозов, заморозков в конкретные фазы развития растений в зимне-весенний и поздне-осенний периоды, засухи, жары в летне-осенний период).

В связи с вышеизложенным неизбежен субъективизм и низкая адекватность решений по выбору культур и сортов для посадки со стороны руководителя хозяйства и специалистов проектных организаций.

Предлагаемая концепция решения проблемы

Предлагается путь решения поставленной проблемы путем поэтапной постановки и решения следующих задач:

1. Формализация предметной области: проектирование иерархической информационной модели предметной области, обеспечивающей оптимальность формализованного представления фактографической информации. Выбор исследуемой системы факторов на основе системного подхода (основное требование: полнота и всесторонность описания объекта исследования).

2. Организация источников информации: разработка формализованного паспорта для подготовки исходной информации, организация сбора и поступления информации для ввода в автоматизированную систему. Необходимо отметить, что получить исходную информацию из имеющихся в ведомственных организациях архивов практически не представляется возможным без поддержки данных исследований высших руководством этих организаций.

3. Мониторинг: накопление в электронной форме информации по условиям и результатам выращивания (прежде всего с использованием верифицированной ретроспективной информации).

4. Анализ: изучение силы и направленности влияния факторов; оптимизация, т.е. устранение избыточности системы факторов.

5. Прогнозирование:

– пространственная интерполяция метеопараметров для заданного пункта по их значениям в трех ближайших метеостанциях (с учетом высоты места и наклона поверхности);

– определение начала и окончания фаз для различных сортов в заданном пункте выращивания на основе ретроспективных данных;

– прогнозирование количественных и качественных результатов выращивания различных сортов в заданном пункте выращивания.

6. Управление: разработка научно-обоснованных рекомендаций по выбору:

– оптимальных пунктов для выращивания заданного сорта;

– оптимального сорта для выращивания в заданных пунктах.

7. Картографическая визуализация результатов прогнозирования и рекомендаций по управлению, получение отчетов и графических выходных форм.

При решении поставленных задач необходимо разработать математическую модель, алгоритмы и структуры данных, программный инструментарий и технологию его применения, обеспечивающие накопление баз данных о фактических результатах выращивания (мониторинг), анализ этих данных с целью выявления причинно-следственных зависимостей между свойствами сортов, условиями и результатами выращивания, прогнозирование результатов выращивания заданного сорта для любой точки на карте, картографическую визуализацию результатов прогнозирования.

Математическая модель

Математическая модель, обеспечивающая решение поставленной проблемы, относится к классу моделей распознавания образов и принятия решений, т.к. по системе факторов, характеризующих место выращивание (прежде всего характеристика почв и метеоусловий) определяются оптимальные сорта для выращивания или принимается решение о выборе оптимальных сортов для выращивания в данном пункте. (Распознавание есть не что иное, как принятие решения о принадлежности распознаваемого объекта или его состояния к определенному классу).

Планируется применить математические модели, основанные на методах распознавания образов и принятия решений, регрессионного и дискриминантного анализа, для решения следующих задач:

– оценка степени адекватности условий в нише или макронише выращивания для заданной номенклатуры плодовых культур;

– картографическая визуализация результатов решения поставленной задачи с применением технологий существующих геоинформационных систем;

– реализация этой технологии в непосредственно в создаваемой системе.

Для решения указанных задач имеется определенный научный и практический задел, реализация которого позволит приблизиться к управлению продуктивностью выращиваемых культур на основе создаваемой компьютерно-информационной системы, решению задачи научно-обоснованного размещения и районирования плодовых культур и сортов.

В качестве математической модели планируется использовать непараметрическую математическую модель, предложенную в [81], основанную на системном обобщении семантической теории информации. В этой модели решено две основные научные проблемы:

1. Получено выражение для весовых коэффициентов, удовлетворяющее поставленным требованиям, основанная на системном обобщении семантической теории информации и учитывающее понятие цели, а также уровень системности и степень детерминированности системы.

2. Предложена неметрическая мера сходства объекта с классом, класса с классом, фактора с фактором, основанная на предложенном выражении для весового коэффициента и лемме Неймана-Пирсона, применение которой корректно в неортонормированном семантическом пространстве (в отличие от меры Евклида) и отражает сходство двух объектов в отличие от меры Махаланобиса.

Алгоритмы и структуры данных

Система включает две основные базы данных и большое количество вспомогательных. К основным относится база биологических данных, и банк метеоданных. Банк биологических данных состоит из двух взаимосвязанных баз данных: базы данных заголовков паспортов выращивания сельскохозяйственных культур (ссылающейся на справочники пунктов выращивания и сортов) и базы результатов выращивания сельскохозяйственных культур, состоящая из шести разделов: дифференциация, фенология, развитие, рост, адаптация, агротехника. Справочник пунктов выращивания ссылается на справочник типов почв и справочник районов, последний – на справочник регионов, а тот – стран. Справочник сортов ссылается на справочники подвоев, культур, а последний – на справочник типов культур. Справочник культур при вводе в паспорт используется для удобства с целью фильтрации справочника сортов.

Программный инструментарий

В 2001 автором совместно с И.А.Драгавцевой и Л.М.Лопатиной начата разработка и в настоящее время создана первая версия Автоматизированной системы мониторинга, анализа и прогнозирования развития сельхозкультур ("ПРОГНОЗ-АГРО"). Эта система содержит пять основных подсистем:

1) словари;

2) генерация метеобаз данных;

3) ввод-корректировка паспортов биологических баз данных;

4) расчеты выходных форм;

5) режим администратора системы;

6) информация о системе.

В свою очередь, подсистема "Словари" содержит 11 режимов, обеспечивающих ведение справочников: страны, регионы, районы, населенные пункты, метеостанции, типы почв, пункты выращивания, типы культур, культуры, подвои, сорта. Справочники взаимосвязаны друг с другом. Они организованы таким образом, чтобы минимизировать трудоемкость ввода информации и количество ошибок ввода.

Подсистема "Генерация метеобаз данных" преобразует метеобазы из одного стандарта в другой, удобный для пользователя и введения метеобаз данных. Это преобразование осуществляется в несколько этапов:

1) преобразование из исходного стандарта в текстовый файл;

2) преобразование из текстового файла в используемый стандарт, ведение метеобазы.

База метеоданных в настоящее время содержит более сотни тысяч записей о суточных метеоусловиях по десяткам метеопараметров в точках расположения метеостанций.

Подсистема "Ввод паспортов биологической базы данных" включает режим каталога паспортов и режим ввода-корректировки конкретного паспорта. Для ввода различных разделов паспорта реализованы вкладки:

– фазы дифференциации плодовых почек сортов,

– фенология, образование и развитие археспориальной ткани, ростовые характеристики;

– адаптивные свойства;

– агротехнические мероприятия.

Подсистема "Расчеты выходных форм" обеспечивает численные расчеты с использованием информации метео и биологических баз данных с привязкой к географическим координатам. Подсистема "Сервис" позволяет переиндексировать все базы данных и создать их архив. Режим администратора позволяет изменить права доступа пользователей к различным подсистемам и режимам системы.

Технология применения программного инструментария

Эта технология включает следующие этапы:

1) формализация предметной области;

2) сбор и ввод исходных данных в систему;

3) синтез информационной модели;

4) оптимизация информационной модели;

5) оценка адекватности информационной модели;

6) если модель адекватна – переход на п.7, иначе – на п.1.;

7) эксплуатация информационной модели для прогнозирования и управления в режиме адаптации и периодического синтеза модели.

Картографическое районирование косточковых плодовых в Южно-Российском регионе

В рамках гранта "Инициативный научный проект" № 02-05-64234 "Разработка теории многокритериальной оценки ландшафтных и метеорологических характеристик Юга России для увеличения продуктивности плодовых культур на основе создания системы банков данных и компьютерного моделирования" в Северо-Кавказском зональном НИИ садоводства и виноградарства в 1999-2003 годах совместно с И. А. Драгавцевой, И. Ю. Савиным были проведены работы по оценке потенциала выращивания различных пунктов по видам почв и метеофакторам с картографической визуализацией результатов прогнозирования в геоинформационной технологии. В результате были получены картографические отображения (с применением геоинформационной системы ILWIS) результатов оценки пригодности почв Краснодарского края для выращивания различных сортов и культур, пригодности климата, а также обобщающую двухфакторную оценку пригодности территории. При этом считалось, что если территория не подходит по почве или климату для выращивания конкретной культуры, то она и вообще не подходит. Таким образом, использовалась не аддитивная, а мультипликативная оценка интегрального критерия, характерная для учета лимитирующих факторов.

Необходимо отметить, что технология АСК-анализа позволяет прогнозировать количественные и качественные результаты выращивания сельхозкультур для конкретных полей по значительно большему количеству факторов (почвы, предшественники за различные годы, метеоусловия, высота над уровнем моря, величина и ориентация наклон местности и т.п.) с использованием аддитивного интегрального критерия.

Таким образом, предлагаемые технологии АСК-анализа позволяют построить агрономическую модель Краснодарского края, в т.ч. с картографической визуализацией, в которой для каждой точки территории края будут определена степень адекватности ее условий для выращивания каждой культуры. На основе этой модели, с учетом имеющейся хозяйственной инфраструктуры или возможностей ее создания, а также прогнозируемой коньюктуры рынка, могут быть выработаны научно-обоснованные рекомендации по объемам и номенклатуре выращиваемых сельскохозяйственных культур.

Следовательно, для принятия решений недостаточно оценки технологического потенциала пункта выращивания, а необходимо также иметь прогноз цен на продукцию. В этой связи рассмотрим применение технологии АСК-анализа для прогнозирования динамики одного из сегментов рынка.

1.4.1.3. Прогнозирование динамики сегмента рынка

Применение математического метода и инструментария АСК-анализа для прогнозирования динамики рынка продукции АПК рассмотрим на примере одного из сегментов фондового рынка Российской Федерации (рынок доллара США). Разработанные при этом технологии и подходы применимы и для других сегментов рынка при прогнозировании спроса и цен на различные виды продукции.

1.4.1.3.1. Предыстория исследования

В 1993-1994 годах, автором совместно с Б.Х.Шульман (США) были проведены исследования Российского фондового рынка [80, 81]. При этом были применены предложенные технологии и специальный программный инструментарий АСК-анализа – базовая система "Эйдос" [187] и специально созданная система окружения "Эйдос-фонд" [192]. Было создано несколько вариантов приложений для различных сегментов фондового рынка и с различной детализацией прогнозов: на каждый день на 30 дней вперед, и на каждый час рабочего дня. В дальнейшем данная разработка была усовершенствована (усилены графические возможности анализа данных), разработаны режимы исследования созданной модели и др.

1.4.1.3.2. Когнитивная структуризация и формализация предметной области

Одним из основных требований системного анализа является требование полноты и всесторонности рассмотрения, а также необходимость исключения из рассмотрения несущественной информации. При когнитивной структуризации предметной области были выявлены 300 ситуаций на фондовом рынке, которые описывались 1500 показателями. В соответствии с разработанной методикой причинно-следственные взаимосвязи между ситуациями на фондовом рынке выявлялись на основании анализа биржевых баз данных, содержащих сведения примерно за 1993-1994 годы. Позже эти базы были дополнены и в настоящее время содержат данные за 1393 дня с 1992 по 1998 годы. Таким образом, размерность семантической информационной модели составила: 300 прогнозируемых ситуаций на фондовом рынке, 1500 градаций факторов, 1393 прецедента за 1992 по 1998 годы, 1765907 фактов. В соответствии с разработанной методикой, путем анализа биржевых баз данных, содержащих сведения за 1393 дня с 1992 по 1998 годы, выявлялись причинно-следственные взаимосвязи между ситуациями на фондовом рынке. При этом были применены математические модели и технологии, а также специальный программный инструментарий СК-анализа: когнитивная аналитическая система "Эйдос" [187]. Реализованные в данной системе когнитивные технологии основаны на системной автоматизации 10 базовых когнитивных операций с применением системной меры семантической целесообразности информации, предложенной в работе [81].

1.4.1.3.3. Исходные данные для прогноза: биржевые базы данных

Система "Эйдос-фонд" относится к окружению системы Универсальной когнитивной аналитической системы "Эйдос" и представляет собой по сути дела программный интерфейс между биржевыми базами данных и базовой системой "Эйдос". Кроме того система "Эйдос-фонд" выполняет функции по визуализации результатов анализа. Система "Эйдос-фонд" обеспечивает прогнозирование динамики курсов валют и ценных бумаг на 1-й 2-й, 3-й, ... , 30-й день от текущего дня с достоверностью около 85%. Преобразование данных из стандартов биржевых баз данных в стандарт Системы "Эйдос" осуществляется автоматически с помощью специально для этого созданного автором программного интерфейса. При этом также осуществляется преобразование первичных параметров, т.е. чисел из временных рядов, характеризующих предметную область, во вторичные параметры – характеризующие наступление тех или иных экономических ситуаций (событий). Система "Эйдос" выявляет взаимосвязи между прошлыми и будущими событиями, и, на этой основе, позволяет осуществлять прогнозирование ситуаций. Технические решения, реализованные в данном программном интерфейсе, являются типовыми и могут быть использованы в других приложениях, где необходимо преобразование временных рядов, характеризующих динамику предметной области, в события, анализируемые системой "Эйдос". При использовании данного приложения были "вновь открыты" многие "сильнодействующие" закономерности валютного и фондового рынка, давно известные специалистам и вписывающиеся в так называемые "фундаментальные" (т.е. содержательные аналитические модели) и "технические" (т.е. феноменологические аналитические) модели. В то же время необходимо подчеркнуть, что было открыто много новых, как правило "более слабых" и специфических закономерностей валютного и фондового рынка, характерных именно для ММВБ на момент проведения работ. Была также обнаружена определенная динамика этих закономерностей. Подход, реализованный на базе системы "Эйдос" во многом является синтезом подходов фундаментальной и технической школ и имеет определенную новизну.

1.4.1.3.4. Формирование точечных прогнозов

На приведенных ниже диаграммах, которые выдает данная система, приводится фактический курс $ США, а также множество точечных прогнозов и средневзвешенный прогноз динамики курса $, рассчитанный с учетом достоверностей точечных прогнозов. Дело в том, в данном приложении на каждый конкретный день получается 30 прогнозов, первый из которых "с позиции во времени" на 30 дней назад, второй – на 29 дней назад, и т.д. Фрагмент карточки результатов прогнозирования, получающейся на основе данных, имеющихся на текущий день, приводится на рисунке 89.

Рисунок 89. Фрагмент карточки точечных прогнозов,

получающихся на основе данных, имеющихся на текущий день

Любой прогноз основан на использовании ранее выявленных закономерностей в предметной области. Так как эти закономерности вообще говоря изменяются при прохождении активной системой точки бифуркации, то следует ожидать, что сразу после прохождения системой этой точки адекватность модели будет резко снижаться, а затем плавно возрастать со скоростью, которую называют "скоростью сходимости" за счет синтеза и адаптации новой модели (фактически исследование зависимости адекватности модели от объема выборки показывает, что погрешность модели после прохождения системой точки бифуркации уменьшается по закону близкому по форме к "затухающим колебаниям"). Из этого следует, что выявление причинно-следственных связей между событиями, между которыми было несколько точек бифуркации, вряд ли имеет смысл. Поэтому увеличение объема фактографической базы для принятия решений само по себе еще не гарантирует повышения их качества. Более того, учет данных, подчиняющихся закономерностям уже потерявшим силу, вполне может и ухудшить характеристики модели. Свойство модели сохранять адекватность при прохождении точки бифуркации будем называть устойчивостью. Результаты взвешивания "точечных прогнозов" приведены на рисунке 90, зависимость погрешности средневзвешенного прогноза курса рубля от разброса точечных прогнозов на рисунке 91.

Рисунок 90. Точечные прогнозы курса Российского рубля к доллару США, средневзвешенный прогноз и фактический курс (1993-1995)

Из сравнения рисунков 90 и 91 видно, что после прохождения активной системой каждой точки бифуркации начинается колебательный процесс приближения атрибута к новому оптимальному значению, минимизирующему ошибку прогнозирования. После достижения этого состояния значение атрибута практически не изменяется до достижения системой новой точки бифуркации.

Рисунок 91. Зависимость погрешности средневзвешенного прогноза курса рубля от разброса точечных прогнозов (ММВБ, 1993-1995)

Когда разброс точечных прогнозов незначителен (рисунок 91), средневзвешенному прогнозу можно доверять, т.к. система находится на детерминистском участке своего развития, на котором ее поведение хорошо прогнозируется, т.к. закономерности, управляющие этим поведением на детерминистском этапе известны и не изменяются. Если же разброс точечных прогнозов велик, то средневзвешенному прогнозу доверять нельзя, т.к. система находится в бифуркационном состоянии, на котором ее дальнейшее поведение неопределенно, т.к. закономерности, управляющие этим будущим поведением только формируются, еще не определены и не отражены в модели.

1.4.1.3.5. Формирование средневзвешенного прогноза

Каждый точечный прогноз может быть представлен в форме вектора, параллельного оси Y (величина курса доллара США), имеющего определенную направленность, т.е. знак ("+" повышение, "–" понижение), а также величину, модуль, отражающую скорость изменения курса. Кроме того, каждый точечный прогноз имеет свою достоверность, нормированную от 0 до 1. Было принято, что вклад каждого точечного прогноза в средневзвешенный зависит не только от знака и модуля вектора, но от достоверности, которая просто умножается на модуль и уменьшает его пропорционально достоверности. Таким образом, средневзвешенный прогноз является векторной суммой всех точечных прогнозов с учетом их достоверностей. Так как вектора всех точечных прогнозов параллельны оси Y, то векторную сумму можно заменить их скалярной суммой в координатной форме, в которой направление вектора учитывается просто его знаком:

(6. 1)

где:

i	– дата, с которой сделан прогноз.
j	– внутренний номер прогноза, сделанного с i-й даты.
N	– количество прогнозов, сделанных с i-й даты на дату D.
PD	– средневзвешенный прогноз курса доллара США на дату D.
Pij	– модуль и знак j-го точечного прогноза курса доллара США, сделанного с i-й даты на дату D.
aij	– оценка достоверности j-го точечного прогноза курса доллара США, сделанного с i-й даты на дату D (формируется системой "Эйдос" автоматически на основе данных, представленных системой окружения "Эйдос-фонд")

Необходимо отметить, что учитываются только те точечные прогнозы, которые имеют положительное сходство с ситуацией, реально сложившейся на фондовом рынке. В результате средневзвешенный прогноз показывает, что "скорее всего произойдет на фондовом рынке". Прогнозы, имеющие отрицательное сходство, также могут быть обобщены по аналогичной методике, но полученный средневзвешенный прогноз будет означать "чего скорее всего не произойдет на фондовом рынке".

1.4.1.3.6. Оценка адекватности модели. Зависимость достоверности прогнозирования от разброса точечных прогнозов

Адекватность модели определяется несколькими способами: путем численного эксперимента, т.е. ретроспективного прогнозирования по данным обучающей выборки (внутренняя валидность); путем экспериментально сопоставления прогнозируемого и фактического развития активного объекта (внешняя валидность). И внутренняя, и внешняя валидность может определяться в разрезе по классам (дифференциальная) или как средневзвешенная по всем классам (интегральная валидность).

При исследовании системно-когнитивной модели было обнаружено, что ошибка прогнозирования курса Российского рубля по отношению к доллару США зависит от прогнозируемой ситуации, т.е. дифференциальная валидность существенно отличается от интегральной.

Прохождение системой точек бифуркации изменяет значения атрибута, но не изменяет его смысла по отношению к рассмотренным классам, т.е. не изменяет порядка факторов в семантическом портрете атрибута, поэтому данный вид устойчивости предлагается называть "Семантическая устойчивость". Из рисунков 90 и 91 видно, что погрешность прогнозирования (т.е. отклонение фактического курса от средневзвешенного) и разброс точечных прогнозов резко возрастают синхронно с "обвалами" рубля. При искусственном (волевом) "удержании" курса рубля, которое обычно следует за периодами его "обвала", прогноз сильно отличается от фактического курса. Это можно объяснить тем, что фактически прогнозируется рыночный, а не искусственно установленный курс.

Таким образом, разброс точечных прогнозов является количественным измерителем степени неопределенности состояния системы и позволяет классифицировать это состояние как "детерминистское" или "бифуркационное" или оценить степень близости к этим состояниям.

Когда разброс точечных прогнозов незначителен, средневзвешенному прогнозу можно доверять, т.к. система находится на детерминистском участке своего развития, на котором ее поведение хорошо прогнозируется, т.к. закономерности, управляющие этим поведением на детерминистском этапе известны и не изменяются. Если же разброс точечных прогнозов велик, то средневзвешенному прогнозу доверять нельзя, т.к. система находится в бифуркационном состоянии, на котором ее дальнейшее поведение неопределенно, т.к. закономерности, управляющие этим будущим поведением только формируются и еще не определены.

Из сравнения рисунков 90 и 91 видно, что погрешность прогнозирования и разброс точечных прогнозов сильно корреллируют. Таким образом, разброс точечных прогнозов может быть использован как количественный измеритель степени неопределенности состояния системы и позволяет оценить степень близости этого состояния к "детерминистскому" или "бифуркационному". А так как разброс точечных прогнозов может быть измерен за долго до наступления прогнозируемого состояния системы, то это позволяет прогнозировать переход системы в бифуркационное состояние.

Здесь необходимо особо отметить, что в предложенной математической модели и технологии АСК-анализа разброс точечных прогнозов не увеличивается пропорционально увеличению длительности периода прогнозирования, как доверительный интервал в статистических моделях, а является именно функцией степени объективной неопределенности состояния системы и изменяется сложным образом.

Кроме того, в системе "Эйдос" реализован режим автоматического удаления из модели классов, по которым в сформированной модели оказалась низкая достоверность идентификации и прогнозирования, после чего адекватность модели резко возрастают. Этот режим аналогичен использованию для этих целей доверительных интервалов в процедуре предсказания с помощью регрессионного анализа.

Таким образом, развитые методика, технология и программный инструментарий АСК-анализа позволяют либо надежно прогнозировать развитие активного объекта, либо надежно прогнозировать его переход в бифуркационное состояние, что само по себе также чрезвычайно ценно.

1.4.1.3.7. Детерминистские и бифуркационные участки траектории

При исследовании динамики среднеквадратичного отклонения точенных прогнозов от средневзвешенного (разброс точечных прогнозов от среднего) было обнаружено, что эта характеристика позволяет выделить два основных типа периодов, которые сменяют друг друга: относительно длительные периоды, характеризующиеся "высокой кучностью точечных прогнозов". Это детерминистские периоды, для которых характерна высокая точность прогнозов, высокое совпадение средневзвешенного прогноза с фактическим курсом доллара США (на уровне 90-95%); относительно короткие периоды, характеризующиеся высокой степенью разброса точечных прогнозов. Это бифуркационные периоды, для которых характерна низкая точность прогнозов, относительно слабое совпадение средневзвешенного прогноза с фактическим курсом доллара США (на уровне 50-60%). Необходимо специально отметить, что сам факт наступления бифуркационного периода прогнозируется по величине разброса точечных прогнозов с очень высокой достоверностью (около 95%), а что произойдет конкретно в бифуркационный период с курсом доллара США и рубля спрогнозировать вообще не представляет проблемы, т.к. всегда происходило одно и то же: во все эти "черные вторники, четверги и пятницы" происходил катастрофический курса обвал рубля по отношению к доллару.

1.4.1.3.8. Прогнозирования времени перехода системы в бифуркационное состояние

Остановимся подробнее на прогнозе перехода активного объекта в бифуркационное состояние. Прежде всего, если говорить о Российском фондовом рынке, то многолетний опыт его исследования убедительно свидетельствует, что в точках бифуркации неизменно происходит "обвал" рубля. Но в возможности прогнозирования сроков перехода системы в состояние бифуркации содержится и значительно более глубокий смысл, состоящий в том, что имеется теоретическая и практическая возможность определения сроков окончания любого дела (т.е. перехода его в иное качество) на основании сроков его начала и данных о ходе реализации. Это и прогнозирование срока окончания ВУЗа по данным о сдаче сессий, прогнозирование сроков безотказной эксплуатации различных технических систем (от мобильной энергоустановки до сложной территориально распределенной энергосистемы), "сроков жизни" различных организмов, а также экономических, общественных, военных, политических и государственных организаций, и т.п. и т.д. Примерно также по изучению участка траектории снаряда специалисты по баллистике определяют точку его вылета и предполагаемую цель.

1.4.1.3.9. Исследование семантической информационной модели

Устойчивость модели, скорость ее сходимости и повышения степени адекватности при изменении объема обучающей выборки являются важнейшими характеристиками модели и определяются ее способностью к выявлению и учету новых закономерностей в предметной области, вступивших в действие после прохождения системой точки бифуркации. Кратко рассмотрим на примере исследования фондового рынка основные параметры семантической информационной модели предметной области: способ взвешивания точечных прогнозов; ослабление влияния факторов со временем; старение информации и периоды эргодичности процессов в предметной области; время реакции системы на изменение факторов (ригидность); автоколебания системы; детерминистские и бифуркационные участки траектории; управление фондовым рынком на детерминистских участках траектории и в точках бифуркации.

Ослабление влияния факторов со временем

Разработка методики прогнозирования основывалась на предположении о том, что факторы в среднем должны оказывать тем меньшее воздействие на текущую ситуацию на фондовом рынке, чем больше прошло времени со времени окончания их действия. Поэтому в реализованной методике учитывались факторы, действующие в течение прошедшего месяца. Специальное исследование, проведенное после разработки методики, показало, что факторы, действующие примерно 30 дней до возникновения текущей ситуации на фондовом рынке, незначительно отличаются по силе влияния на фондовый рынок от факторов, действующих 10 или 20 дней назад. Это означает, что в принципе оправдано было бы взять и значительно больший предстоящий период, например 6 месяцев, в течение которого учитывалось бы действие факторов на текущую ситуацию. Для определения длины предстоящего периода необходимо проведение специального исследования с очень большим предстоящим периодом, составляющим, например, несколько лет.

Старение информации и периоды эргодичности процессов в предметной области

В то же время при исследовании зависимости валидности методики от продолжительности предстоящего периода, в течение которого учитывается действие факторов, было обнаружено, что при увеличении этого периода валидность методики сначала возрастает, а затем начинает плавно, а иногда и скачком снижаться. Рост валидности объясняется увеличением статистики базы примеров, что повышает ее представительность и адекватность. Последующее уменьшение валидности может быть объяснено тем, что закономерности в предметной области изменяются с течением времени, и, поэтому, очень старые данные основаны на иных закономерностях, чем действующие в настоящее время, и значит они уже не повышают адекватность методики, а снижают ее, по сути искажают картину.

Периоды времени, в течение которых закономерности в предметной области существенно не меняются, называются периодами эргодичности. Именно на эр годичных периодах неадаптивные АСУ сохраняют свою адекватность. Эргодичность процессов нарушается либо в результате длительного действия эволюционных изменений в предметной области, которые в конце концов приводят к ее качественному изменению, или в результате действия кратковременных революционных (качественных, скачкообразных) изменений.

Для каждой методики должны быть определены периоды эргодичности, т.к. при выходе за эти периоды необходима адаптация старой или разработка новой методики.

Автоколебания фондового рынка

При исследовании чередования детерминистских и бифуркационных этапов в развитии активных объектов методами корреляционного анализа и конечных разностей были обнаружены автоколебания средневзвешенного прогноза, разброса точечных прогнозов и ошибки средневзвешенного прогноза на фондовом рынке с периодичностью около одной недели и одного месяца (рисунок 92).

Рисунок 92. Автоколебания фондового рынка
(ММВБ, 1993-1995)

В качестве варианта содержательного объяснения полученных результатов (т.е. их интерпретации) можно предположить, что именно с этой периодичностью на фондовом рынке в 1993-1995 годах осуществлялись принятие и реализация решений. Причем в субботу и воскресенье принимаются решения на следующую неделю, а в конце месяца – на следующий месяц. Таким образом, можно говорить об уровнях бифуркаций: для достижения цели месяца как закон реализуется некий план, для реализации которого необходимо каждую неделю принимать и реализовать решения так сказать 2-го уровня, подчиненные главному плану и цели месяца. Изучение графика средневзвешенного прогноза курса доллара США показало, что его автокорреляция имеет ярко выраженную недельную периодичность, т.е. ММВБ в 1995 году имела период собственных колебаний, составляющий одну неделю. Скорее всего это связано с отсутствием торгов в выходные дни.

Предложенные методология, технология, методика и специальный программный инструментарий обеспечивают системно-когнитивный анализ детерменистско-бифуркационной динамики активных объектов и в других предметных областях [81]. Однако необходимо подчеркнуть, что одной из предпосылок для формирования точечных прогнозов с различных точек во времени является наличие данных мониторинга за достаточно длительный период времени, т.е. отдельных точечных исследований для этого недостаточно. А для получения таких данных необходима соответствующая служба, использующая вполне определенные наукоемкие технологии.

Время реакции системы на изменение факторов (ригидность)

Исследование, проведенное после разработки методики, показало, что наиболее сильное влияние на текущую ситуацию оказывают факторы, действующие неделю назад, а более поздние факторы практически не оказывают на нее никакого влияния. Это означает, что в ММВБ в 1995 году имела высокую "инерционность", "время реакции", "ригидность", составляющую примерно одну неделю. По некоторым данным аналогичный параметр для Лондонской биржи в этот же период времени составлял около 32 секунд.

Управление фондовым рынком на детерминистских участках траектории

Из факторов, существенно влияющих на динамику курса доллара США лишь некоторые зависят от решений крупных финансовых негосударственных руководителей, да и то, если они будут действовать скоординировано. Прежде всего это количество банков, участвующих в торгах, а также объем первоначального спроса и предложения. На второй параметр может оказывать существенное влияние Центральный банк, путем крупных интервенций или закупок доллара США.

Управление фондовым рынком в точках бифуркации

Однако, в точках бифуркации обычные закономерности фондового рынка нарушаются или практически теряют силу, в игру вступают совсем другие факторы, которые имеют в основном не экономическую, а психологическую природу. Изучение этих факторов и разработка тактики оперативных действий требует прогнозирования динамики курса в течение суток буквально по часам. Такая работа была проведена совместно с Б.Х.Шульман (США). На первом этапе автором была разработана универсальная формальная классификация, включающая очень большое (заранее избыточное) количество вариантов суточной динамики курса доллара США, которая генерировалась автоматически. Затем было изучено влияние факторов, действующих на фондовом рынке в течение предшествующего месяца. Проведенная работа показала, что: не все теоретически-возможные варианты суточной динамики курса фактически реализуются; существует возможность надежного прогнозирования суточной динамики курса доллара не только в детерминистские периоды, но и в точках бифуркации. Это позволяет участникам рынка сознательно и спокойно принимать ответственные решения не только заблаговременно, но и точно привязываясь к времени в течение дня.

1.4.1.4. Анализ динамики макроэкономических состояний городов и районов на уровне субъекта Федерации в ходе экономической реформы (на примере Краснодарского края) и прогнозирование уровня безработицы (на примере Ярославской области)

В 1993 году в Департаменте экономики и прогнозирования администрации Краснодарского края по заказу заместителя Главы администрации Краснодарского края доктора экономических наук профессора Р.А.Попова с применением технологии АСК-анализа был проведен анализ макроэкономических состояний городов и районов Краснодарского края и всего края в целом в ходе экономической реформы на основе оценки значимости индикаторов макроэкономики и применения методов статистической теории информации и искусственного интеллекта. Данная работа проведена по закрытой теме и получила положительную оценку, что подтверждается актом внедрения (приложение 6).

В 1994 году в Аналитическом центре администрации Ярославской области было разработано приложение (ДСП), обеспечивающее: программный интерфейс межу базами данных Аналитического центра, созданных в среде MS Works; анализ данных мониторинга, содержащих помесячную информацию по ряду социально-экономических показателей за 5 лет (5-летний лонгитюд) представленных Аналитическим центром, с целью выявления причинно-следственных зависимостей между ними и последующим уровнем безработицы; прогнозирование уровня безработицы на основе новых данных по социально-экономическим показателям и знания ранее выявленных причинно-следственных зависимостей. Разработанное приложение показало высокую достоверность и эффективность на ретроспективных данных и получило положительную оценку. Имеется акт внедрения (приложение 6).

Резюме

1. Продемонстрирована эффективность АСК-анализа для прогнозирования развития одного из сегментов фондового рынка РФ проведено в 1993-1998 (5-летний лонгитюд). При этом применены оригинальные авторские технологии и специальный программный инструментарий СК-анализа (система "Эйдос"), а также созданный программный интерфейс с биржевыми базами данных (система "Эйдос-фонд"). Размерность модели составила: 300 прогнозируемых ситуаций на фондовом рынке, 1500 градаций факторов, 1393 прецедента за 1992 по 1998 годы, 1765907 фактов. Обнаружено, что ошибка прогнозирования курса Российского рубля по отношению к доллару США является периодической величиной и сильно коррелирует с разбросом точечных прогнозов: чем больше разброс точечных прогнозов, тем больше ошибка средневзвешенного прогноза. Таким образом, было показано, что АСК-анализ позволяет прогнозировать как развитие активного объекта, так и его переход в бифуркационное состояние. Средневзвешенная достоверность прогнозирования составила около 87%.

2. Продемонстрирована эффективность АСК-анализа для прогнозирования результатов и управления выращиванием сельскохозяйственных культур. Исследование проведено в 1993-1996 годах на базе Кубанского государственного аграрного университета. С помощью системы "Эйдос" была сформирована семантическая информационная модель, обеспечивающая прогнозирование результатов выращивания сельскохозяйственных культур и выработку научно-обоснованных рекомендаций по управлению урожайностью и качеством сельскохозяйственной продукции. Созданная модель включала: объект управления (сельскохозяйственную культуру); классы (будущие состояния объекта управления, т.е. количественные и качественные результаты выращивания); факторы управляющей системы (агротехнологии, т.е. нормы высева, виды и нормы внесения удобрений, методы вспашки, ротация севооборота и т.п.); факторы окружающей среды (вид почв, культуры–предшественники по предшествующим годам и др.). Размерность модели составила: 35 прогнозируемых результатов выращивания, 188 градаций факторов, 217 прецедентов в обучающей выборке, 18594 факта. Для каждого технологического фактора получена количественная информация о его влиянии на осуществление всех желаемых и не желаемых хозяйственных ситуаций. Кластерно-конструктивный анализ факторов показал, что некоторые различные по своей природе факторы имеют сходное влияние на хозяйственные результаты. Эти факторы предложено использовать для замены друг друга в случае необходимости.

Проведено количественное сравнение различных хозяйственных ситуаций и формирование групп наиболее сходных из них (кластеров), а также определены кластеры, наиболее сильно отличаются друг от друга (конструкты). Получен конструкт "качество–количество" показывающий, что для получения высокого качества и большого количества продукции необходимы совершенно противоположные и практически несовместимые (т.е. одновременно неосуществимые) агротехнологии, почвы и предшественники.

В данном приложении в количественной форме были обнаружены как уже известные закономерности по влиянию предшественников, почв, удобрений, способов вспашки и т.д. на результаты выращивания сельхозкультур, так и новые, ранее неизвестные. Необходимо отметить, что это сделано на современной информационно-технологической основе, что впервые позволяет количественно учесть в единой математической модели действие системы разнородных по своей природе факторов, ранее изучавшихся различными научными направлениями и дисциплинами. Система правильно оценивает степень достоверности своих прогнозов и рекомендаций по управлению. Внутренняя интегральная валидность модели составила около 83%, что достаточно для практического применения. В то же время были выявлены некоторые слабо детерминированные хозяйственные ситуации, которые наиболее сложно как вызывать, так и достоверно прогнозировать.

Были решены две основные задачи:

1) прогнозирование хозяйственных результатов с учетом видов почв, предшественников и применяемых агротехнологий;

2) разработка научно-обоснованных рекомендаций по управлению выращиванием сельхозкультур, т.е. консультирование аграриев по вопросам о том, какие виды почв, предшественники и агротехнологии должны быть использованы для достижения заранее заданного хозяйственного результата.

Приведенные примеры практического применения предложенной технологии и инструментария, а также успешный опыт их применения в других предметных областях, подтверждают правильность принятых научно-технических решений и их пригодность для решения проблемы, поставленной в данной работе.

5. Приведенные численные примеры успешного практического применения предложенной технологии АСК-анализа в различных предметных областях подтверждают правильность принятых научно-технических решений и их адекватность для решения проблемы, поставленной в данной работе, т.е. обеспечивают синтез семантической информационной модели и устойчивое управление активными объектами как на детерминистских, так и бифуркационных этапах их развития за счет адаптации и синтеза модели в режиме реального времени непосредственно в процессе эксплуатации РАСУ АО.

Контрольные вопросы

1. Обзор опыта применения АСК-анализа для управления и исследования социально-экономических систем.

2. Применение СИИ для синтеза и решения задач управления качеством подготовки специалистов.

3. Применение СИИ в экономических исследованиях.

4. Применение СИИ в социологических и политологических исследованиях.

5. Поддержка принятия решений по выбору агротехнологий, культур и пунктов выращивания.

6. Поддержка принятия решений по выбору агротехнологий.

7. Поддержка принятия решений по выбору культур и пунктов выращивания.

8. Применение СИИ для прогнозирования динамики сегмента рынка.

9. Когнитивная структуризация и формализация предметной области.

10. Формирование точечных и средневзвешенных прогнозов.

11. Оценка адекватности модели. Зависимость достоверности прогнозирования от разброса точечных прогнозов.

12. Детерминистские и бифуркационные участки траектории развития активных систем.

13. Прогнозирования времени перехода системы в бифуркационное состояние

14. Системно-когнитивный анализ семантической информационной модели.

15. Анализ динамики макроэкономических состояний городов и районов на уровне субъекта Федерации в ходе экономической реформы (на примере Краснодарского края) и прогнозирование уровня безработицы (на примере Ярославской области)

Рекомендуемая литература

1. Луценко Е.В. Теоретические основы и технология адаптивного семантического анализа в поддержке принятия решений (на примере универсальной автоматизированной системы распознавания образов "ЭЙДОС-5.1"). - Краснодар: КЮИ МВД РФ, 1996. - 280с.

2. Луценко Е. В. Автоматизированный системно-когнитивный анализ в управлении активными объектами (системная теория информации и ее применение в исследовании экономических, социально-психологических, технологических и организационно-технических систем): Монография (научное издание). – Краснодар: КубГАУ. 2002. – 605 с.