ГЛАВА 8. СИНТЕЗ И ВЕРИФИКАЦИЯ МНОГОКРИТЕРИАЛЬНОЙ
СИСТЕМНО-КОГНИТИВНОЙ МОДЕЛИ
УНИВЕРСИТЕТСКОГО РЕЙТИНГА ГАРДИАН
И ЕЕ ПРИМЕНЕНИЕ ДЛЯ СОПОСТАВИМОЙ ОЦЕНКИ
ЭФФЕКТИВНОСТИ РОССИЙСКИХ ВУЗОВ
С УЧЕТОМ НАПРАВЛЕНИЯ ПОДГОТОВКИ

Работа посвящена решению проблемы, заключающейся в том, что с одной стороны рейтинг российских вузов востребован, а с другой стороны пока он не создан. Предлагаемая идея решения проблемы состоит в применении отечественной лицензионной инновационной интеллектуальной технологии для этих целей: а именно предлагается применить автоматизированный системно-когнитивный анализ (АСК-анализ) и его программный инструментарий – интеллектуальную систему «Эйдос». Эти методы подробно описываются в этом контексте. Предлагается рассмотреть возможности применения данного инструментария на примере университетского рейтинга Гардиан, и рассматриваются его частные критерии (показатели вузов). Указываются источники данных и методика их подготовки для обработки в системе «Эйдос». В соответствии с методологией АСК-анализа описывается установка системы «Эйдос», ввод исходных данных в нее и формализация предметной области, синтез и верификация модели, их отображение и применение для решения задач оценки рейтинга Гардиан для российских вузов и исследования объекта моделирования. Рассматриваются перспективы и пути создания интегрированного рейтинга российских вузов и эксплуатации рейтинга в адаптивном режиме. Указываются ограничения предлагаемого подхода и перспективы его развития

8.1. Формулировка проблемы

Университетские рейтинги давно стали общепринятым в мире методом оценки эффективности вузов[1].

Этими рейтингами для решения различных задач пользуются и потенциальные студенты, и их родители, и ученые, и руководители. Таким образом, они востребованы практически всем обществом.

Недавно и министерство образования и науки РФ обратилось к идее создания подобного рейтинга для российских вузов, и это в общем нельзя не приветствовать.

Однако первый опыт создания подобного рейтинга, по-видимому, приходиться признать неудачным, т.к. он вызвал большой поток совершенно справедливой и хорошо обоснованной критики со стороны научно-педагогического сообщества. Возражения вызвали, прежде как сами критерии оценки эффективности вузов[2], так и полная непрозрачность процедуры формирования этих критериев, а также то, что за бортом широкого обсуждения (которого, вообще не было) осталось и само понятие эффективности вузов, т.е. их основное назначение. А ведь именно тем, что понимается под эффективностью вузов, определяются и критерии ее оценки. Но предложенные критерии оказались таковы, что у многих возникло вполне обоснованное подозрение, что под эффективностью вузов при их формировании понималось вовсе не качество образования, а нечто другое не свойственное вузам.

Эта критика звучит и на научных конференциях,[3] и в научных публикациях [1]. А то, о чем не принято говорить на научных конференциях и писать в научных публикациях, высказывается на форумах и на личных страницах ученых и педагогов.

Например, на своем личном сайте доктор педагогических наук профессор А.А.Остапенко пишет: «Основных критериев, как мы помним пять: средний балл ЕГЭ принятых на обучение студентов; объём научных работ на одного сотрудника; количество иностранцев-выпускников; доходы вуза в расчёте на одного сотрудника, а также общая площадь учебно-лабораторных зданий в расчёте на одного студента. Как они связаны с эффективностью вуза и что такое эффективность вообще понять, мысля рационально, непросто. Даже всерьёз обсуждать эти критерии как-то странно» [4].

Но мы все же выскажем одно соображение. На наш взгляд довольно странно выглядит попытка сравнения друг с другом вузов разных направленности подготовки, т.е. например аграрных вузов и вузов, готовящих специалистов для атомной и ракетно-космической промышленности. Иначе говоря, для вузов разной направленности должны быть разные критерии и основанные на них рейтинги. Для агарного вуза естественно, что у него есть учебные подсобные хозяйства, фермы, поля, сады, виноградники, посадки орехов, машинно-тракторные станции и т.п. и т.д. Можете себе представить что получится, если разделить прибыль аграрного вуза на его площадь?

Правда со временем, наверное, в какой-то степени и под влиянием этой критики, позиция Минобрнауки РФ стала меняться. А то, что к тому времени уже успели закрыть несколько вузов, как говорят: «имеющих признаки неэффективности»[5], – это как бы и не так важно. Кроме того вузы, имевшие много филалов, отказались от них, т.к. они в основном были малоэтажными и «увеличивали признаки неэффективности». Естественно, эти филиалы сразу же стали филиалами московских вузов, после чего об этих одиозных критериях эффективности вузов как-то потихоньку и забыли, наверное потому, что они уже выполнили свою функцию: перераспределение собственности вузов от периферии в пользу центра. Динамику этих изменений позиции профильного министерства можно проследить по Нормативно-правовым документам Минобрнауки РФ, устанавливающим критерии оценки эффективности деятельности вузов[6].

Таким образом, налицо проблема, которая состоит в том, что с одной стороны рейтинг российских вузов востребован, а с другой стороны как-то пока не очень получается его сформировать. То есть, как обычно желаемое не совпадает с действительным, и «хотели как лучше, а вышло как всегда» (В.С.Черномырдин).

8.2. Авторский подход к решению проблемы

8.2.1. Идея предлагаемого решения проблемы

Идея решения проблемы проста: обратиться к мировому опыту в этой области, творчески его переосмыслить применительно к российским реалиям и разработать свои научно-обоснованные подходы, с учетом всего лучшего, что есть в мировом опыте.

Существует несколько популярных и авторитетных рейтингов вузов¹:

– Университетский рейтинг The Guardian^{^[7]};

– Университетский рейтинг Times^{^[8]};

– Мировой рейтинг Times Higher Education^{^[9]};

– Рейтинг мировых вузов Шанхайского Университета^{^[10]}.

Мы не будем их здесь описывать, т.к. по ним достаточно информации в общем доступе, в т.ч. по приведенным ссылкам.

Но хотели бы отметить, что для поддержки любого подобного рейтинга необходима соответствующая инфраструктура, оснащенная различными видами обеспечения ее деятельности (финансовое, кадровое, организационное, техническое, математическое, программное, информационное и т.д.). Все эти виды обеспечения в совокупности представляют собой технологию ведения и применения данного рейтинга.

Естественно, никто технологию не продает, а если и продает, то так дорого, что купить ее практически невозможно. Поэтому возникает вопрос о разработке или поиске подобной технологии в России.

Таким образом, востребованы теоретическое обоснование, математическая модель, методика численных расчетов (т.е. структуры данных и алгоритмы их обработки) а также реализующие их инструментальные (программные) средства, обеспечивающие создание, поддержку, развитие и применение подобных рейтингов.

Данная работа как раз и посвящена рассмотрению отечественной лицензионной инновационной интеллектуальной технологии, обеспечивающей решение поставленной проблемы. А именно предлагается применить для этой цели автоматизированный системно-когнитивный анализ (АСК-анализ) и его программный инструментарий – интеллектуальную систему «Эйдос».

8.2.2. Автоматизированный системно-когнитивный
анализ и интеллектуальная система «Эйдос»
как инструментарий решения проблемы

Этот подход кратко описан в работе [2]. Здесь рассмотрим его подробнее.

Прежде всего, возникает вопрос о том, что понимается под эффективностью вузов? Ведь ясно, что прежде чем оценивать эффективность вузов было бы неплохо, а на самом деле совершенно необходимо, разобраться с тем, что же это такое. Причина этого ясна: выбор критериев оценки во многом обуславливается тем, что именно оценивается.

Ясно, что по этому поводу существует много различных мнений, которые в различной степени аргументированы или не аргументированы и отражают позиции руководителей образования и науки, профессионального научно-педагогического сообщества и различных слоев населения. По мнению автора, с научной точки зрения некорректно и неуместно говорить о каких-то критериях оценки эффективности вузов, если не определено само это понятие эффективности, т.е. отсутствует консенсус в профессиональной среде по поводу того, что же это такое.

Очевидно, для достижения такого консенсуса в наше время необходимо широкое обсуждение этого вопроса в научной печати, Internet и СМИ. Однако такое обсуждение не было организовано и критерии оценки эффективности или признаков неэффективности практически неожиданно «свалились научно-педагогическому сообществу как снег на голову».

Уже после этого, как это произошло, началось обсуждение этого вопроса на различных научных конференциях, в научной и периодической прессе, на личных сайтах, формах и т.п. Но пока шло это обсуждение и пока оно не пришло к какому-либо консенсусу в этом вопросе, ряд вузов были закрыты, филиалы сокращены и т.д.

По мнению автора, цель вуза в том, чтобы формировать компетентных и творчески мыслящих специалистов в соответствии с прогнозом социального заказа, т.е. таких, которые будут востребованы обществом в будущем периоде профессиональной деятельности этих специалистов, который составляет 30-40 лет. А должен ли вуз зарабатывать, должен ли он иметь те или иные площади в расчете на одного учащегося – это все нужно знать только для того, чтобы спрогнозировать, сможет ли он выполнить свою основную задачу, т.е. подготовку специалистов. Ни в коем случае нельзя рассматривать эти показатели как самоцель, т.к. достижение тех или иных их значений, вообще говоря, может и ничего не говорить о достижении цели вуза. Несут ли эти критерии какую-либо информацию о достижении цели вуза, и какую именно по величине и знаку, – это еще надо определить в процессе специального исследования, которое, скорее всего не было проведено. Странно, что об этом приходиться писать, но приходиться, т.к. похоже, об этом стали забывать.

Когда консенсус профессионального научно-педагогического сообщества по вопросу о том, что же понимать под «эффективностью вуза» будет достигнут, на первый план выступает вопрос о том, с помощью какого метода оценивать эту эффективность, т.е. как ее измерить.

Для автора вполне очевидно, что этот метод должен представлять собой какой-то вариант метода многокритериальной оценки. Это обусловлено просто тем, что такие сложные и многофакторные системы как вузы в принципе невозможно оценивать по одному показателю или критерию. Чтобы обоснованно выбрать метод оценки эффективности вузов необходимо сначала научно обосновать требования к нему, а затем составить рейтинг методов по степени соответствия обоснованным требованиям и выбрать метод, наиболее удовлетворяющий обоснованным требованиям.

Применение метода факторного анализа для этих целей, по-видимому, некорректно, т.к. этот метод, предъявляющий настолько жесткие требования к исходным данным об объекте моделирования, что их практически невозможно выполнить. Во-первых, факторный анализ – это параметрический метод, предполагающий, что исходные данные подчиняются многомерным нормальным распределениям. Во-вторых, это метод неустойчивый, т.е. небольшие изменения исходных данных могут привести к значительным изменениям в модели. Поэтому исходные данные для факторного анализа должны быть абсолютно точными, что невозможно не только фактически, но даже в принципе. В-третьих, перед началом факторного анализа необходимо определить наиболее важные факторы, которые и будут исследоваться в создаваемой модели. Но при этом в руководствах по факторному анализу не уточняется, каким способом это предлагается сделать. А между тем при большом количестве факторов, что является обычным для большинства реальных задач, это не тривиальная задача, которую вручную решить невозможно.

Когда метод оценки эффективности вузов выбран, необходимо ответить на вопрос о том, на основе каких частных критериев оценивать эффективность вузов и какой исходной информацией о вузах для этого необходимо располагать?

Ясно, что эти критерии в общем случае могут иметь как количественную, так и качественную природу и могут измеряться в различных единицах измерения. Кроме того эти критерии могут иметь различную силу и направление влияния на интегральную оценку эффективности вузов. Конечно, возникают вопросы как о способе определения системы критериев эффективности вуза, так и о способе определения силы и направления влияния критериев на оценку эффективности вузов.

Но еще более существенным является вопрос: «О способе сопоставимого сведения разнородных по своей природе и измеряемых в различных единицах измерения частных критериев эффективности в один количественный интегральный критерий эффективности вуза».

Отметим, что в материалах Минобрнауки РФ и о критериях оценки эффективности вузов[11] даже не упоминается вопрос о том, что когда значения частных критериев для того или иного вуза установлены, то необходимо каким-то образом на их основе получить обобщающую количественную оценку его эффективности в виде одного числа, т.е. надо как-то объединить значения всех частных критериев в одной формуле, в одном математическом выражении, которое и называется «Интегральный критерий».

Поэтому, наверное, и говорят не об эффективности или неэффективности вуза, а всего лишь «о признаках неэффективности», а признаками являются значения отдельных частных критериев. Если таких признаков неэффективности много, то делают вывод о том, что вуз неэффективен. Фактически такой подход, который может быть и применялся, можно назвать неосознанным применением частных критериев и интегрального критерия, т.е. «неосознанным многокритериальным подходом». При таком подходе все частные критерии имеют одинаковый вес, например принимающий значения 0 (неэффективен) и 1 (эффективен). Когда значения всех частных критериев для вуза установлены, то эти веса суммируются и сумма сравнивается с минимальными и максимальными оценками, полученными для всех вузов. Допустим, в Минобрнауки РФ из каких-то своих соображений решили, что в результате оценки эффективности вузов должно быть закрыто из-за низкой эффективности 1.5% вузов. Тогда все вузы сортируются по убыванию этой суммы и 1.5% с конца рейтинга помещаются в «черный список».

Но такой «неосознанный многокритериальный подход» очень и очень уязвим для критики.

Во-первых, возникает законный вопрос о том, почему все критерии имеют одинаковый вес, хотя даже интуитивно ясно, что они имеют разное значение и по-разному влияют на эффективность вуза (которая, кстати, непонятно в чем заключается).

Во-вторых, непонятно, как можно складывать средний балл ЕГЭ принятых на обучение студентов, объём научных работ на одного сотрудника, количество иностранцев-выпускников, доходы вуза в расчёте на одного сотрудника и общую площадь учебно-лабораторных зданий в расчёте на одного студента. За подобные математические операции ставят двойку по физике в 7-м классе средней школы. Там школьников учат, что перед тем как складывать величины, измеренные в разных единицах измерения, например рост учащихся, выраженный в метрах (1.72) и выраженный в сантиметрах (160), нужно перевести эти величины в одну единицу измерения, например в метры или в сантиметры. А иначе получится: 1.72+160=161.72, т.е. некий результат, не поддающийся разумной содержательной интерпретации[12]. Как бы нечто похожее и на таком же научном уровне не получилось при оценке наличия у вуза «признаков неэффективности». Но научно-педагогическую общественность не поставили в известность о том, каким образом вычисляется интегральная оценка эффективности вуза на основе установленных для него значений частных критериев. Поэтому высказанное опасение остается не снятым.

В развитом осознанном многокритериальном подходе для вычисления значения интегрального критерия нужно знать силу и направление влияния каждого значения частных критериев на величину этого интегрального критерия. Интегральные критерии бывают трех видов: аддитивные, мультипликативные и общего вида. Чаще всего используются аддитивные интегральные критерии, в которых значение интегрального критерия равно просто сумме значений частных критериев. Но чтобы значения частных критериев можно было корректно суммировать необходимо, чтобы они были значениями на числовых измерительных шкалах [3], и чтобы они измерялись в одних и тех же единицах измерения или были безразмерными.

Оба эти требования выполняются в Автоматизированном системно-когнитивном анализе (АСК-анализ), в котором все значения всех факторов, независимо от того количественные они или качественные и в каких единицах они измеряются в исходных данных, в моделях системы «Эйдос» (системно-когнитивных моделях) они все измеряются в одних и тех же единицах измерения – единицах количества информации [2, 3]. Поэтому метод АСК-анализа и предлагается для решения поставленной проблемы.

АСК-анализ представляет собой один из современных методов искусственно интеллекта, который предоставляет научно обоснованные ответы на все эти вопросы, но самое существенное, что он оснащен широко и успешно апробированным универсальным программным инструментарием, позволяющим решить эти вопросы не только как обычно на теоретическом концептуальном уровне, но и на практике [2]. Модели знаний АСК-анализа основаны на нечеткой декларативной модели представления знаний, предложенной автором в 1983 году и являющейся гибридной моделью, сочетающей в себе преимущества фреймовой, нейросетевой и четкой продукционной моделей и обеспечивающей создание моделей очень больших размерностей до 10 млн. раз превышающих максимальные размерности моделей знаний экспертных систем с четкими продукциями:

– от фреймовой модели модель представления знания системы «Эйдос» отличается существенно упрощенной программной реализацией и более высоким быстродействием без потери функциональности;

– от нейросетевой тем, что обеспечивает хорошо обоснованную теоретически содержательную интерпретацию весовых коэффициентов на рецепторах и обучение методом прямого счета [8];

– от четкой продукционной модели – нечеткими продукциями, представленными в декларативной форме, что обеспечивает эффективное использование знаний без их многократной генерации для решения задач идентификации, прогнозирования, принятия решений и исследования моделируемого объекта.

АСК-анализ является непараметрическим методом, устойчивым к шуму в исходных данных, позволяющий корректно обрабатывать неполные (фрагментированные) исходные данные, описывающие воздействие взаимозависимых факторов на нелинейный [7] объект моделирования.

Суть метода АСК-анализа в том, что он позволяет рассчитать на основе исходных данных какое количество информации содержится в значениях факторов, обуславливающих переходы объекта моделирования в различные будущие состояния, причем как в желательные, так и в нежелательные [3].

Он состоит в целенаправленном последовательном повышении степени формализации исходных данных до уровня, который позволяет ввести исходные данные в компьютерную систему, а затем преобразовать исходные данные в информацию; информацию преобразовать в знания; использовать знания для решения задач прогнозирования, принятия решений и исследования предметной области.

Рассмотрим подробнее вопросы выявления, представления и использования знаний в АСК-анализе и системе «Эйдос».

Данные – это информация, записанная на каком-либо носителе или находящаяся в каналах связи и представленная на каком-то языке или в системе кодирования и рассматриваемая безотносительно к ее смысловому содержанию.

Исходные данные об объекте управления обычно представлены в форме баз данных, чаще всего временных рядов, т.е. данных, привязанных ко времени. В соответствии с методологией и технологией автоматизированного системно-когнитивного анализа (АСК-анализ), развиваемой проф. Е.В.Луценко, для управления и принятия решений использовать непосредственно исходные данные не представляется возможным. Точнее сделать это можно, но результат управления при таком подходе оказывается мало чем отличающимся от случайного. Для реального же решения задачи управления необходимо предварительно преобразовать данные в информацию, а ее в знания о том, какие воздействия на корпорацию к каким ее изменениям обычно, как показывает опыт, приводят.

Информация есть осмысленные данные.

Смысл данных, в соответствии с концепцией смысла Шенка-Абельсона, состоит в том, что известны причинно-следственные зависимости между событиями, которые описываются этими данными. Таким образом, данные преобразуются в информацию в результате операции, которая называется «Анализ данных», которая состоит из двух этапов:

1. Выявление событий в данных (разработка классификационных и описательных шкал и градаций и преобразование с их использованием исходных данных в обучающую выборку, т.е. в базу событий – эвентологическую базу).

2. Выявление причинно-следственных зависимостей между событиями.

В случае систем управления событиями в данных являются совпадения определенных значений входных факторов и выходных параметров объекта управления, т.е. по сути, случаи перехода объекта управления в определенные будущие состояния под действием определенных сочетаний значений управляющих факторов. Качественные значения входных факторов и выходных параметров естественно формализовать в форме лингвистических переменных. Если же входные факторы и выходные параметры являются числовыми, то их значения измеряются с некоторой погрешностью и фактически представляют собой интервальные числовые значения, которые также могут быть представлены или формализованы в форме лингвистических переменных (типа: «малые», «средние», «большие» значения экономических показателей).

Какие же математические меры могут быть использованы для количественного измерения силы и направления причинно-следственных зависимостей?

Наиболее очевидным ответом на этот вопрос, который обычно первым всем приходит на ум, является: «Корреляция». Однако, в статистике это хорошо известно, что это совершенно не так. Для преобразования исходных данных в информацию необходимо не только выявить события в этих данных, но и найти причинно-следственные связи между этими событиями. В АСК-анализе предлагается 7 количественных мер причинно-следственных связей, основной из которых является семантическая мера целесообразности информации по А.Харкевичу.

Знания – это информация, полезная для достижения целей[13].

Значит для преобразования информации в знания необходимо:

1. Поставить цель (классифицировать будущие состояния моделируемого объекта на целевые и нежелательные).

2. Оценить полезность информации для достижения этой цели (знак и силу влияния).

Второй пункт, по сути, выполнен при преобразовании данных в информацию. Поэтому остается выполнить только первый пункт, т.к. классифицировать будущие состояния объекта управления как желательные (целевые) и нежелательные.

Знания могут быть представлены в различных формах, характеризующихся различной степенью формализации:

– вообще неформализованные знания, т.е. знания в своей собственной форме, ноу-хау (мышление без вербализации есть медитация);

– знания, формализованные в естественном вербальном языке;

– знания, формализованные в виде различных методик, схем, алгоритмов, планов, таблиц и отношений между ними (базы данных);

– знания в форме технологий, организационных, производственных, социально-экономических и политических структур;

– знания, формализованные в виде математических моделей и методов представления знаний в автоматизированных интеллектуальных системах (логическая, фреймовая, сетевая, продукционная, нейросетевая, нечеткая и другие).

Таким образом, для решения сформулированной проблемы необходимо осознанно и целенаправленно последовательно повышать степень формализации исходных данных до уровня, который позволяет ввести исходные данные в интеллектуальную систему, а затем:

– преобразовать исходные данные в информацию;

– преобразовать информацию в знания;

– использовать знания для решения задач управления, принятия решений и исследования предметной области.

Рисунок 1. Соотношение содержания понятий: «Данные», «Информация»,
«Знания» и этапы последовательного повышения степени формализации
модели от данных к информации, а от нее к знаниям

АСК-анализ имеет следующие этапы [2]:

– когнитивно-целевая структуризация предметной области;

– формализация предметной области (формирование классификационных и описательных шкал и градаций и обучающей выборки);

– синтез и верификация статистических и системно-когнитивных моделей;

– решение задач идентификации, прогнозирования, принятия решений и исследования предметной области в наиболее достоверных из созданных моделей.

Единственный неавтоматизированный в системе «Эйдос» этап – это первый, а остальные приведены на рисунке 1.

АСК-анализ имеет ряд особенностей, которые обусловили его выбор в качестве метода решения проблемы:

1. Имеет теоретическое обоснование, основой которого является семантическая мера целесообразности информации А.Харкевича.

2. Обеспечивает корректную сопоставимую количественную обработку разнородных по своей природе факторов, измеряемых в различных единицах измерения, высокую точность и независимость результатов расчетов от единиц измерения исходных данных.

3. Обеспечивает построение многомерных моделей объекта моделирования непосредственно на основе неполных и искаженных эмпирических данных о нем.

4. Имеет развитую и доступную программную реализацию в виде универсальной когнитивной аналитической системы «Эйдос».

Очень важно, что этот инструментарий и методики его использования для решения сформулированных задач могут быть доступны всем заинтересованным сторонам не только на федеральном уровне, но и в самих вузах, что позволит им осуществлять аудиторскую самооценку и видеть свое место и динамику среди других вузов. Это позволит руководителям вузов принимать более осознанные и научно обоснованные решения, направленные на повышение эффективности и рейтинга их вуза. Конечно, для реализации на практике регулярного рейтингового анализа вузов необходимо создание соответствующей достаточно разветвленной инфраструктуры.

Более подробному и конкретному исследованию связанных с этим вопросов и посвящена данная работа, в которой далее кратко расстраивается университетский рейтинг Гардиан (который выбран просто в качестве примера), а затем приводится численный пример его реализации в форме приложения интеллектуальной системы «Эйдос». Отметим, что создание этого приложения не требует программирования [4-6], т.е. система «Эйдос» анализирует исходные данные рейтинга и строит модель, в которой отражено как влияют значения частных критериев на значение интегрального критерия, т.е. на итоговую общую оценку рейтинга вуза.

8.2.3. Частные критерии университетского
рейтинга Гардиан

Университетский рейтинг Гардиан[14] выгодно отличается от других тем, что измеряет качество преподавания, использования учебных ресурсов, а также оценивает уровень исследовательской деятельности, что очень полезно для тех, кто интересуется послевузовскими программами – магистратурой, докторантурой и проч.

Как указано на официальном сайте рейтинга¹⁰ в нем используются следующие частные критерии:

1. Качество преподавания, которое оценивается национальным студенческим исследованием (NSS): процент удовлетворенных студентов.

2. Получение обратной связи от преподавателя и качество заданий. Оценивается опросом NSS, в котором устанавливается процент удовлетворенных студентов.

3. Результаты опроса NSS, в котором оценивается процент студентов, удовлетворенных общим качеством выбранной программы.

4. Затраты на студента – оценка по 10-балльной шкале.

5. Соотношение студент – работник вуза: количество студентов на штатную единицу университета.

6. Карьерные перспективы: процент выпускников, сумевших найти работу или продолжить обучение в течение полугода после окончания вуза.

7. Уровень прогресса студентов на основе сравнения университетских результатов с оценками предыдущего сертификата (обычно, школьного или университетского): оценка по 10-балльной шкале. Данный показатель демонстрирует, насколько преподавательский состав способен повлиять на улучшение успеваемости студентов.

8. Проходной балл при поступлении в вуз на основе оценок предыдущего сертификата обучения (школьный или университетский сертификат).

Отметим, что считаем важным достоинством данного рейтинга то, что он ведется по различным направлениям подготовки, которых 45 (таблица 1):

Таблица 1 – Направления подготовки, по которым проводился
университетский рейтинг Гардиан

Таблица 9 – Обучающая выборка (фрагмент)

The object of training sample	Guardian score/100	Rank	Field of study	Name of Institution	% Satisfied with Teaching	% Satisfied overall with course	Expenditure per student (FTE)	Student:staff ratio	Career prospects	Value added score/10	Average Entry Tariff	% Satisfied with Assessment
Medicine-Oxford, 2012	10	41	498	606	10	20		31	50	57	70	79
Medicine-Cambridge, 2012	10	41	498	535	9	19	30	31	50	52	70	76
Medicine-Edinburgh, 2012	9	87	498	553	9	19	30	31	50	54	69	75
Medicine-Dundee, 2012	9	87	498	549	10	20	30	31	50	56	68	76
Medicine-UCL, 2012	8	87	498	652	9	19	26	31	50	59	69	76
Medicine-Imperial College, 2012	6	132	498	575	9	19	27	31	50	53	69	74
Medicine-Leicester, 2012	6	132	498	585	9	19	25	31	50	55	68	75
Medicine-Newcastle, 2012	6	132	498	598	10	20	24	31	50	55	68	75
Medicine-Peninsula Medical School, 2012	6	132	498	608	9	19	27	31	50	54	68	76
Medicine-Nottingham, 2012	6	178	498	604	9	19	23	31	50	54	69	74
Medicine-King's College London, 2012	5	178	498	578	8	18	25	31	50	56	68	74
Medicine-Warwick, 2012	5	178	498	660	8	18	28	31	50	59		74
Medicine-Leeds, 2012	4	224	498	581	8	18	26	31	50	56	68	75
Medicine-Hull York Medical School, 2012	4	224	498	574	8	18	24	32	50	58	68	75
Medicine-Manchester, 2012	4	224	498	593	6	15	28	31	50	59	68	73
Medicine-Sheffield, 2012	4	224	498	628	9	19	23	31	50	54	68	75
Medicine-Aberdeen, 2012	4	269	498	513	9	19	24	31	50	56	67	77
Medicine-Brighton Sussex Medical School, 2012	4	269	498	530	8	18	24	32	50	57		75
Medicine-Queen Mary, 2012	4	269	498	613	7	17	24	31	50	58	68	74
Medicine-St George's Medical School, 2012	4	315	498	634	8	19	26	32	50	56	68	75
Medicine-Southampton, 2012	4	315	498	631	8	18	24	31	50	57	68	74
Medicine-St Andrews, 2012	4	361	498	633	10	20	22	32	50	51	68	76
Medicine-Glasgow, 2012	3	361	498	560	6	15	25	31	50	55	69	72
Medicine-UEA, 2012	3	361	498	653	8	18	23	31	50	59	67	75
Medicine-Birmingham, 2012	3	361	498	523	9	18	23	32	50	53	69	72
Medicine-Queen's, Belfast, 2012	3	406	498	611	8	18	24	32	50	53	68	75
Medicine-Liverpool, 2012	2	406	498	587	6	15	24	31	50	54	68	72
Medicine-Bristol, 2012	2	406	498	531	8	15	26	32	50	54	68	71
Medicine-Keele, 2012	1	452	498	576	7	14	23	32	50	57	67	72
Medicine-Cardiff, 2012	1	452	498	537	6	14	23	32	50	58	68	71
Dentistry-King's College London, 2012	10	24	481	578	9	18	28	31	50	57	68	77
Dentistry-Glasgow, 2012	8	70	481	560	10	20	23	32	50	56	68	78
Dentistry-Cardiff, 2012	8	115	481	537	9	20	28	31	50	51	68	75
Dentistry-Queen's, Belfast, 2012	7	115	481	611	10	20	29	31	50	55	67	76
Dentistry-Birmingham, 2012	7	161	481	523	10	18	25	31	50	56	68	76
Dentistry-Bristol, 2012	6	207	481	531	9	20	26	32	50	55	68	78
Dentistry-Dundee, 2012	5	252	481	549	8	19	24	31	50	57	68	75
Dentistry-Sheffield, 2012	4	252	481	628	9	19	23	31	50	56	68	76
Dentistry-Liverpool, 2012	3	298	481	587	8	17	27	31	50	57	68	76
Dentistry-Manchester, 2012	3	344	481	593	9	18	25	31	50	57	68	75
Dentistry-Newcastle, 2012	2	389	481	598	8	19	21	32	50	56	68	76
Dentistry-Queen Mary, 2012	1	389	481	613	7	17	24	31	50	57	68	76
Dentistry-Leeds, 2012	1	435	481	581	9	19	29	32	50	56	68	73
Veterinary science-Cambridge, 2012	10	56	512	535	9	19	28	31	49	53	69	77
Veterinary science-Edinburgh, 2012	8	147	512	553	9	18	29	31	50	59	68	74
Veterinary science-Liverpool, 2012	6	193	512	587	9	20	23	31	50	54	68	74
Veterinary science-Glasgow, 2012	5	284	512	560	9	20	23	31	50	58	68	75
Veterinary science-Nottingham, 2012	5	330	512	604			24	31			68
Veterinary science-Royal Veterinary College, 2012	5	421	512	625	8	17	28	31	49	56	68	73
Veterinary science-Bristol, 2012	1	467	512	531	9	19	23	32	49	53	67	74
Anatomy and physiology-Oxford, 2012	10	13	470	606	10	17	30	32		56	69	75
Anatomy and physiology-Glamorgan, 2012	10	13	470	559	9	19	24	32	50	60	65	78
Anatomy and physiology-Cardiff, 2012	10	59	470	537	9	20	30	32	50	55	67	75
Anatomy and physiology-Plymouth, 2012	9	59	470	609	10	19	28	31	48	58	65	79
Anatomy and physiology-Brunel, 2012	8	59	470	532	10	20	23	32	48	59	65	76
Anatomy and physiology-Liverpool, 2012	8	59	470	587	9	19	29	32	48	54	66	77
Anatomy and physiology-Sussex, 2012	8	59	470	643	9	20	26	32		59	66	76
Anatomy and physiology-Newcastle, 2012	7	104	470	598	9	20	24	32	48	55	67	76
Anatomy and physiology-Aston, 2012	7	104	470	518	8	18	26	33	50	52	66	78
Anatomy and physiology-Bristol, 2012	7	150	470	531	9	19	27	32	47	54	67	76
Anatomy and physiology-Nottingham, 2012	6	150	470	604	10	19	27	33		54	67	77
Anatomy and physiology-Birmingham, 2012	6	150	470	523	9	18		32	47	57	67	75
Anatomy and physiology-Sheffield Hallam, 2012	5	150	470	629	10	19	23	33	48	55	66	77
Anatomy and physiology-Manchester, 2012	5	196	470	593	9	19	25	32	48	54	67	75
Anatomy and physiology-Glasgow Caledonian, 2012	5	196	470	561	9	19	24	33	48	57	66	76
Anatomy and physiology-Edinburgh, 2012	5	196	470	553	9	19	29	33	45	55	67	74
Anatomy and physiology-Robert Gordon, 2012	5	241	470	616	9	20	23	34	48	57	67	76
Anatomy and physiology-De Montfort, 2012	5	241	470	547	8	19	25	33	50	55	64	76
Anatomy and physiology-Hertfordshire, 2012	5	241	470	570	8	19	23	33	49	57	63	77
Anatomy and physiology-UEA, 2012	5	241	470	653	10	20			49	53	65	75
Anatomy and physiology-Queen's, Belfast, 2012	4	287	470	611	9	19	29	32	46	57	65	74
Anatomy and physiology-Aberdeen, 2012	4	287	470	513	8	20	24	33	47	56	64	78
Anatomy and physiology-Bradford, 2012	4	287	470	528	8	20	24	33	49	53	65	76
Anatomy and physiology-Birmingham City, 2012	2	287	470	524	9	15	23	34	48	58	65	75
Anatomy and physiology-Leeds, 2012	2	333	470	581	8	19	25	35	45	56	67	76
Anatomy and physiology-Northampton, 2012	2	333	470	601	9	17	23	33			63	77
Anatomy and physiology-Anglia Ruskin, 2012	2	333	470	516	8	20	25	36	46	58	64	78
Anatomy and physiology-Manchester Met, 2012	2	378	470	594	8	17	22	33	48	53	65	75
Anatomy and physiology-City, 2012	1	378	470	542	8	17	24	33	50	51	66	74
Anatomy and physiology-Cumbria, 2012	1	378	470	546	7	18	23	34	50	52	64	76
Anatomy and physiology-St Mary's UC, Twickenham, 2012	1	378	470	636	10	20	22	35	47	56	62	77
Anatomy and physiology-King's College London, 2012	1	424	470	578	8	19	27	36	46	53	67	75
Anatomy and physiology-Ulster, 2012	1	424	470	654	7	15	23	33	45	58	65	75
Nursing and paramedical studies-Edinburgh, 2012	10	44	501	553	10	20	29	32		58	66	78
Nursing and paramedical studies-Glasgow, 2012	10	44	501	560	10	20	27	33		56	66	80
Nursing and paramedical studies-UEA, 2012	9	44	501	653	9	18	30	33	50	58	65	76
Nursing and paramedical studies-Leeds, 2012	7	44	501	581	8	17	30	33	50	53	65	77
Nursing and paramedical studies-Staffordshire, 2012	7	44	501	637	9	20	27	33	50	58	63	78
Nursing and paramedical studies-Portsmouth, 2012	7	90	501	610	8	18	28	32	50	54	65	76
Nursing and paramedical studies-City, 2012	7	90	501	542	8	18	30	33	49	55	64	77
Nursing and paramedical studies-Keele, 2012	7	90	501	576	10	20	26	33	49	57	64	78
Nursing and paramedical studies-Southampton, 2012	7	90	501	631	8	18	28	33	49	59	66	75
Nursing and paramedical studies-Birmingham, 2012	7	90	501	523	9	19		32	49	54	66	76
Nursing and paramedical studies-Bedfordshire, 2012	7	90	501	522	9	18	24	33		60	63	77
Nursing and paramedical studies-Liverpool, 2012	7	90	501	587	8	17	29	32	50	52	65	76
Nursing and paramedical studies-Oxford Brookes, 2012	7	90	501	607	9	19	24	33	50	55	64	78
Nursing and paramedical studies-Nottingham, 2012	7	135	501	604	8	18	27	33	49	59	65	76
Nursing and paramedical studies-Surrey, 2012	7	135	501	642	8	19	28	35	50	58	65	77
Nursing and paramedical studies-Manchester, 2012	7	135	501	593	9	18	27	33	50	55	65	76
Nursing and paramedical studies-Brighton, 2012	6	135	501	529	8	17	24	33	49	58	65	77
Nursing and paramedical studies-Thames Valley, 2012	6	135	501	646	8	16	28	33	50	60	62	77
Nursing and paramedical studies-Middlesex, 2012	6	135	501	597	8	17	29	33	50	56	63	77
Nursing and paramedical studies-Edge Hill, 2012	6	135	501	552	9	19	23	33	49	54	63	79
Nursing and paramedical studies-Bangor, 2012	6	135	501	519	8	18	26	33	50	52	64	77
Nursing and paramedical studies-Coventry, 2012	6	135	501	545	9	19	23	33	49	58	64	77
Nursing and paramedical studies-Northampton, 2012	6	181	501	601	8	18	24	33	49	59	63	76

Полностью обучающая выборка в работе не может быть приведена, т.к. файл исходных данных содержит 2559 строк.

Этим завершается 2-й этап АСК-анализа, который называется «Формализация предметной области» и создаются все необходимые и достаточные предпосылки для выполнения следующего этапа, т.е. синтеза и верификации (измерения достоверности) модели.

8.3.5. Синтез и верификация многокритериальной
системно-когнитивной модели университетского
рейтинга Гардиан, учитывающей направления
подготовки

Синтез и верификация многокритериальной системно-когнитивной модели университетского рейтинга Гардиан, учитывающей направления подготовки, представляет собой задачу, требующую довольно значительных вычислительных ресурсов. Решение этой задачи на компьютере с процессором i7 и 16 Гб оперативной памяти с размещение задачи на SSD, потребовало около 13 часов счета (рисунок 9).

Такая большая длительность расчетов обусловлена тем, что для измерения достоверности 10 моделей была использована вся обучающая выборка, включающая 2559 примеров.

Математические аспекты формирования системно-когнитивных моделей описаны в ряде работ автора [3] и здесь их подробно освещать нет необходимости. Отметим лишь, что для преобразования матрицы абсолютных частот в другие модели используются формулы преобразования, приведенные в таблице 10:

Рисунок 9. Экранная форма с отображением стадии синтеза и верификации
моделей и прогнозом времени исполнения

Таблица 10 – Частные критерии знаний, используемые в настоящее время
в АСК-анализе и системе «Эйдос-Х++»

Наименование модели знаний и частный критерий	Выражение для частного критерия
Наименование модели знаний и частный критерий	через относительные частоты	через абсолютные частоты
INF1, частный критерий: количество знаний по А.Харкевичу, 1-й вариант расчета относительных частот: Nj – суммарное количество признаков по j-му классу. Относительная частота того, что если у объекта j-го класса обнаружен признак, то это i-й признак
INF2, частный критерий: количество знаний по А.Харкевичу, 2-й вариант расчета относительных частот: Nj – суммарное количество объектов по j-му классу. Относительная частота того, что если предъявлен объект j-го класса, то у него будет обнаружен i-й признак.
INF3, частный критерий: Хи-квадрат: разности между фактическими и теоретически ожидаемыми абсолютными частотами	---
INF4, частный критерий: ROI - Return On Investment, 1-й вариант расчета относительных частот: Nj – суммарное количество признаков по j-му классу
INF5, частный критерий: ROI - Return On Investment, 2-й вариант расчета относительных частот: Nj – суммарное количество объектов по j-му классу
INF6, частный критерий: разность условной и безусловной относительных частот, 1-й вариант расчета относительных частот: Nj – суммарное количество признаков по j-му классу
INF7, частный критерий: разность условной и безусловной относительных частот, 2-й вариант расчета относительных частот: Nj – суммарное количество объектов по j-му классу

Обозначения:

i – значение прошлого параметра;

j - значение будущего параметра;

N_ij – количество встреч j-го значения будущего параметра при i-м значении прошлого параметра;

M – суммарное число значений всех прошлых параметров;

W - суммарное число значений всех будущих параметров.

N_i – количество встреч i-м значения прошлого параметра по всей выборке;

N_j – количество встреч j-го значения будущего параметра по всей выборке;

N – количество встреч j-го значения будущего параметра при i-м значении прошлого параметра по всей выборке.

I_ij – частный критерий знаний: количество знаний в факте наблюдения i-го значения прошлого параметра о том, что объект перейдет в состояние, соответствующее j-му значению будущего параметра;

Ψ – нормировочный коэффициент (Е.В.Луценко, 1979, впервые опубликовано в 1993 году [15]), преобразующий количество информации в формуле А.Харкевича в биты и обеспечивающий для нее соблюдение принципа соответствия с формулой Р.Хартли;

P_i – безусловная относительная частота встречи i-го значения прошлого параметра в обучающей выборке;

P_ij – условная относительная частота встречи i-го значения прошлого параметра при j-м значении будущего параметра.

В результате сформированы 10 моделей: 3 статистических и 7 системно-когнитивных моделей (моделей знаний). Фрагменты трех из них приведены ниже (таблицы 11, 12, 13):

Таблица 11 – Матрица абсолютных частот, модель ABS (фрагмент)

Код	Наименование показателя	1/10-{25.90, 33.31}	2/10-{33.31, 40.72}	3/10-{40.72, 48.13}	4/10-{48.13, 55.54}	5/10-{55.54, 62.95}	6/10-{62.95, 70.36}	7/10-{70.36, 77.77}	8/10-{77.77, 85.18}	9/10-{85.18, 92.59}	10/10-{92.59, 100.00}
1	% SATISFIED WITH TEACHING-1/10-{50.0000000, 55.0000000}	2	2	1	0	2	0	1	0	0	0
2	% SATISFIED WITH TEACHING-2/10-{55.0000000, 60.0000000}	4	8	0	1	1	0	1	0	0	0
3	% SATISFIED WITH TEACHING-3/10-{60.0000000, 65.0000000}	3	8	7	5	2	4	2	2	1	0
4	% SATISFIED WITH TEACHING-4/10-{65.0000000, 70.0000000}	7	23	17	18	9	4	6	3	1	0
5	% SATISFIED WITH TEACHING-5/10-{70.0000000, 75.0000000}	6	22	31	43	30	29	9	5	0	0
6	% SATISFIED WITH TEACHING-6/10-{75.0000000, 80.0000000}	17	29	63	72	79	43	22	12	5	3
7	% SATISFIED WITH TEACHING-7/10-{80.0000000, 85.0000000}	15	22	65	93	108	89	53	43	20	12
8	% SATISFIED WITH TEACHING-8/10-{85.0000000, 90.0000000}	6	21	55	96	121	121	101	41	30	27
9	% SATISFIED WITH TEACHING-9/10-{90.0000000, 95.0000000}	6	9	25	54	87	104	97	71	38	35
10	% SATISFIED WITH TEACHING-10/10-{95.0000000, 100.0000000}	1	2	3	12	23	18	39	23	21	32
11	% SATISFIED OVERALL WITH COURSE-1/10-{37.5156766, 43.7641089}	3	3	2	1	0	0	0	1	1	0
12	% SATISFIED OVERALL WITH COURSE-2/10-{43.7641089, 50.0125413}	3	5	1	1	2	1	0	0	1	0
13	% SATISFIED OVERALL WITH COURSE-3/10-{50.0125413, 56.2609736}	4	7	5	4	6	2	2	1	0	0
14	% SATISFIED OVERALL WITH COURSE-4/10-{56.2609736, 62.5094060}	6	16	17	11	13	6	5	3	0	0
15	% SATISFIED OVERALL WITH COURSE-5/10-{62.5094060, 68.7578383}	9	20	20	31	21	19	5	6	0	0
16	% SATISFIED OVERALL WITH COURSE-6/10-{68.7578383, 75.0062706}	9	23	41	45	45	33	19	11	4	0
17	% SATISFIED OVERALL WITH COURSE-7/10-{75.0062706, 81.2547030}	16	28	65	81	96	73	45	16	9	2
18	% SATISFIED OVERALL WITH COURSE-8/10-{81.2547030, 87.5031353}	8	26	66	109	118	110	80	42	25	12
19	% SATISFIED OVERALL WITH COURSE-9/10-{87.5031353, 93.7515677}	5	15	40	84	118	114	111	73	43	44
20	% SATISFIED OVERALL WITH COURSE-10/10-{93.7515677, 100.0000000}	4	3	10	27	43	54	64	47	33	51
21	EXPENDITURE PER STUDENT (FTE)-1/10-{1.0000000, 1.9000000}	2	4	3	0	1	0	0	0	0	0
22	EXPENDITURE PER STUDENT (FTE)-2/10-{1.9000000, 2.8000000}	9	28	44	33	23	13	9	0	0	0
23	EXPENDITURE PER STUDENT (FTE)-3/10-{2.8000000, 3.7000000}	31	48	84	114	102	64	20	13	5	2
24	EXPENDITURE PER STUDENT (FTE)-4/10-{3.7000000, 4.6000000}	17	35	63	111	121	86	51	21	2	2
25	EXPENDITURE PER STUDENT (FTE)-5/10-{4.6000000, 5.5000000}	6	15	38	47	67	63	58	19	7	4
26	EXPENDITURE PER STUDENT (FTE)-6/10-{5.5000000, 6.4000000}	0	9	18	35	54	59	42	28	14	6
27	EXPENDITURE PER STUDENT (FTE)-7/10-{6.4000000, 7.3000000}	2	6	8	28	39	52	47	29	14	8
28	EXPENDITURE PER STUDENT (FTE)-8/10-{7.3000000, 8.2000000}	0	5	13	14	35	40	48	32	19	15
29	EXPENDITURE PER STUDENT (FTE)-9/10-{8.2000000, 9.1000000}	1	0	0	12	22	25	33	35	23	11
30	EXPENDITURE PER STUDENT (FTE)-10/10-{9.1000000, 10.0000000}	0	0	1	3	4	9	24	23	31	56
31	STUDENT:STAFF RATIO-1/10-{4.6000000, 9.2100000}	1	2	4	11	16	13	17	17	18	20
32	STUDENT:STAFF RATIO-2/10-{9.2100000, 13.8200000}	7	7	9	29	44	62	73	69	46	50
33	STUDENT:STAFF RATIO-3/10-{13.8200000, 18.4300000}	7	24	53	101	160	150	131	69	43	37
34	STUDENT:STAFF RATIO-4/10-{18.4300000, 23.0400000}	15	36	90	144	167	122	93	33	12	6
35	STUDENT:STAFF RATIO-5/10-{23.0400000, 27.6500000}	22	34	74	79	59	47	16	11	2	2
36	STUDENT:STAFF RATIO-6/10-{27.6500000, 32.2600000}	8	24	20	23	19	8	1	1	1	0
37	STUDENT:STAFF RATIO-7/10-{32.2600000, 36.8700000}	4	12	10	6	2	4	1	0	0	0
38	STUDENT:STAFF RATIO-8/10-{36.8700000, 41.4800000}	2	5	9	3	1	0	0	0	0	0
39	STUDENT:STAFF RATIO-9/10-{41.4800000, 46.0900000}	2	3	2	0	0	1	0	0	0	0
40	STUDENT:STAFF RATIO-10/10-{46.0900000, 50.7000000}	0	1	0	0	0	0	0	0	0	0
41	CAREER PROSPECTS-1/10-{16.0000000, 24.4000000}	2	5	5	5	2	0	0	0	0	0
42	CAREER PROSPECTS-2/10-{24.4000000, 32.8000000}	5	14	18	21	21	4	0	0	0	1
43	CAREER PROSPECTS-3/10-{32.8000000, 41.2000000}	12	15	41	61	57	21	14	0	1	1
44	CAREER PROSPECTS-4/10-{41.2000000, 49.6000000}	6	32	36	65	58	36	31	7	3	0
45	CAREER PROSPECTS-5/10-{49.6000000, 58.0000000}	8	19	32	66	67	89	51	19	5	1
46	CAREER PROSPECTS-6/10-{58.0000000, 66.4000000}	3	7	24	40	65	51	55	21	14	8
47	CAREER PROSPECTS-7/10-{66.4000000, 74.8000000}	1	3	10	30	28	55	47	45	27	14
48	CAREER PROSPECTS-8/10-{74.8000000, 83.2000000}	0	3	11	10	26	30	42	36	21	29
49	CAREER PROSPECTS-9/10-{83.2000000, 91.6000000}	2	1	1	4	14	10	19	19	14	19
50	CAREER PROSPECTS-10/10-{91.6000000, 100.0000000}	6	3	9	20	14	16	16	10	7	9
51	VALUE ADDED SCORE/10-1/10-{1.0000000, 1.9000000}	15	21	20	24	12	3	2	2	1	0

Таблица 11 – Матрица условных и безусловных
процентных распределений , модель PRC2 (фрагмент)

Код	Наименование показателя	1/10-{25.90, 33.31}	2/10-{33.31, 40.72}	3/10-{40.72, 48.13}	4/10-{48.13, 55.54}	5/10-{55.54, 62.95}	6/10-{62.95, 70.36}	7/10-{70.36, 77.77}	8/10-{77.77, 85.18}	9/10-{85.18, 92.59}	10/10-{92.59, 100.00}
1	% SATISFIED WITH TEACHING-1/10-{50.0000000, 55.0000000}	3	1	0	0	0	0	0	0	0	0
2	% SATISFIED WITH TEACHING-2/10-{55.0000000, 60.0000000}	6	5	0	0	0	0	0	0	0	0
3	% SATISFIED WITH TEACHING-3/10-{60.0000000, 65.0000000}	4	5	3	1	0	1	1	1	1	0
4	% SATISFIED WITH TEACHING-4/10-{65.0000000, 70.0000000}	10	15	6	5	2	1	2	1	1	0
5	% SATISFIED WITH TEACHING-5/10-{70.0000000, 75.0000000}	9	15	11	11	6	7	3	2	0	0
6	% SATISFIED WITH TEACHING-6/10-{75.0000000, 80.0000000}	25	19	23	18	17	10	7	6	4	3
7	% SATISFIED WITH TEACHING-7/10-{80.0000000, 85.0000000}	22	15	24	23	23	21	16	21	16	10
8	% SATISFIED WITH TEACHING-8/10-{85.0000000, 90.0000000}	9	14	20	24	26	29	30	20	24	23
9	% SATISFIED WITH TEACHING-9/10-{90.0000000, 95.0000000}	9	6	9	14	18	25	29	35	31	30
10	% SATISFIED WITH TEACHING-10/10-{95.0000000, 100.0000000}	1	1	1	3	5	4	12	11	17	28
11	% SATISFIED OVERALL WITH COURSE-1/10-{37.5156766, 43.7641089}	4	2	1	0	0	0	0	0	1	0
12	% SATISFIED OVERALL WITH COURSE-2/10-{43.7641089, 50.0125413}	4	3	0	0	0	0	0	0	1	0
13	% SATISFIED OVERALL WITH COURSE-3/10-{50.0125413, 56.2609736}	6	5	2	1	1	0	1	0	0	0
14	% SATISFIED OVERALL WITH COURSE-4/10-{56.2609736, 62.5094060}	9	11	6	3	3	1	1	1	0	0
15	% SATISFIED OVERALL WITH COURSE-5/10-{62.5094060, 68.7578383}	13	13	7	8	4	5	1	3	0	0
16	% SATISFIED OVERALL WITH COURSE-6/10-{68.7578383, 75.0062706}	13	15	15	11	10	8	6	5	3	0
17	% SATISFIED OVERALL WITH COURSE-7/10-{75.0062706, 81.2547030}	23	19	24	20	20	18	13	8	7	2
18	% SATISFIED OVERALL WITH COURSE-8/10-{81.2547030, 87.5031353}	12	17	24	27	25	27	24	21	20	10
19	% SATISFIED OVERALL WITH COURSE-9/10-{87.5031353, 93.7515677}	7	10	15	21	25	27	33	36	35	38
20	% SATISFIED OVERALL WITH COURSE-10/10-{93.7515677, 100.0000000}	6	2	4	7	9	13	19	23	27	44
21	EXPENDITURE PER STUDENT (FTE)-1/10-{1.0000000, 1.9000000}	3	3	1	0	0	0	0	0	0	0
22	EXPENDITURE PER STUDENT (FTE)-2/10-{1.9000000, 2.8000000}	13	19	16	8	5	3	3	0	0	0
23	EXPENDITURE PER STUDENT (FTE)-3/10-{2.8000000, 3.7000000}	45	32	31	29	22	15	6	6	4	2
24	EXPENDITURE PER STUDENT (FTE)-4/10-{3.7000000, 4.6000000}	25	23	23	28	26	21	15	10	2	2
25	EXPENDITURE PER STUDENT (FTE)-5/10-{4.6000000, 5.5000000}	9	10	14	12	14	15	17	9	6	3
26	EXPENDITURE PER STUDENT (FTE)-6/10-{5.5000000, 6.4000000}	0	6	7	9	11	14	13	14	11	5
27	EXPENDITURE PER STUDENT (FTE)-7/10-{6.4000000, 7.3000000}	3	4	3	7	8	13	14	14	11	7
28	EXPENDITURE PER STUDENT (FTE)-8/10-{7.3000000, 8.2000000}	0	3	5	4	7	10	14	16	15	13
29	EXPENDITURE PER STUDENT (FTE)-9/10-{8.2000000, 9.1000000}	1	0	0	3	5	6	10	17	19	9
30	EXPENDITURE PER STUDENT (FTE)-10/10-{9.1000000, 10.0000000}	0	0	0	1	1	2	7	11	25	48
31	STUDENT:STAFF RATIO-1/10-{4.6000000, 9.2100000}	1	1	1	3	3	3	5	8	15	17
32	STUDENT:STAFF RATIO-2/10-{9.2100000, 13.8200000}	10	5	3	7	9	15	22	34	37	43
33	STUDENT:STAFF RATIO-3/10-{13.8200000, 18.4300000}	10	16	19	25	34	36	39	34	35	32
34	STUDENT:STAFF RATIO-4/10-{18.4300000, 23.0400000}	22	24	33	36	35	29	28	16	10	5
35	STUDENT:STAFF RATIO-5/10-{23.0400000, 27.6500000}	32	23	27	20	12	11	5	5	2	2
36	STUDENT:STAFF RATIO-6/10-{27.6500000, 32.2600000}	12	16	7	6	4	2	0	0	1	0
37	STUDENT:STAFF RATIO-7/10-{32.2600000, 36.8700000}	6	8	4	2	0	1	0	0	0	0
38	STUDENT:STAFF RATIO-8/10-{36.8700000, 41.4800000}	3	3	3	1	0	0	0	0	0	0
39	STUDENT:STAFF RATIO-9/10-{41.4800000, 46.0900000}	3	2	1	0	0	0	0	0	0	0
40	STUDENT:STAFF RATIO-10/10-{46.0900000, 50.7000000}	0	1	0	0	0	0	0	0	0	0
41	CAREER PROSPECTS-1/10-{16.0000000, 24.4000000}	3	3	2	1	0	0	0	0	0	0
42	CAREER PROSPECTS-2/10-{24.4000000, 32.8000000}	7	9	7	5	4	1	0	0	0	1
43	CAREER PROSPECTS-3/10-{32.8000000, 41.2000000}	17	10	15	15	12	5	4	0	1	1
44	CAREER PROSPECTS-4/10-{41.2000000, 49.6000000}	9	21	13	16	12	9	9	3	2	0
45	CAREER PROSPECTS-5/10-{49.6000000, 58.0000000}	12	13	12	17	14	21	15	9	4	1
46	CAREER PROSPECTS-6/10-{58.0000000, 66.4000000}	4	5	9	10	14	12	16	10	11	7
47	CAREER PROSPECTS-7/10-{66.4000000, 74.8000000}	1	2	4	8	6	13	14	22	22	12
48	CAREER PROSPECTS-8/10-{74.8000000, 83.2000000}	0	2	4	3	5	7	13	18	17	25
49	CAREER PROSPECTS-9/10-{83.2000000, 91.6000000}	3	1	0	1	3	2	6	9	11	16
50	CAREER PROSPECTS-10/10-{91.6000000, 100.0000000}	9	2	3	5	3	4	5	5	6	8
51	VALUE ADDED SCORE/10-1/10-{1.0000000, 1.9000000}	22	14	7	6	3	1	1	1	1	0
52	VALUE ADDED SCORE/10-2/10-{1.9000000, 2.8000000}	14	13	10	10	7	6	4	1	0	3
53	VALUE ADDED SCORE/10-3/10-{2.8000000, 3.7000000}	13	15	17	15	11	8	7	3	3	3
54	VALUE ADDED SCORE/10-4/10-{3.7000000, 4.6000000}	6	17	19	16	12	13	10	11	11	3
55	VALUE ADDED SCORE/10-5/10-{4.6000000, 5.5000000}	6	7	8	10	12	13	14	8	7	9
56	VALUE ADDED SCORE/10-6/10-{5.5000000, 6.4000000}	10	11	8	8	14	13	11	14	11	9
57	VALUE ADDED SCORE/10-7/10-{6.4000000, 7.3000000}	7	6	8	10	15	16	19	24	25	28
58	VALUE ADDED SCORE/10-8/10-{7.3000000, 8.2000000}	6	6	8	9	10	12	18	18	24	25
59	VALUE ADDED SCORE/10-9/10-{8.2000000, 9.1000000}	1	2	3	7	7	7	9	12	10	11
60	VALUE ADDED SCORE/10-10/10-{9.1000000, 10.0000000}	0	1	1	1	3	4	4	3	4	6
61	AVERAGE ENTRY TARIFF-1/10-{135.0000000, 181.3000000}	4	5	4	2	0	1	1	0	0	0
62	AVERAGE ENTRY TARIFF-2/10-{181.3000000, 227.6000000}	30	29	21	10	9	5	4	1	2	1
63	AVERAGE ENTRY TARIFF-3/10-{227.6000000, 273.9000000}	38	37	35	35	26	18	13	5	7	1
64	AVERAGE ENTRY TARIFF-4/10-{273.9000000, 320.2000000}	10	19	25	27	29	25	12	10	10	2
65	AVERAGE ENTRY TARIFF-5/10-{320.2000000, 366.5000000}	6	3	7	12	15	16	19	15	14	9
66	AVERAGE ENTRY TARIFF-6/10-{366.5000000, 412.8000000}	3	2	4	6	10	17	23	19	20	13
67	AVERAGE ENTRY TARIFF-7/10-{412.8000000, 459.1000000}	4	2	1	3	6	12	21	24	22	19
68	AVERAGE ENTRY TARIFF-8/10-{459.1000000, 505.4000000}	4	2	1	3	2	3	6	16	15	14
69	AVERAGE ENTRY TARIFF-9/10-{505.4000000, 551.7000000}	0	0	1	0	1	1	1	5	7	25

Таблица 12 – Матрица информативностей в модели модель INF1,
мера информации по А.Харкевичу в миллибитах (фрагмент)

Код	Наименование показателя	1/10-{25.90, 33.31}	2/10-{33.31, 40.72}	3/10-{40.72, 48.13}	4/10-{48.13, 55.54}	5/10-{55.54, 62.95}	6/10-{62.95, 70.36}	7/10-{70.36, 77.77}	8/10-{77.77, 85.18}	9/10-{85.18, 92.59}	10/10-{92.59, 100.00}
1	% SATISFIED WITH TEACHING-1/10-{50.0000000, 55.0000000}	1876	1219	140		252		-55
2	% SATISFIED WITH TEACHING-2/10-{55.0000000, 60.0000000}	1930	1850		-718	-850		-579
3	% SATISFIED WITH TEACHING-3/10-{60.0000000, 65.0000000}	1009	1168	556	-59	-954	-272	-683	-254	-394
4	% SATISFIED WITH TEACHING-4/10-{65.0000000, 70.0000000}	922	1256	503	216	-493	-1064	-560	-709	-1186
5	% SATISFIED WITH TEACHING-5/10-{70.0000000, 75.0000000}	221	646	431	369	-63	14	-795	-856
6	% SATISFIED WITH TEACHING-6/10-{75.0000000, 80.0000000}	523	310	456	233	178	-224	-616	-692	-984	-1349
7	% SATISFIED WITH TEACHING-7/10-{80.0000000, 85.0000000}	77	-262	140	104	97	41	-225	29	-170	-536
8	% SATISFIED WITH TEACHING-8/10-{85.0000000, 90.0000000}	-832	-446	-144	-15	47	151	167	-156	22	-5
9	% SATISFIED WITH TEACHING-9/10-{90.0000000, 95.0000000}	-696	-1016	-665	-359	-93	161	269	438	355	347
10	% SATISFIED WITH TEACHING-10/10-{95.0000000, 100.0000000}	-1267	-1348	-1510	-690	-279	-379	432	420	782	1194
11	% SATISFIED OVERALL WITH COURSE-1/10-{37.5156766, 43.7641089}	1949	1291	453	-460				108	546
12	% SATISFIED OVERALL WITH COURSE-2/10-{43.7641089, 50.0125413}	1748	1516	-326	-661	-215	-688			345
13	% SATISFIED OVERALL WITH COURSE-3/10-{50.0125413, 56.2609736}	1325	1134	353	-168	38	-772	-606	-755
14	% SATISFIED OVERALL WITH COURSE-4/10-{56.2609736, 62.5094060}	905	1065	614	-83	-75	-615	-601	-598
15	% SATISFIED OVERALL WITH COURSE-5/10-{62.5094060, 68.7578383}	800	808	307	337	-119	-97	-1043	-463
16	% SATISFIED OVERALL WITH COURSE-6/10-{68.7578383, 75.0062706}	331	455	436	179	47	-106	-400	-427	-832
17	% SATISFIED OVERALL WITH COURSE-7/10-{75.0062706, 81.2547030}	287	96	297	145	155	32	-205	-638	-679	-1872
18	% SATISFIED OVERALL WITH COURSE-8/10-{81.2547030, 87.5031353}	-561	-236	39	123	57	103	4	-104	-98	-649
19	% SATISFIED OVERALL WITH COURSE-9/10-{87.5031353, 93.7515677}	-1021	-763	-446	-163	-11	65	209	288	285	365
20	% SATISFIED OVERALL WITH COURSE-10/10-{93.7515677, 100.0000000}	-661	-1558	-1055	-563	-306	-12	296	467	611	1034
21	EXPENDITURE PER STUDENT (FTE)-1/10-{1.0000000, 1.9000000}	1690	1610	870		-512
22	EXPENDITURE PER STUDENT (FTE)-2/10-{1.9000000, 2.8000000}	639	927	803	228	-204	-575	-715
23	EXPENDITURE PER STUDENT (FTE)-3/10-{2.8000000, 3.7000000}	743	450	416	335	111	-173	-976	-906	-1264	-1967
24	EXPENDITURE PER STUDENT (FTE)-4/10-{3.7000000, 4.6000000}	199	143	132	269	210	30	-239	-550	-2071	-2011
25	EXPENDITURE PER STUDENT (FTE)-5/10-{4.6000000, 5.5000000}	-292	-187	87	-70	94	147	244	-257	-651	-1057
26	EXPENDITURE PER STUDENT (FTE)-6/10-{5.5000000, 6.4000000}		-445	-368	-149	81	260	143	234	94	-552
27	EXPENDITURE PER STUDENT (FTE)-7/10-{6.4000000, 7.3000000}	-933	-675	-936	-227	-83	262	344	370	201	-205
28	EXPENDITURE PER STUDENT (FTE)-8/10-{7.3000000, 8.2000000}		-783	-488	-761	-129	87	405	496	500	363
29	EXPENDITURE PER STUDENT (FTE)-9/10-{8.2000000, 9.1000000}	-1208			-631	-257	-46	352	830	918	364
30	EXPENDITURE PER STUDENT (FTE)-10/10-{9.1000000, 10.0000000}			-2308	-1727	-1619	-838	145	538	1225	1778
31	STUDENT:STAFF RATIO-1/10-{4.6000000, 9.2100000}	-951	-1031	-954	-446	-265	-334	56	485	971	1119
32	STUDENT:STAFF RATIO-2/10-{9.2100000, 13.8200000}	-331	-989	-1280	-640	-424	-34	269	650	751	881
33	STUDENT:STAFF RATIO-3/10-{13.8200000, 18.4300000}	-891	-522	-362	-160	92	143	197	91	135	70
34	STUDENT:STAFF RATIO-4/10-{18.4300000, 23.0400000}	-192	-120	143	199	191	35	-25	-460	-865	-1382
35	STUDENT:STAFF RATIO-5/10-{23.0400000, 27.6500000}	736	441	588	307	-67	-152	-884	-767	-1750	-1689
36	STUDENT:STAFF RATIO-6/10-{27.6500000, 32.2600000}	886	1144	491	273	-18	-634	-2200	-1772	-1334
37	STUDENT:STAFF RATIO-7/10-{32.2600000, 36.8700000}	1134	1392	739	-21	-1068	-386	-1375
38	STUDENT:STAFF RATIO-8/10-{36.8700000, 41.4800000}	1113	1219	1208	-43	-1089
39	STUDENT:STAFF RATIO-9/10-{41.4800000, 46.0900000}	1876	1556	718			-221
40	STUDENT:STAFF RATIO-10/10-{46.0900000, 50.7000000}		2374
41	CAREER PROSPECTS-1/10-{16.0000000, 24.4000000}	1156	1261	761	426	-469
42	CAREER PROSPECTS-2/10-{24.4000000, 32.8000000}	681	881	589	383	252	-1025				-1087
43	CAREER PROSPECTS-3/10-{32.8000000, 41.2000000}	596	125	462	458	270	-457	-629		-1961	-1901
44	CAREER PROSPECTS-4/10-{41.2000000, 49.6000000}	-153	584	182	339	113	-180	-138	-949	-1217
45	CAREER PROSPECTS-5/10-{49.6000000, 58.0000000}	-133	-70	-137	132	13	354	56	-338	-1012	-2293
46	CAREER PROSPECTS-6/10-{58.0000000, 66.4000000}	-772	-724	-197	-107	166	69	298	-76	25	-381
47	CAREER PROSPECTS-7/10-{66.4000000, 74.8000000}	-1602	-1344	-842	-261	-450	217	252	645	657	170
48	CAREER PROSPECTS-8/10-{74.8000000, 83.2000000}		-1158	-576	-991	-326	-102	345	645	634	963
49	CAREER PROSPECTS-9/10-{83.2000000, 91.6000000}	-253	-1488	-1989	-1169	-256	-432	269	698	882	1196
50	CAREER PROSPECTS-10/10-{91.6000000, 100.0000000}	608	-628	-213	118	-311	-95	71	108	249	519
51	VALUE ADDED SCORE/10-1/10-{1.0000000, 1.9000000}	1451	1073	532	349	-360	-1410	-1582	-1153	-1293
52	VALUE ADDED SCORE/10-2/10-{1.9000000, 2.8000000}	637	557	337	320	-45	-87	-379	-1291		-793
53	VALUE ADDED SCORE/10-3/10-{2.8000000, 3.7000000}	222	310	423	310	59	-166	-314	-912	-940	-1120
54	VALUE ADDED SCORE/10-4/10-{3.7000000, 4.6000000}	-648	221	331	182	-59	1	-219	-116	-153	-1075
55	VALUE ADDED SCORE/10-5/10-{4.6000000, 5.5000000}	-481	-376	-182	-56	136	167	200	-201	-391	-145
56	VALUE ADDED SCORE/10-6/10-{5.5000000, 6.4000000}	-63	-32	-267	-264	195	104	-52	196	28	-192
57	VALUE ADDED SCORE/10-7/10-{6.4000000, 7.3000000}	-595	-762	-557	-355	3	35	163	365	439	551
58	VALUE ADDED SCORE/10-8/10-{7.3000000, 8.2000000}	-630	-612	-331	-340	-184	-29	273	275	562	594
59	VALUE ADDED SCORE/10-9/10-{8.2000000, 9.1000000}	-1300	-1043	-628	-17	-11	-44	180	423	283	410
60	VALUE ADDED SCORE/10-10/10-{9.1000000, 10.0000000}		-1130	-1053	-624	-26	264	373	96	382	723
61	AVERAGE ENTRY TARIFF-1/10-{135.0000000, 181.3000000}	894	943	818	316	-1068	-200	-797
62	AVERAGE ENTRY TARIFF-2/10-{181.3000000, 227.6000000}	978	936	651	42	-70	-504	-776	-1569	-1131	-1986
63	AVERAGE ENTRY TARIFF-3/10-{227.6000000, 273.9000000}	444	426	374	360	121	-216	-471	-1198	-1025	-2697
64	AVERAGE ENTRY TARIFF-4/10-{273.9000000, 320.2000000}	-576	-49	185	196	290	161	-477	-585	-614	-2046
65	AVERAGE ENTRY TARIFF-5/10-{320.2000000, 366.5000000}	-668	-1326	-528	-73	127	173	289	86	51	-252
66	AVERAGE ENTRY TARIFF-6/10-{366.5000000, 412.8000000}	-1171	-1491	-988	-594	-183	259	528	357	447	81
67	AVERAGE ENTRY TARIFF-7/10-{412.8000000, 459.1000000}	-690	-1348	-2186	-1028	-484	100	569	695	654	544
68	AVERAGE ENTRY TARIFF-8/10-{459.1000000, 505.4000000}	-134	-792	-1053	-545	-676	-371	133	913	917	834
69	AVERAGE ENTRY TARIFF-9/10-{505.4000000, 551.7000000}			-1002	-1914	-1130	-448	-1197	652	923	1958
70	AVERAGE ENTRY TARIFF-10/10-{551.7000000, 598.0000000}								374		2494
71	% SATISFIED WITH ASSESSMENT-1/10-{18.8755020, 26.6479518}	2454	1796

Достоверность этих моделей различна (рисунок 10):

Рисунок 10. Экранная форма отчета по достоверности моделей

Для количественной оценки достоверности моделей применена метрика, предложенная автором и по смыслу сходная с известным F-критерием (рисунок 11):

Рисунок 11. Экранная форма пояснения по достоверности моделей

Обращает на себя внимание, что системно-когнитивные модели (INF1 – INF7) имеют значительно более высокую среднюю достоверность, чем статистические. Такая картина по опыту автора наблюдается в подавляющем большинстве приложений. В этом и состоит обоснование целесообразности применения системно-когнитивных (интеллектуальных) моделей.

8.3.6. Наглядное отображение подматриц системно-когнитивных моделей университетского рейтинга Гардиан в виде когнитивных функций

Применительно к задаче, рассматриваемой в данной работе, когнитивная функция показывает в наглядной графической форме, какое количество информации содержится в различных значениях показателей вузов о том, что у них будет определенный рейтинг по напылению подготовки и общий рейтинг Гардиан.

Когнитивным функциям посвящено много работ автора[19], но наиболее новой и обобщающей из них является работа [9]. Поэтому здесь не будем останавливаться на описании того, что представляют собой когнитивные функции в АСК-анализе.

Отметим, что при построении средневзвешенных трендов применены математические методы, предложенные и описанные в работах [10, 11, 12], в частности применен метод взвешенных наименьших квадратов, модифицированный путем использования в качестве весовых коэффициентов количества информации в наблюдениях.

На рисунке 12 приведены визуализации некоторых когнитивных функций данного приложения для модели INF1:

Рисунок 12. Визуализация когнитивных функций зависимостей рейтинга Гардиан от значений показателей в системно-когнитивной модели INF1

Из приведенных когнитивных функций видно, что увеличение или уменьшение значений показателей вузов влияет на рейтинг Гардиан по направлению подготовки и общий рейтинг Гардиан, примерно пропорционально или обратно пропорционально. Отметим, что об этом можно говорить потому, что в системно-когнитивных моделях используются интервальные числовые и порядковые измерительные шкалы.

Это подтверждает разумность и корректность построения университетского рейтинга Гардиан его разработчиками.

8.3.7. Интегральный критерий и решение задачи оценки
рейтинга вуза в системно-когнитивной модели
университетского рейтинга Гардиан

Из модели INF1 мы видим, какое количество информации содержится в том или ином значении каждого показателя о том, что вуз с этим значением показателя имеет тот или иной рейтинг по направлению подготовки и общий рейтинг Гардиан.

Но если нам известно не одно, а несколько значений показателей вузов, то как посчитать их общий вклад в сходство с теми или иными классами? Для этого в системе «Эйдос» используется 2 аддитивных интегральных критерия: «Сумма знаний» и «Семантический резонанс знаний».

Интегральный критерий «Семантический резонанс знаний» представляет собой суммарное количество знаний, содержащееся в системе факторов различной природы, характеризующих сам объект управления, управляющие факторы и окружающую среду, о переходе объекта в будущие целевые или нежелательные состояния.

Интегральный критерий представляет собой аддитивную функцию от частных критериев знаний, представленных в help режима 3.3:

В выражении круглыми скобками обозначено скалярное произведение. В координатной форме это выражение имеет вид:

где: M – количество градаций описательных шкал (признаков);

– вектор состояния j–го класса;

– вектор состояния распознаваемого объекта, включающий все виды факторов, характеризующих сам объект, управляющие воздействия и окружающую среду (массив–локатор), т.е.:

В текущей версии системы «Эйдос-Х++» значения координат вектора состояния распознаваемого объекта принимались равными либо 0, если признака нет, или n, если он присутствует у объекта с интенсивностью n, т.е. представлен n раз (например, буква «о» в слове «молоко» представлена 3 раза, а буква «м» - один раз).

Интегральный критерий «Семантический резонанс знаний» представляет собой нормированное суммарное количество знаний, содержащееся в системе факторов различной природы, характеризующих сам объект управления, управляющие факторы и окружающую среду, о переходе объекта в будущие целевые или нежелательные состояния.

Интегральный критерий представляет собой аддитивную функцию от частных критериев знаний, представленных в help режима 3.3 и имеет вид:

где:

M – количество градаций описательных шкал (признаков);

– средняя информативность по вектору класса;

– среднее по вектору объекта;

– среднеквадратичное отклонение частных критериев знаний вектора класса;

– среднеквадратичное отклонение по вектору распознаваемого объекта.

– вектор состояния j–го класса;

Приведенное выражение для интегрального критерия «Семантический резонанс знаний» получается непосредственно из выражения для критерия «Сумма знаний» после замены координат перемножаемых векторов их стандартизированными значениями:

Свое наименование интегральный критерий сходства «Семантический резонанс знаний» получил потому, что по своей математической форме является корреляцией двух векторов: состояния j–го класса и состояния распознаваемого объекта.

Пример решения задачи идентификации для вузов рейтинга Гардиан по направлению подготовки и общего рейтинга Гардиан приведен на рисунке 12:

Рисунок 12. Экранная форма с результатами идентификации рейтинга
Гардиан по направлению подготовки и общего рейтинга Гардиан

8.3.8. Исследование многокритериальной системно-когнитивной
модели университетского рейтинга Гардиан, учитывающей
направления подготовки

8.3.8.1. Автоматизированный количественный SWOT-анализ
университетского рейтинга Гардиан

В системе «Эйдос» реализован Автоматизированный количественный SWOT-анализ [13]. Его можно применить для исследования того, какие значения показателей способствуют, а какие препятствуют присвоению вузу тех или иных рейтингов Гардиан.

Например, высокому общему рейтингу Гардиан способствуют и препятствуют значения показателей, приведенные на SWOT-диаграмме (рисунок 13), соответствующей SWOT-матрице (рисунок 14) и нелокальном нейроне (рисунок 15):

Рисунок 13. SWOT-диаграмма высокого рейтинга Гардиан

Рисунок 14. SWOT-матрица высокого рейтинга Гардиан

Рисунок 15. Нелокальный нейрон высокого рейтинга Гардиан

На рисунке 15б приведен небольшой фрагмент нейронной сети системно-когнитивной модели рейтинга Гардиан:

Рисунок 15б. Небольшой фрагмент нейронной сети
системно-когнитивной модели рейтинга Гардиан

8.3.8.2. Информационные портреты классов
и значений показателей университетского
рейтинга Гардиан

Информационный портрет класса – это список факторов, ранжированных в порядке убывания силы их влияния на переход объекта управления в состояние, соответствующее данному классу. Информационный портрет класса отражает систему его детерминации. Генерация информационного портрета класса представляет собой решение обратной задачи прогнозирования, т.к. при прогнозировании по системе факторов определяется спектр наиболее вероятных будущих состояний объекта управления, в которые он может перейти под влиянием данной системы факторов, а в информационном портрете мы наоборот, по заданному будущему состоянию объекта управления определяем систему факторов, детерминирующих это состояние, т.е. вызывающих переход объекта управления в это состояние. В начале информационного портрета класса идут факторы, оказывающие положительное влияние на переход объекта управления в заданное состояние, затем факторы, не оказывающие на это существенного влияния, и далее – факторы, препятствующие переходу объекта управления в это состояние (в порядке возрастания силы препятствования). Информационные портреты классов могут быть от отфильтрованы по диапазону факторов, т.е. мы можем отобразить влияние на переход объекта управления в данное состояние не всех отраженных в модели факторов, а только тех, коды которых попадают в определенный диапазон, например, относящиеся к определенным описательным шкалам.

Пример информационного портрета класса приведен на рисунке 16:

Рисунок 16. Экранная форма с информационным портретом класса:
«Наивысший общий рейтинг Гардиан»

Информационный (семантический) портрет фактора – это список классов, ранжированный в порядке убывания силы влияния данного фактора на переход объекта управления в состояния, соответствующие данным классам. Информационный портрет фактора называется также его семантическим портретом, т.к. в соответствии с концепцией смысла системно-когнитивного анализа, являющейся обобщением концепции смысла Шенка-Абельсона, смысл фактора состоит в том, какие будущие состояния объекта управления он детерминирует. Сначала в этом списке идут состояния объекта управления, на переход в которые данный фактор оказывает наибольшее влияние, затем состояния, на которые данный фактор не оказывает существенного влияния, и далее состояния – переходу в которые данный фактор препятствует. Информационные портреты факторов могут быть от отфильтрованы по диапазону классов, т.е. мы можем отобразить влияние данного фактора на переход объекта управления не во все возможные будущие состояния, а только в состояния, коды которых попадают в определенный диапазон, например, относящиеся к определенным классификационным шкалам. Пример информационного портрета значения фактора (показателя) приведен на рисунке 17:

Рисунок 17. Экранная форма с информационным портретом значения

показателя с установленным фильтром по наименованиям вузов

8.3.8.3. Кластерно-конструктивный анализ
университетского рейтинга Гардиан

Кластерно-конструктивный анализ – это новый математический метод анализа знаний, реализованный в АСК-анализе и системе «Эйдос» [14], обеспечивающий:

– выявление классов, наиболее сходных по системе их детерминации и объединение их в кластеры;

– выявление кластеров классов, наиболее сильно отличающиеся по системе их детерминации и построение из них полюсов конструктов классов, при этом остальные кластеры включаются в конструкты в качестве промежуточных между полюсами;

– выявление факторов, наиболее сходных по детерминируемым ими классам и объединение их в кластеры;

– выявление кластеров факторов, наиболее сильно отличающиеся по детерминируемым ими классам и построение из них полюсов конструктов факторов, при этом остальные кластеры включаются в конструкты в качестве промежуточных между полюсами.

Состояния объекта управления, соответствующие классам, включенным в один кластер, могут быть достигнуты одновременно, т.е. являются совместимыми (коалиционными) по детерминирующим их факторам. Состояния объекта управления, соответствующие классам, образующим полюса конструкта, не могут быть достигнуты одновременно, т.е. являются противоположными по детерминирующим их факторам (антагонистическими).

Факторы, включенные в один кластер, оказывают сходное влияние на поведение объекта управления и могут, при необходимости, быть использованы для замены друг друга. Факторы, образующие полюса конструкта, оказывают противоположное влияние на поведение объекта управления.

Кластерно-конструктивный анализ классов позволяет сравнить их по сходству системы детерминации и отобразить эту информацию в наглядной графической форме семантической сети классов.

Кластерно-конструктивный анализ факторов позволяет сравнить факторы по сходству их влияния на переход объекта в будущие состояния и отобразить эту информацию в наглядной графической форме семантической сети факторов.

Примеры когнитивных диаграмм, отражающих некоторые результаты кластерно-конструктивного анализа модели университетского рейтинга Гардиан, приведены на рисунках 18, 19, 20:

Рисунок 18. Пример конструкта класса рейтинга Гардиан

Рисунок 19. Пример конструкта класса рейтинга Гардиан

Рисунок 20. Пример конструкта значения одного показателя
университетского рейтинга Гардиан

Как видно из приведенных когнитивных диаграмм, все классы и значения показателей являются взаимозависимыми, что исключает применение факторного анализа, как метода моделирования линейных систем.

8.4. Интеграция различных рейтингов в одном
«супер рейтинге» – путь к использованию
рейтинга Гардиан для оценки
российских вузов

8.4.1. Пилотное исследование и Парето-оптимизация

Минобрнауки РФ в своих регламентирующих документах предлагает очень много частных критериев[20]. Ясно, что собрать информацию по всем этим показателям очень сложно, дорого и трудоемко. Поэтому представляет интерес, выявить из них минимальное количество таких критериев, которых было бы достаточно для надежного решения задачи определения рейтинга вуза.

Системно-когнитивные модели позволяют выявить показатели, оказывающие наиболее существенное влияние на объекты моделирования, что позволяет удалить из моделей не существенные показатели, т.е. провести Паретто-оптимизацию, в результате которой в моделях остаются только существенные показатели.

Таким образом, решается задача, аналогичная задаче разработки системе стандартизированных показателей, но конкретно для данного предприятия.

В результате можно сократить размерность моделей без потери их достоверности, а значит существенно сократить затраты труда и времени на сбор, ввод в компьютер и обработку исходных данных, т.е. эффективность их использования.

В таблице 13 приведен список значений факторов системно-когнитивной модели INF1 (см. табл. ) университетского рейтинга Гардиан, в котором эти значения проранжированы в порядке убывания вариабельности информативности, которая в АСК-анализе рассматривается как значимость (дифференцирующая способность) этого значения. Вариабельность информативности измеряется как ее среднеквадратичное отклонение по всем классам. Но в данном случае она посчитана только по первым 10 классам, т.е. по общему рейтингу.

Таблица 13 – Ранжированная таблица значений показателей
для построения Парето-диаграммы университетского рейтинга Гардиан

Код	Значение показателя	Значимость	Паретто
70	AVERAGE ENTRY TARIFF-10/10-{551.7000000, 598.0000000}	1499,07	1499,07
30	EXPENDITURE PER STUDENT (FTE)-10/10-{9.1000000, 10.0000000}	1493,90	2992,96
2	% SATISFIED WITH TEACHING-2/10-{55.0000000, 60.0000000}	1430,66	4423,63
69	AVERAGE ENTRY TARIFF-9/10-{505.4000000, 551.7000000}	1315,20	5738,83
36	STUDENT:STAFF RATIO-6/10-{27.6500000, 32.2600000}	1196,80	6935,63
51	VALUE ADDED SCORE/10-1/10-{1.0000000, 1.9000000}	1153,71	8089,34
37	STUDENT:STAFF RATIO-7/10-{32.2600000, 36.8700000}	1074,37	9163,71
49	CAREER PROSPECTS-9/10-{83.2000000, 91.6000000}	1052,72	10216,43
62	AVERAGE ENTRY TARIFF-2/10-{181.3000000, 227.6000000}	1034,30	11250,73
38	STUDENT:STAFF RATIO-8/10-{36.8700000, 41.4800000}	1026,14	12276,87
21	EXPENDITURE PER STUDENT (FTE)-1/10-{1.0000000, 1.9000000}	1020,24	13297,11
63	AVERAGE ENTRY TARIFF-3/10-{227.6000000, 273.9000000}	1010,23	14307,33
12	% SATISFIED OVERALL WITH COURSE-2/10-{43.7641089, 50.0125413}	1009,23	15316,56
67	AVERAGE ENTRY TARIFF-7/10-{412.8000000, 459.1000000}	994,19	16310,75
43	CAREER PROSPECTS-3/10-{32.8000000, 41.2000000}	994,12	17304,87
10	% SATISFIED WITH TEACHING-10/10-{95.0000000, 100.0000000}	948,77	18253,64
39	STUDENT:STAFF RATIO-9/10-{41.4800000, 46.0900000}	939,42	19193,06
35	STUDENT:STAFF RATIO-5/10-{23.0400000, 27.6500000}	909,13	20102,18
24	EXPENDITURE PER STUDENT (FTE)-4/10-{3.7000000, 4.6000000}	905,30	21007,49
23	EXPENDITURE PER STUDENT (FTE)-3/10-{2.8000000, 3.7000000}	899,29	21906,78
72	% SATISFIED WITH ASSESSMENT-2/10-{26.6479518, 34.4204016}	882,78	22789,56
4	% SATISFIED WITH TEACHING-4/10-{65.0000000, 70.0000000}	879,48	23669,05
11	% SATISFIED OVERALL WITH COURSE-1/10-{37.5156766, 43.7641089}	857,09	24526,14
61	AVERAGE ENTRY TARIFF-1/10-{135.0000000, 181.3000000}	832,47	25358,60
1	% SATISFIED WITH TEACHING-1/10-{50.0000000, 55.0000000}	827,04	26185,65
80	% SATISFIED WITH ASSESSMENT-10/10-{88.8275502, 96.6000000}	826,29	27011,93
13	% SATISFIED OVERALL WITH COURSE-3/10-{50.0125413, 56.2609736}	818,74	27830,68
42	CAREER PROSPECTS-2/10-{24.4000000, 32.8000000}	812,94	28643,62
20	% SATISFIED OVERALL WITH COURSE-10/10-{93.7515677, 100.0000000}	804,92	29448,54
47	CAREER PROSPECTS-7/10-{66.4000000, 74.8000000}	794,88	30243,42
31	STUDENT:STAFF RATIO-1/10-{4.6000000, 9.2100000}	782,26	31025,68
45	CAREER PROSPECTS-5/10-{49.6000000, 58.0000000}	775,12	31800,80
48	CAREER PROSPECTS-8/10-{74.8000000, 83.2000000}	758,31	32559,11
32	STUDENT:STAFF RATIO-2/10-{9.2100000, 13.8200000}	746,78	33305,89
68	AVERAGE ENTRY TARIFF-8/10-{459.1000000, 505.4000000}	743,35	34049,24
3	% SATISFIED WITH TEACHING-3/10-{60.0000000, 65.0000000}	738,54	34787,78
66	AVERAGE ENTRY TARIFF-6/10-{366.5000000, 412.8000000}	736,20	35523,97
29	EXPENDITURE PER STUDENT (FTE)-9/10-{8.2000000, 9.1000000}	726,84	36250,82
64	AVERAGE ENTRY TARIFF-4/10-{273.9000000, 320.2000000}	700,26	36951,07
41	CAREER PROSPECTS-1/10-{16.0000000, 24.4000000}	696,72	37647,79
14	% SATISFIED OVERALL WITH COURSE-4/10-{56.2609736, 62.5094060}	696,11	38343,90
74	% SATISFIED WITH ASSESSMENT-4/10-{42.1928514, 49.9653012}	674,77	39018,68
17	% SATISFIED OVERALL WITH COURSE-7/10-{75.0062706, 81.2547030}	672,82	39691,50
22	EXPENDITURE PER STUDENT (FTE)-2/10-{1.9000000, 2.8000000}	667,46	40358,97
60	VALUE ADDED SCORE/10-10/10-{9.1000000, 10.0000000}	666,34	41025,30
6	% SATISFIED WITH TEACHING-6/10-{75.0000000, 80.0000000}	657,57	41682,88
52	VALUE ADDED SCORE/10-2/10-{1.9000000, 2.8000000}	644,10	42326,98
15	% SATISFIED OVERALL WITH COURSE-5/10-{62.5094060, 68.7578383}	631,57	42958,55
59	VALUE ADDED SCORE/10-9/10-{8.2000000, 9.1000000}	608,18	43566,72
44	CAREER PROSPECTS-4/10-{41.2000000, 49.6000000}	584,91	44151,64
53	VALUE ADDED SCORE/10-3/10-{2.8000000, 3.7000000}	583,81	44735,44
5	% SATISFIED WITH TEACHING-5/10-{70.0000000, 75.0000000}	555,04	45290,48
28	EXPENDITURE PER STUDENT (FTE)-8/10-{7.3000000, 8.2000000}	528,69	45819,17
9	% SATISFIED WITH TEACHING-9/10-{90.0000000, 95.0000000}	524,30	46343,48
34	STUDENT:STAFF RATIO-4/10-{18.4300000, 23.0400000}	517,10	46860,57
73	% SATISFIED WITH ASSESSMENT-3/10-{34.4204016, 42.1928514}	508,31	47368,89
27	EXPENDITURE PER STUDENT (FTE)-7/10-{6.4000000, 7.3000000}	507,02	47875,91
65	AVERAGE ENTRY TARIFF-5/10-{320.2000000, 366.5000000}	498,92	48374,82
79	% SATISFIED WITH ASSESSMENT-9/10-{81.0551004, 88.8275502}	496,61	48871,44
19	% SATISFIED OVERALL WITH COURSE-9/10-{87.5031353, 93.7515677}	477,60	49349,03
57	VALUE ADDED SCORE/10-7/10-{6.4000000, 7.3000000}	468,80	49817,83
71	% SATISFIED WITH ASSESSMENT-1/10-{18.8755020, 26.6479518}	465,09	50282,92
58	VALUE ADDED SCORE/10-8/10-{7.3000000, 8.2000000}	451,24	50734,16
16	% SATISFIED OVERALL WITH COURSE-6/10-{68.7578383, 75.0062706}	443,77	51177,93
54	VALUE ADDED SCORE/10-4/10-{3.7000000, 4.6000000}	424,13	51602,06
78	% SATISFIED WITH ASSESSMENT-8/10-{73.2826506, 81.0551004}	423,10	52025,17
25	EXPENDITURE PER STUDENT (FTE)-5/10-{4.6000000, 5.5000000}	401,72	52426,89
50	CAREER PROSPECTS-10/10-{91.6000000, 100.0000000}	373,87	52800,76
33	STUDENT:STAFF RATIO-3/10-{13.8200000, 18.4300000}	361,39	53162,15
46	CAREER PROSPECTS-6/10-{58.0000000, 66.4000000}	358,11	53520,26
26	EXPENDITURE PER STUDENT (FTE)-6/10-{5.5000000, 6.4000000}	308,74	53829,01
8	% SATISFIED WITH TEACHING-8/10-{85.0000000, 90.0000000}	306,02	54135,02
75	% SATISFIED WITH ASSESSMENT-5/10-{49.9653012, 57.7377510}	292,73	54427,75
18	% SATISFIED OVERALL WITH COURSE-8/10-{81.2547030, 87.5031353}	272,45	54700,20
55	VALUE ADDED SCORE/10-5/10-{4.6000000, 5.5000000}	243,46	54943,66
7	% SATISFIED WITH TEACHING-7/10-{80.0000000, 85.0000000}	219,55	55163,21
77	% SATISFIED WITH ASSESSMENT-7/10-{65.5102008, 73.2826506}	180,25	55343,46
56	VALUE ADDED SCORE/10-6/10-{5.5000000, 6.4000000}	170,49	55513,95
76	% SATISFIED WITH ASSESSMENT-6/10-{57.7377510, 65.5102008}	143,31	55657,26

На рисунке 21 приведена Парето-диаграмма, построенная по таблице 13:

Рисунок 13. Парето-кривая значимости значений показателей
университетского рейтинга Гардиан

Из приведенной Парето-кривой можно сделать вывод о том, что Паретто-оптимизация была проведена разработчиками университетского рейтинга Гардиан на этапе его создания, т.к. все используемые в нем значения показателей имеют достаточно высокую значимость. Когда в модели есть малозначимые факторы, то Парето-кривая поднимается гораздо резче и потом идет более полого (рисунок 14).

Но при разработке отечественного рейтинга, по-видимому, сначала должно быть проведено пилотное исследование на всех мыслимых показателях, информацию по которым возможно собрать, на не очень большом количестве вузов, участвующих в эксперименте (при этом важно, чтобы вузы должны быть разных направлений подготовки). При этом при пилотном исследовании используется максимальная система показателей, которую можно взять из многих известных рейтингов и материалов Минобрнауки РФ.

Рисунок 14. Классическая Парето-кривая[21]

Затем необходимо провести Паретто-оптимизацию и разработать минимальную по количеству систему показателей, дающих максимум информации для определения рейтинга вуза (конфигуратор вузовского рейтинга). Таким образом, созданная по этой технологии наукометрическая методика определения рейтинга вуза будет представлять собой методику, интегрирующую многие известные рейтинги, используемые при ее разработке.

После тестирования и сертификации системно-когнитивной модели, построенной на этой системе показателей, ее можно применять в адаптивном режиме.

8.4.2. Эксплуатация методики в адаптивном режиме

АСК-анализ и система «Эйдос» представляют собой с одной стороны инструмент разработки, а с другой стороны среду или оболочку (Run-time system) эксплуатации создаваемого интеллектуального приложения.

Это открывает уникальные возможности, которые полностью отсутствуют, когда мы используем приобретаемые у сторонних разработчиков продукты подобных технологий.

Возникает закономерный вопрос о том, в какой степени эти продукты применимы в наших условиях и что они будут измерять, если их применить для российских вузов? Не столкнемся ли мы с ситуацией, когда из-за того, что не могут найти линейку, измеряют размеры предметов с помощью шкалы от наружного термометра, т.е. применяют непригодный для наших целей измерительный инструмент, даже и может быть и качественный, но предназначенный для других целей и других условий. Используя университетский рейтинг Гардиан для оценки российских вузов мы сравниваем их не только друг с другом, но и с зарубежными вузами и как бы отвечаем на вопрос о том, как бы оценивались наши вузы, если бы они оказались за рубежом. Но дело в том, что они находятся у нас и поэтому модели и методов принятия решений, заложенные его разработчиками в этом рейтинге, могут быть не адекватными для наших условий, и для приведения их в соответствие с нашими реалиями может быть необходима локализация этих моделей и методов.

Имея инструментарий разработки измерительного инструмента мы получаем возможность периодически, например, ежегодно, использовать его для пересоздания модели, с целью учета изменений в моделируемом объекте и других факторов [15].

8.5. Выводы

Таким образом, АСК-анализ и система «Эйдос» представляют собой современную инновационную (готовую к внедрению) технологию решения задач статистики методами теории информации.

Данная работа может быть использована как описание лабораторной работы по дисциплинам:

– Интеллектуальные системы;

– Инженерия знаний и интеллектуальные системы;

– Интеллектуальные технологии и представление знаний;

– Представление знаний в интеллектуальных системах;

– Основы интеллектуальных систем;

– Введение в нейроматематику и методы нейронных сетей;

– Основы искусственного интеллекта;

– Интеллектуальные технологии в науке и образовании;

– Управление знаниями;

– Автоматизированный системно-когнитивный анализ и интеллектуальная система «Эйдос»;

которые автор ведет в настоящее время[22], а также и в других дисциплинах, связанных с преобразованием данных в информацию, а ее в знания и применением этих знаний для решения задач идентификации, прогнозирования, принятия решений и исследования моделируемой предметной области (а это практически все дисциплины во всех областях науки).

Этим и другим применениям должно способствовать и то, что данное приложение вместе с системой «Эйдос» размещено автором среди облачных Эйдос-приложений (и может быть устновлено из диспетчера приложений системы «Эйдос» - режим 1.3) в полном открытом бесплатном доступе по адресу: https://cloud.mail.ru/public/a5b22d65bc88/Aidos-X-1071503001.rar. Для установки системы с данным приложением на компьютере достаточно развернуть архив в корневом каталоге на диске C:.

Таким образом, в работе предлагается решение проблемы, заключающейся в том, что с одной стороны рейтинг российских вузов востребован, а с другой стороны пока он не создан. Предлагаемая идея решения проблемы состоит в применении отечественной лицензионной инновационной интеллектуальной технологии для этих целей: а именно предлагается применить автоматизированный системно-когнитивный анализ (АСК-анализ) и его программный инструментарий – интеллектуальную систему «Эйдос». Эти методы подробно описываются в этом контексте. Предлагается рассмотреть возможности применения данного инструментария на примере университетского рейтинга Гардиан и рассматриваются его частные критерии (показатели вузов). Указываются источники данных и методика их подготовки для обработки в системе «Эйдос». В соответствии с методологией АСК-анализа описывается установка системы «Эйдос», ввод исходных данных в нее и формализация предметной области, синтез и верификация модели, их отображение и применение для решения задач оценки рейтинга Гардиан для российских вузов и исследования объекта моделирования. Рассматриваются перспективы и пути создания интегрированного рейтинга российских вузов и эксплуатации рейтинга в адаптивном режиме. Указываются ограничения предлагаемого подхода и перспективы его развития.

Конечно, рассматриваемая проблема требует к себе очень серьезного отношения и большого объема работ по совершенствованию инструментария, созданию и исследованию моделей на российских данных. Поэтому предлагаемые в работе решения можно рассматривать не более как идею решения поставленной проблемы и численную иллюстрацию этой идеи, но ни в коем случае не как готовое решение.

[3] Достаточно сделать запрос: «научные конференции форумы по эффективности вузов»

[5] На наш взгляд такие признаки имеют все вузы. Поэтому дело не в том, имеют они такие признаки или нет, а в том, на сколько эти признаки существенны в совокупности.

[12] Проще говоря «ерундой».

[13] Основные публикации автора по вопросам выявления, представления и использования знаний:

– http://www.twirpx.com/file/793311/

– Луценко Е.В. Системно-когнитивный анализ как развитие концепции смысла Шенка – Абельсона / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2004. – №03(005). С. 65 – 86. – IDA [article ID]: 0050403004. – Режим доступа: http://ej.kubagro.ru/2004/03/pdf/04.pdf, 1,375 у.п.л.

– Луценко Е.В. Методологические аспекты выявления, представления и использования знаний в АСК-анализе и интеллектуальной системе «Эйдос» / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2011. – №06(070). С. 233 – 280. – Шифр Информрегистра: 0421100012\0197, IDA [article ID]: 0701106018. – Режим доступа: http://ej.kubagro.ru/2011/06/pdf/18.pdf, 3 у.п.л.

[18] А значит, чтобы его увидеть надо свернуть все окна

8.1. Формулировка проблемы

8.2. Авторский подход к решению проблемы

8.2.1. Идея предлагаемого решения проблемы

8.2.2. Автоматизированный системно-когнитивный
анализ и интеллектуальная система «Эйдос»
как инструментарий решения проблемы

8.2.3. Частные критерии университетского
рейтинга Гардиан

8.3. Численный пример

8.3.1. Источники исходных данных

8.3.2. Подготовка исходных данных для системы «Эйдос»

8.3.3. Установка системы «Эйдос»

8.3.4. Ввод исходных данных в систему «Эйдос»
с помощью одного и ее программных интерфейсов

8.3.5. Синтез и верификация многокритериальной
системно-когнитивной модели университетского
рейтинга Гардиан, учитывающей направления
подготовки

8.3.6. Наглядное отображение подматриц системно-когнитивных моделей университетского рейтинга Гардиан в виде когнитивных функций

8.3.7. Интегральный критерий и решение задачи оценки
рейтинга вуза в системно-когнитивной модели
университетского рейтинга Гардиан

8.3.8. Исследование многокритериальной системно-когнитивной
модели университетского рейтинга Гардиан, учитывающей
направления подготовки

8.3.8.1. Автоматизированный количественный SWOT-анализ
университетского рейтинга Гардиан

8.3.8.2. Информационные портреты классов
и значений показателей университетского
рейтинга Гардиан

8.3.8.3. Кластерно-конструктивный анализ
университетского рейтинга Гардиан

8.4. Интеграция различных рейтингов в одном
«супер рейтинге» – путь к использованию
рейтинга Гардиан для оценки
российских вузов

8.4.1. Пилотное исследование и Парето-оптимизация

8.4.2. Эксплуатация методики в адаптивном режиме

8.5. Выводы

[13] Основные публикации автора по вопросам выявления, представления и использования знаний:

– http://www.twirpx.com/file/793311/

№	Наименование
1	Agriculture, forestry and food
2	American studies
3	Anatomy and physiology
4	Anthropology
5	Archaeology and Forensics
6	Architecture
7	Art and design
8	Biosciences
9	Building and town and country planning
10	Business and management studies
11	Chemistry
12	Classics
13	Computer sciences and IT
14	Dentistry
15	Drama and dance
16	Earth and marine sciences
17	Economics
18	Education
19	Engineering: chemical
20	Engineering: civil
21	Engineering: electronic and electrical
22	Engineering: general
23	Engineering: materials and mineral
24	Engineering: mechanical
25	English
26	Geography and environmental studies
27	History and history of art
28	Law
29	Mathematics
30	Media studies, communications and librarianship
31	Medicine
32	Modern languages and linguistics
33	Music
34	Nursing and paramedical studies
35	Pharmacy and pharmacology
36	Philosophy
37	Physics
38	Politics
39	Psychology
40	Religious studies and theology
41	Social policy and administration
42	Sociology
43	Sports science
44	Tourism, transport and travel
45	Veterinary science

№	Наименование
1	Aberdeen
2	Abertay Dundee
3	Aberystwyth
4	Anglia Ruskin
5	Arts UC, Bournemouth
6	Aston
7	Bangor
8	Bath
9	Bath Spa
10	Bedfordshire
11	Birmingham
12	Birmingham City
13	Bishop Grosseteste UC
14	Bolton
15	Bournemouth
16	Bradford
17	Brighton
18	Brighton Sussex Medical School
19	Bristol
20	Brunel
21	Buckingham
22	Bucks New University
23	Cambridge
24	Canterbury Christ Church
25	Cardiff
26	Central Lancashire
27	Central School of Speech and Drama
28	Chester
29	Chichester
30	City
31	Conservatoire for Dance and Drama
32	Courtauld Institute
33	Coventry
34	Cumbria
35	De Montfort
36	Derby
37	Dundee
38	Durham
39	East London
40	Edge Hill
41	Edinburgh
42	Edinburgh College of Art
43	Edinburgh Napier
44	Edinburgh School of Architecture
45	Essex
46	Exeter
47	Glamorgan
48	Glasgow
49	Glasgow Caledonian
50	Glasgow School of Art
51	Gloucestershire
52	Glyndwr
53	Goldsmiths
54	Greenwich
55	Guildhall School of Music and Drama
56	Harper Adams UC
57	Heriot-Watt
58	Hertfordshire
59	Heythrop College
60	Huddersfield
61	Hull
62	Hull York Medical School
63	Imperial College
64	Keele
65	Kent
66	King's College London
67	Kingston
68	Lancaster
69	Leeds
70	Leeds College of Music
71	Leeds Met
72	Leeds Trinity University College
73	Leicester
74	Lincoln
75	Liverpool
76	Liverpool John Moores
77	London Met
78	London School of Economics
79	London South Bank
80	Loughborough
81	Manchester
82	Manchester Met
83	Manchester School of Architecture
84	Marjon (St Mark and St John)
85	Middlesex
86	Newcastle
87	Newman University College
88	Newport
89	Northampton
90	Northumbria
91	Norwich UC of the Arts
92	Nottingham
93	Nottingham Trent
94	Oxford
95	Oxford Brookes
96	Peninsula Medical School
97	Plymouth
98	Portsmouth
99	Queen's, Belfast
100	Queen Margaret
101	Queen Mary
102	Ravensbourne
103	Reading
104	Robert Gordon
105	Roehampton
106	Rose Bruford College
107	Royal Academy of Music
108	Royal Agricultural College
109	Royal College of Music
110	Royal Holloway
111	Royal Northern College of Music
112	Royal Scottish Academy of Music and Drama
113	Royal Veterinary College
114	Salford
115	School of Pharmacy
116	Sheffield
117	Sheffield Hallam
118	SOAS
119	Southampton
120	Southampton Solent
121	St Andrews
122	St George's Medical School
123	St Mary's UC, Belfast
124	St Mary's UC, Twickenham
125	Staffordshire
126	Stirling
127	Stranmillis UC
128	Strathclyde
129	Sunderland
130	Surrey
131	Sussex
132	Swansea
133	Teesside
134	Thames Valley
135	The Liverpool Institute for Performing Arts
136	Trinity Laban Conservatoire
137	Trinity Saint David
138	UC Falmouth
139	UC Suffolk
140	UCL
141	UEA
142	Ulster
143	University College Birmingham
144	University for the Creative Arts
145	University of the Arts, London
146	UWE Bristol
147	UWIC
148	Warwick
149	West of Scotland
150	Westminster
151	Winchester
152	Worcester
153	Writtle College
154	York
155	York St John

Код	Наименование
1	GUARDIAN SCORE/100-1/10-{25.9000000, 33.3100000}
2	GUARDIAN SCORE/100-2/10-{33.3100000, 40.7200000}
3	GUARDIAN SCORE/100-3/10-{40.7200000, 48.1300000}
4	GUARDIAN SCORE/100-4/10-{48.1300000, 55.5400000}
5	GUARDIAN SCORE/100-5/10-{55.5400000, 62.9500000}
6	GUARDIAN SCORE/100-6/10-{62.9500000, 70.3600000}
7	GUARDIAN SCORE/100-7/10-{70.3600000, 77.7700000}
8	GUARDIAN SCORE/100-8/10-{77.7700000, 85.1800000}
9	GUARDIAN SCORE/100-9/10-{85.1800000, 92.5900000}
10	GUARDIAN SCORE/100-10/10-{92.5900000, 100.0000000}
11	RANK-01.Agriculture, forestry and food
12	RANK-01.American studies
13	RANK-01.Anatomy and physiology
14	RANK-01.Anthropology
15	RANK-01.Archaeology and Forensics
16	RANK-01.Architecture
17	RANK-01.Art and design
18	RANK-01.Biosciences
19	RANK-01.Building and town and country planning
20	RANK-01.Business and management studies
21	RANK-01.Chemistry
22	RANK-01.Classics
23	RANK-01.Computer sciences and IT
24	RANK-01.Dentistry
25	RANK-01.Drama and dance
26	RANK-01.Earth and marine sciences
27	RANK-01.Economics
28	RANK-01.Education
29	RANK-01.Engineering: chemical
30	RANK-01.Engineering: civil
31	RANK-01.Engineering: electronic and electrical
32	RANK-01.Engineering: general
33	RANK-01.Engineering: materials and mineral
34	RANK-01.Engineering: mechanical
35	RANK-01.English
36	RANK-01.Geography and environmental studies
37	RANK-01.History and history of art
38	RANK-01.Law
39	RANK-01.Mathematics
40	RANK-01.Media studies, communications and librarianship
41	RANK-01.Medicine
42	RANK-01.Modern languages and linguistics
43	RANK-01.Music
44	RANK-01.Nursing and paramedical studies
45	RANK-01.Pharmacy and pharmacology
46	RANK-01.Philosophy
47	RANK-01.Physics
48	RANK-01.Politics
49	RANK-01.Psychology
50	RANK-01.Religious studies and theology
51	RANK-01.Social policy and administration
52	RANK-01.Social work
53	RANK-01.Sociology
54	RANK-01.Sports science
55	RANK-01.Tourism, transport and travel
56	RANK-01.Veterinary science
57	RANK-02.Agriculture, forestry and food
58	RANK-02.American studies
59	RANK-02.Anatomy and physiology
60	RANK-02.Anthropology
61	RANK-02.Archaeology and Forensics
62	RANK-02.Architecture
63	RANK-02.Art and design
64	RANK-02.Biosciences
65	RANK-02.Building and town and country planning
66	RANK-02.Business and management studies
67	RANK-02.Chemistry
68	RANK-02.Classics
69	RANK-02.Computer sciences and IT
70	RANK-02.Dentistry
71	RANK-02.Drama and dance
72	RANK-02.Earth and marine sciences
73	RANK-02.Economics
74	RANK-02.Education
75	RANK-02.Engineering: chemical
76	RANK-02.Engineering: civil
77	RANK-02.Engineering: electronic and electrical
78	RANK-02.Engineering: general
79	RANK-02.Engineering: materials and mineral
80	RANK-02.Engineering: mechanical
81	RANK-02.English
82	RANK-02.Geography and environmental studies
83	RANK-02.History and history of art
84	RANK-02.Law
85	RANK-02.Mathematics
86	RANK-02.Media studies, communications and librarianship
87	RANK-02.Medicine
88	RANK-02.Modern languages and linguistics
89	RANK-02.Music
90	RANK-02.Nursing and paramedical studies
91	RANK-02.Pharmacy and pharmacology
92	RANK-02.Philosophy
93	RANK-02.Physics
94	RANK-02.Politics
95	RANK-02.Psychology
96	RANK-02.Religious studies and theology
97	RANK-02.Social policy and administration
98	RANK-02.Social work
99	RANK-02.Sociology
100	RANK-02.Sports science
101	RANK-02.Tourism, transport and travel
102	RANK-03.Agriculture, forestry and food
103	RANK-03.American studies
104	RANK-03.Anatomy and physiology
105	RANK-03.Anthropology
106	RANK-03.Archaeology and Forensics
107	RANK-03.Architecture
108	RANK-03.Art and design
109	RANK-03.Biosciences
110	RANK-03.Building and town and country planning
111	RANK-03.Business and management studies
112	RANK-03.Chemistry
113	RANK-03.Classics
114	RANK-03.Computer sciences and IT
115	RANK-03.Dentistry
116	RANK-03.Drama and dance
117	RANK-03.Earth and marine sciences
118	RANK-03.Economics
119	RANK-03.Education
120	RANK-03.Engineering: chemical
121	RANK-03.Engineering: civil
122	RANK-03.Engineering: electronic and electrical
123	RANK-03.Engineering: general
124	RANK-03.Engineering: materials and mineral
125	RANK-03.Engineering: mechanical
126	RANK-03.English
127	RANK-03.Geography and environmental studies
128	RANK-03.History and history of art
129	RANK-03.Law
130	RANK-03.Mathematics
131	RANK-03.Media studies, communications and librarianship
132	RANK-03.Medicine
133	RANK-03.Modern languages and linguistics
134	RANK-03.Music
135	RANK-03.Nursing and paramedical studies
136	RANK-03.Pharmacy and pharmacology
137	RANK-03.Philosophy
138	RANK-03.Physics
139	RANK-03.Politics
140	RANK-03.Psychology
141	RANK-03.Religious studies and theology
142	RANK-03.Social policy and administration
143	RANK-03.Social work
144	RANK-03.Sociology
145	RANK-03.Sports science
146	RANK-03.Tourism, transport and travel
147	RANK-03.Veterinary science
148	RANK-04.Agriculture, forestry and food
149	RANK-04.American studies
150	RANK-04.Anatomy and physiology
151	RANK-04.Anthropology
152	RANK-04.Archaeology and Forensics
153	RANK-04.Architecture
154	RANK-04.Art and design
155	RANK-04.Biosciences
156	RANK-04.Building and town and country planning
157	RANK-04.Business and management studies
158	RANK-04.Chemistry
159	RANK-04.Classics
160	RANK-04.Computer sciences and IT
161	RANK-04.Dentistry
162	RANK-04.Drama and dance
163	RANK-04.Earth and marine sciences
164	RANK-04.Economics
165	RANK-04.Education
166	RANK-04.Engineering: chemical
167	RANK-04.Engineering: civil
168	RANK-04.Engineering: electronic and electrical
169	RANK-04.Engineering: general
170	RANK-04.Engineering: materials and mineral
171	RANK-04.Engineering: mechanical
172	RANK-04.English
173	RANK-04.Geography and environmental studies
174	RANK-04.History and history of art
175	RANK-04.Law
176	RANK-04.Mathematics
177	RANK-04.Media studies, communications and librarianship
178	RANK-04.Medicine
179	RANK-04.Modern languages and linguistics
180	RANK-04.Music
181	RANK-04.Nursing and paramedical studies
182	RANK-04.Pharmacy and pharmacology
183	RANK-04.Philosophy
184	RANK-04.Physics
185	RANK-04.Politics
186	RANK-04.Psychology
187	RANK-04.Religious studies and theology
188	RANK-04.Social policy and administration
189	RANK-04.Social work
190	RANK-04.Sociology
191	RANK-04.Sports science
192	RANK-04.Tourism, transport and travel
193	RANK-04.Veterinary science
194	RANK-05.Agriculture, forestry and food
195	RANK-05.American studies
196	RANK-05.Anatomy and physiology
197	RANK-05.Anthropology
198	RANK-05.Archaeology and Forensics
199	RANK-05.Architecture
200	RANK-05.Art and design
201	RANK-05.Biosciences
202	RANK-05.Building and town and country planning
203	RANK-05.Business and management studies
204	RANK-05.Chemistry
205	RANK-05.Classics
206	RANK-05.Computer sciences and IT
207	RANK-05.Dentistry
208	RANK-05.Drama and dance
209	RANK-05.Earth and marine sciences
210	RANK-05.Economics
211	RANK-05.Education
212	RANK-05.Engineering: chemical
213	RANK-05.Engineering: civil
214	RANK-05.Engineering: electronic and electrical
215	RANK-05.Engineering: general
216	RANK-05.Engineering: materials and mineral
217	RANK-05.Engineering: mechanical
218	RANK-05.English
219	RANK-05.Geography and environmental studies
220	RANK-05.History and history of art
221	RANK-05.Law
222	RANK-05.Mathematics
223	RANK-05.Media studies, communications and librarianship
224	RANK-05.Medicine
225	RANK-05.Modern languages and linguistics
226	RANK-05.Music
227	RANK-05.Nursing and paramedical studies
228	RANK-05.Pharmacy and pharmacology
229	RANK-05.Philosophy
230	RANK-05.Physics
231	RANK-05.Politics
232	RANK-05.Psychology
233	RANK-05.Religious studies and theology
234	RANK-05.Social policy and administration
235	RANK-05.Social work
236	RANK-05.Sociology
237	RANK-05.Sports science
238	RANK-05.Tourism, transport and travel
239	RANK-06.Agriculture, forestry and food
240	RANK-06.American studies
241	RANK-06.Anatomy and physiology
242	RANK-06.Anthropology
243	RANK-06.Archaeology and Forensics
244	RANK-06.Architecture
245	RANK-06.Art and design
246	RANK-06.Biosciences
247	RANK-06.Building and town and country planning
248	RANK-06.Business and management studies
249	RANK-06.Chemistry
250	RANK-06.Classics
251	RANK-06.Computer sciences and IT

8.1. Формулировка проблемы

8.2. Авторский подход к решению проблемы

8.2.1. Идея предлагаемого решения проблемы

8.2.2. Автоматизированный системно-когнитивный анализ и интеллектуальная система «Эйдос» как инструментарий решения проблемы

8.2.3. Частные критерии университетского рейтинга Гардиан

8.3. Численный пример

8.3.1. Источники исходных данных

8.3.2. Подготовка исходных данных для системы «Эйдос»

8.3.3. Установка системы «Эйдос»

8.3.4. Ввод исходных данных в систему «Эйдос» с помощью одного и ее программных интерфейсов

8.3.5. Синтез и верификация многокритериальной системно-когнитивной модели университетского рейтинга Гардиан, учитывающей направления подготовки

8.3.6. Наглядное отображение подматриц системно-когнитивных моделей университетского рейтинга Гардиан в виде когнитивных функций

8.3.7. Интегральный критерий и решение задачи оценки рейтинга вуза в системно-когнитивной модели университетского рейтинга Гардиан

8.3.8. Исследование многокритериальной системно-когнитивной модели университетского рейтинга Гардиан, учитывающей направления подготовки

8.3.8.1. Автоматизированный количественный SWOT-анализ университетского рейтинга Гардиан

8.3.8.2. Информационные портреты классов и значений показателей университетского рейтинга Гардиан

8.3.8.3. Кластерно-конструктивный анализ университетского рейтинга Гардиан

8.4. Интеграция различных рейтингов в одном «супер рейтинге» – путь к использованию рейтинга Гардиан для оценки российских вузов

8.4.1. Пилотное исследование и Парето-оптимизация

8.4.2. Эксплуатация методики в адаптивном режиме

8.5. Выводы

[13] Основные публикации автора по вопросам выявления, представления и использования знаний:

– http://www.twirpx.com/file/793311/

8.2.2. Автоматизированный системно-когнитивный
анализ и интеллектуальная система «Эйдос»
как инструментарий решения проблемы

8.2.3. Частные критерии университетского
рейтинга Гардиан

8.3.4. Ввод исходных данных в систему «Эйдос»
с помощью одного и ее программных интерфейсов

8.3.5. Синтез и верификация многокритериальной
системно-когнитивной модели университетского
рейтинга Гардиан, учитывающей направления
подготовки

8.3.7. Интегральный критерий и решение задачи оценки
рейтинга вуза в системно-когнитивной модели
университетского рейтинга Гардиан

8.3.8. Исследование многокритериальной системно-когнитивной
модели университетского рейтинга Гардиан, учитывающей
направления подготовки

8.3.8.1. Автоматизированный количественный SWOT-анализ
университетского рейтинга Гардиан

8.3.8.2. Информационные портреты классов
и значений показателей университетского
рейтинга Гардиан

8.3.8.3. Кластерно-конструктивный анализ
университетского рейтинга Гардиан

8.4. Интеграция различных рейтингов в одном
«супер рейтинге» – путь к использованию
рейтинга Гардиан для оценки
российских вузов