ГЛАВА 6. КОНТРОЛЛИНГ НАУЧНОЙ
И ОБРАЗОВАТЕЛЬНОЙ ДЕЯТЕЛЬНОСТИ

6.1. Краткие замечания по контроллингу
научной деятельности

Ряд вопросов контроллинга науки рассмотрен в статьях одного из авторов настоящей книги проф.А.И.Орлова:

Орлов А.И. Два типа методологических ошибок при управлении научной деятельностью // Управление большими системами / Сборник трудов. Специальный выпуск 44. Наукометрия и экспертиза в управлении наукой / [под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева]. М.: ИПУ РАН, 2013. – С.32–54.

Орлов А.И. Наукометрия и управление научной деятельностью // Управление большими системами / Сборник трудов. Специальный выпуск 44. Наукометрия и экспертиза в управлении наукой / [под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева]. М.: ИПУ РАН, 2013. – С.538 – 568.

Наукометрия и экспертиза в управлении наукой: сборник статей / Под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева. - М.: ИПУ РАН, 2013. – 572 с.

Орлов А.И. Критерии выбора показателей эффективности научной деятельности // Контроллинг. – 2013. – №3(49). – С.72-78.

Орлов А.И. О показателях эффективности научной деятельности // Экономический анализ: теория и практика. – 2014. – № 7 (358). – С.21–29.

Мухин В.В. О контроллинге научной деятельности / В.В. Мухин, А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2014. – №06(100). С. 256 – 275. – IDA [article ID]: 1001406013. – Режим доступа: http://ej.kubagro.ru/2014/06/pdf/13.pdf, 1,25 у.п.л

Орлов А.И. Наука как объект управления / А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2014. – №07(101). С. 1244 – 1274. – IDA [article ID]: 1011407082. – Режим доступа:http://ej.kubagro.ru/2014/07/pdf/82.pdf, 1,938 у.п.л.

Развернутое освещение этих вопросов планируется дать в последующих работах авторов.

6.2. Контроллинг образовательной деятельности

6.2.1. Web-портал по УМК в составе сайта
университета: актуальность
и возможность создания

В данном разделе обосновывается и развивается идея, реализация которой по мнению авторов позволила бы очень существенно уменьшить трудоемкость разработки учебно-методических комплексов (УМК), упростить их подписание и утверждение различными должностными лицами и повысить их качество, сделать труд разработчиков УМК более творческим, освободив его от технических и рутинных моментов [203].

6.2.1.1. Структура учебно-методического
комплекса (УМК)

Рассмотрим структуру учебно-методического комплекса (УМК) (рисунок 10):

Рисунок 10. Структура учебно-методического комплекса (УМК)

УМК представляет собой некий стандартизированный текст, шаблон, набор бланков или оригинал-макет.

В этот шаблон вставляется высокоформализованный текст, который берется из государственного образовательного стандарта, примерной программы и учебного плана. Это название специальности, направления подготовки, название дисциплины, набор и формулировки компетенций.

Низкофрмализованная часть УМК – это его содержательная часть, заполняемая преподавателем по дисциплине.

Кроме того УМК включает в себя подписи его разработчика, методиста, заведующего кафедрой и декана.

6.2.1.2. Требования к учебно-методическому
комплексу (УМК) и к доступу к нему

Обратимся к рисунку 11:

Рисунок 11. Требования к учебно-методическому
комплексу (УМК) и к доступу к нему

Требования к УМК делятся на требования к оформлению, требования к содержанию и требования к доступу. Требования к содержанию определяются содержанием образовательных стандартов и содержанием дисциплины.

6.2.1.3. Проблемы, возникающие при разработке
учебно-методических комплексов (УМК)
и при обеспечении доступа к ним

При разработке УМК возникает ряд проблем, классификация которых приведена на рисунке 12:

Рисунок 12. Классификация проблем, возникающих при разработке УМК

Эти проблемы можно разделить на содержательные и чисто оформительские, а также на проблемы подписания проектов УМК у председателей учебно-методических комиссий и деканов, а иногда и у проректоров (по магистерским и аспирантским программам), проблемы представления доступа к утвержденным УМК внутренним и внешним проверяющим, а также всем заинтересованным в таком доступе и имеющим на него полномочия.

6.2.1.4. Функционально-стоимостной анализ затрат
на решение проблем

Львиную долю затрат при разработке УМК занимает не содержательная неформализуемая работа с ним, требующая опыта преподавания и профессиональной компетентности, которыми обладают профессора и доценты (ППС), как правило и разрабатывающие УМК, а рутинная чисто техническая и легко автоматизируемая работа по выборкам данных из учебных планов, ООП и других документов, а также по приданию УМК внешнего вида, соответствующего внутреннему стандарту, принятому в данном вузе, т.е. работа по оформлению текста, т.е. по сути, верстка, которая представляют собой работу не профессора или доцента, а технического редактора. Это было бы не так страшно, если бы эти стандарты не менялись ежегодно, а иногда и по нескольку раз в год, и даже в месяц, и у каждого преподавателя не было бы чуть ли по десятку дисциплин[1]. При этом, как показывает опыт, при изменении стандарта содержание УМК меняется очень незначительно, т.к. определяется самим содержанием учебной дисциплины. Изменения же касаются, как правило, самого стандарта или шаблона оформления УМК, т.е. вида шрифтов, интервалов, таблиц и т.п.

Не секрет, что проверки УМК на практике часто сводятся к формальной проверке правильности их оформления (размеры шрифтов, интервалов, вид таблиц и т.п.), правильности номеров и дат различных протоколов, наличия всех необходимых подписей и практически не касается содержания. Это можно понять, т.к. проверяющим проще проверить внешнюю сторону УМК, чем вникать в их содержание, но с этим нельзя согласиться, т.к. по глубокому убеждению авторов (и как мы знаем других разработчиков УМК) работа по выборке данных из стандартных документов и разработка всего этого текстового оформления (верстка) вообще не дело профессоров и доцентов. При этом именно оформлению УМК при проверке уделяется основное внимание, и именно оформление занимает основную часть трудоемкости разработки УМК. При этом совершенно ясно, что едва ли если в УМК что-то будет написано не тем шрифтом то это как-то существенно скажется на качестве преподавания этой дисциплины. Это совершенно не означает, что мы призываем писать разные УМК разными шрифтами и вообще упразднить стандарт, мы лишь обращаем внимание на то, что если бы подход, подобный действующему в настоящее время в области разработки УМК действовал бы в бухгалтерии, например, то бухгалтера бы делали проводки 1% времени и 99% вручную оформляли бы выходные формы, стандарт бы которых постоянно изменялся и их бы наказывали не за ошибочное содержание этих форм, а за их вид, не тот шрифт заголовка, не тот отступ и т.п. Но этого не происходит, т.к. у бухгалтеров есть система 1С, которая снимает все подобные проблемы сразу для всех ее пользователей, а у разработчиков УМК нет никаких функционально подобных средств автоматизации их труда, отделяющих работу над содержанием от формы его представления.

6.2.1.5. Традиционный подход к решению проблем
и оценка степени его соответствия
предъявляемым требованиям

Разработчик УМК, как правило профессор или доцент, работая над содержанием УМК одновременно непрерывно работает и над формой представления этого содержания, т.е. занимается версткой, т.е. чуждыми для него чисто техническими рутинными операциями по изготовлению оригинал-макета УМК и при этом еще и переносит информацию из хорошо формализованных баз данных в УМК. При этом доступ к УМК возможен только при физической передаче распечатанных, подписанных утвержденных полностью оформленных экземпляров, обычно при личной встрече, что весьма затруднительно.

Таким образом, традиционный подход к разработке УМК морально и физически безнадежно устарел и актуальным является создание специализированной корпоративной системы электронного документооборота, обеспечивающей современный уровень совместной распределенной в пространстве и времени работы над УМК всех, задействованных в этом процессе специалистов.

6.2.1.6. Требования к современному методу
решения поставленных проблем

Рассмотрим рисунок 13:

Рисунок 13. Требования к методу решения проблем

Всем перечисленным требованиям удовлетворяет web-портал по УМК, который по своим функциям относится к системам электронного документооборота (СЭД), входящим в состав корпоративной информационной системы (КИС).

6.2.1.7. Идея и концепция предлагаемого
решения проблем

Идея и концепция решения проблем с УМК состоит в том, что на уже существующей технической основе: корпоративной сети университета и Internet, предлагается создать одну из важнейших подсистем автоматизированной системы управления (АСУ) вузом, а именно подсистему корпоративной работы с УМК, автоматизирующую хорошо формализованные функции по одному из важнейших направлений научно-методической работы. В этой системе бы были зарегистрированы с различными правами, соответствующими их области компетенции, все авторы УМК, подписывающие и утверждающие их, руководители университета, а также контролирующие и проверяющие его работу по данному направлению деятельности

В качестве примеров успешной и эффективной реализации подобной технологии могут служить системы, обеспечивающие on-line работу через Internet РГНФ и РФФИ, а также сайты электронного правительства и система on-line отчетов по НИР, разработанная в Адыгейском государственном университете и успешно используемая для этих целей с 2010 года[2]. Преподаватели заполняют в этой системе специальные формы отчетности через Internet, внося текст в окна, а отчет о НИР печатается в стандартной на момент его распечатки форме, которая совершенно не зависит от преподавателя.

6.2.1.8. Функциональное описание web-портала
по УМК в составе сайта университета

Web-портал должен поддерживать:

1. Полное (100%) отделение работы ППС над содержанием УМК от работы над формой представления этого содержания (верстки), т.е. возможность работы над содержанием УМК совершенно безотносительно к его оформлению. Все содержание УМК, которое возможно взять из высоко формализованных баз данных должно быть взято из этих баз данных без участия разработчика УМК. Разработчик же УМК должен выполнять только те работы, которые в настоящее время невозможно автоматизировать, т.е. работы связанные с его профессиональной компетенцией в области науки, соответствующей преподаваемой дисциплине.

2. Возможность централизованного изменения формы представления УМК одним человеком – системным администратором web-портала по УМК во исполнение распоряжения ответственных разработчиков нового стандарта представления из учебного управления и управления обеспечения качества. Когда разрабатывается и утверждается руководством новый макет УМК он должен вноситься в список стандартов с возможностью его выбора из этого списка преподавателем, разрабатывающим УМК.

3. Распечатку УМК в виде текстового файла с содержанием, заданным ППС, в форме, заданной разработчиком нового стандарта. Если изменяется только форма – то УМК распечатывается в новой форме без участия разработчика с тем же содержанием. Но при изменении стандарта УМК может изменяться не только оформление, но и состав содержания. Поэтому некоторые разделы при распечатке в новом стандарте могут оказаться незаполненными (система должна сообщить об этом в результате проверке полноты заполнения обязательных полей). В этом случае разработчику УМК нужно заполнить лишь только эти новые незаполненные разделы и УМК нового стандарта практически готов!

4. Доступ к УМК с любого компьютера, подключенного к Internet и имеющего установленный браузер с виртуальной JAWA-машиной, без необходимости инсталляции какой-либо клиентской части:

• разработчикам в режиме чтения и записи (до утверждения УМК, а после - только в режиме чтения);

• подписывающим и утверждающим - в режиме чтения УМК и записи только к листу замечаний и полям для подписей;

• контролирующим, проверяющим, руководителям и всем, имеющим на это право – только в режиме чтения и специальным режимам, отражающим ход разработки и утверждения УМК в разрезах по специальностям, факультетам, кафедрам и разработчика (ППС). При этом все: и разработчики УМК, и подписывающие, утверждающие, контролирующие, проверяющие, руководители и все, имеющим на это право, имеют доступ ко всем УМК, в том числе и находящимся в процессе разработки, и этот доступ они могут осуществлять в любое удобное для них время с любого компьютера, имеющего доступ к Internet;

• идентификация личности всех работающих с УМК должна осуществляться с применением электронной подписи. После идентификации личности должна осуществляться авторизация с предоставлением прав доступа, соответствующих должности сотрудника.

6.2.1.9. Обобщенная структура web-портала по УМК

В предварительном плане, т.е. на предпроектной стадии, предлагается следующая структура web-портала по УМК:

1. Справочник высшего руководства университета.

2. Справочник факультетов с привязкой к курирующим проректорам.

3. Справочник кафедр с привязкой к факультетам.

4. Справочник специальностей с привязкой к факультетам, на которых по ним ведется обучение.

5. Справочник учебных дисциплин с указанием всей информации, которая есть в учебных планах (расчасовка) с привязкой к кафедрам, на которых они преподаются.

6. Справочник деканов с привязкой к их факультетам.

7. Справочник Председателей методических комиссий с привязкой к их факультетам.

8. Справочник Заведующих кафедрами с привязкой к кафедрам.

9. Справочник разработчиков УМК с привязкой к кафедрам и дисциплинам, по которым они ведут занятия и разрабатывают УМК.

10. Справочник контролирующих.

11. Справочник проверяющих.

12. База данных УМК.

13. Базы данных анализа ситуации по разработке, подписанию, утверждению и проверке УМК.

6.2.1.10. Работы и ресурсы, необходимые
для создания web-портала по УМК

Создание web-портала по УМК включает следующие основные работы:

1. Разработка Технико-экономического обоснования (ТЭО) целесообразности создания web-портала по УМК.

2. Разработка Технического задания (ТЗ), описывающего web-портал по УМК функционально, т.е. конкретизирующего, что он должен обеспечивать.

3. Разработка Технического проекта (ТП) web-портала по УМК, в котором конкретизируются:

• даталогическая и инфологическая модели баз данных;

• алгоритмы работы с базами данных;

• структура web-портала по УМК, его подсистемы и режимы, дерево диалога от главного меню до экранных форм;

• обосновывается выбор инструментального программного обеспечения для разработки web-портала по УМК.

4. Разработка Рабочего проекта (РП), в котором разрабатывается программное обеспечение web-портала по УМК и этапы его внедрения и сопровождения. Внедрение должно включать краткое обучение всех пользователей портала.

Для выполнения этих работ необходимы следующие ресурсы:

1. Воля руководства Университета по созданию web-портала по УМК.

2. Юридическое обеспечение, в котором бы разработчикам web-портала по УМК давались необходимые полномочия на получение необходимой информации от различных подразделений университета.

3. Разработчики программно-информационного обеспечения web-портала по УМК (в составе Центра информационных технологий университета).

4. Контент-менеджеры, обеспечивающую первоначальное наполнение и поддержку в актуальном состоянии справочных баз данных web-портала по УМК (в составе Центра информационных технологий).

6.2.1.11. Работы и ресурсы, необходимые для
эксплуатации и развития web-портала по УМК

Поддержка эксплуатации web-портала по УМК включает:

1. Администрирование (обеспечение работоспособности, надежности, информационной безопасности, регистрация всех категорий пользователей портала ).

2. Информационное наполнение справочников и поддержание их в актуальном состоянии.

3. Наполнение и корректировку баз данных УМК (осуществляют разработчики УМК).

4. Сопровождение эксплуатации, т.е. консультативная поддержка всех категорий пользователей.

Для выполнения этих работ (по-видимому в составе Центра информационных технологий) необходимы:

1. Администратор web-портала по УМК,

2. Контент-менеджеры.

3. Специалисты по сопровождению эксплуатации.

6.2.1.12. Оценка социально-экономической
эффективности web-портала по УМК

Можно обоснованно ожидать, что создание и ввод в эксплуатацию web-портала по УМК:

1. Резко снизит трудоемкость и затраты времени на разработку и совершенствование УМК.

2. Высвободит время профессорско-преподавательского состава для подготовки к занятиям и ведения научно-исследовательской работы.

3. Существенно улучшит рабочую атмосферу и душевное состояние сотрудников – разработчиков УМК.

4. Сделает «прозрачным» весь процесс разработки и корректировки УМК и существенно повысит степень управляемости этого процесса.

5. Резко снизит трудоемкость и затраты времени на подписание и утверждение УМК.

6. Резко снизит трудоемкость и затраты времени на контроль и проверку УМК.

Финансовые затраты на создание, поддержку эксплуатации и развитие web-портала по УМК включают в основном фонд оплаты труда его разработчиков (разовые) и специалистов по эксплуатации (постоянные). Эти затраты на порядки меньше, чем прямые потери от непроизводительного труда сотен разработчиков УМК, неизбежные в настоящее время при существующей технологии.

6.2.1.13 Выводы

Создание Web-портала по УМК в составе сайта университета позволит освободить огромную армию специалистов наивысшей квалификации, 99% которых имеют научные звания и степени кандидатов и докторов наук, доцентов и профессоров, от несвойственной им рутинной работы технического редактора, которая сейчас занимает 99% трудоемкости разработки УМК, и использовать их время, силы, профессиональную компетенцию и талант более разумно по прямому назначению для более творческой работы над содержательной частью УМК, преподавания и научной работы.

6.2.2. Применение АСК-анализа для сопоставимой
оценки эффективности вузов

Раздел посвящен решению проблемы, заключающейся в том, что с одной стороны рейтинг российских вузов востребован, а с другой стороны пока он не создан. Предлагаемая идея решения проблемы состоит в применении отечественной лицензионной инновационной интеллектуальной технологии для этих целей: а именно предлагается применить автоматизированный системно-когнитивный анализ (АСК-анализ) и его программный инструментарий – интеллектуальную систему «Эйдос». Эти методы подробно описываются в этом контексте. Предлагается рассмотреть возможности применения данного инструментария на примере университетского рейтинга Гардиан, и рассматриваются его частные критерии (показатели вузов). Указываются источники данных и методика их подготовки для обработки в системе «Эйдос». В соответствии с методологией АСК-анализа описывается установка системы «Эйдос», ввод исходных данных в нее и формализация предметной области, синтез и верификация модели, их отображение и применение для решения задач оценки рейтинга Гардиан для российских вузов и исследования объекта моделирования. Рассматриваются перспективы и пути создания интегрированного рейтинга российских вузов и эксплуатации рейтинга в адаптивном режиме. Указываются ограничения предлагаемого подхода и перспективы его развития.

6.2.2.1. Формулировка проблемы

Университетские рейтинги давно стали общепринятым в мире методом оценки эффективности вузов[3].

Этими рейтингами для решения различных задач пользуются и потенциальные студенты, и их родители, и ученые, и руководители. Таким образом, они востребованы практически всем обществом.

Недавно и министерство образования и науки РФ обратилось к идее создания подобного рейтинга для российских вузов, и это в общем нельзя не приветствовать.

Однако первый опыт создания подобного рейтинга, по-видимому, приходиться признать неудачным, т.к. он вызвал большой поток совершенно справедливой и хорошо обоснованной критики со стороны научно-педагогического сообщества. Возражения вызвали, прежде как сами критерии оценки эффективности вузов[4], так и полная непрозрачность процедуры формирования этих критериев, а также то, что за бортом широкого обсуждения (которого, вообще не было) осталось и само понятие эффективности вузов, т.е. их основное назначение. А ведь именно тем, что понимается под эффективностью вузов, определяются и критерии ее оценки. Но предложенные критерии оказались таковы, что у многих возникло вполне обоснованное подозрение, что под эффективностью вузов при их формировании понималось вовсе не качество образования, а нечто другое не свойственное вузам.

Эта критика звучит и на научных конференциях,[5] и в научных публикациях. А то, о чем не принято говорить на научных конференциях и писать в научных публикациях, высказывается на форумах и на личных страницах ученых и педагогов. Например, на своем личном сайте доктор педагогических наук профессор А.А.Остапенко пишет: «Основных критериев, как мы помним пять: средний балл ЕГЭ принятых на обучение студентов; объём научных работ на одного сотрудника; количество иностранцев-выпускников; доходы вуза в расчёте на одного сотрудника, а также общая площадь учебно-лабораторных зданий в расчёте на одного студента. Как они связаны с эффективностью вуза и что такое эффективность вообще понять, мысля рационально, непросто. Даже всерьёз обсуждать эти критерии как-то странно» [6]. Но мы все же выскажем одно соображение. На наш взгляд довольно странно выглядит попытка сравнения друг с другом вузов разных направленности подготовки, т.е. например аграрных вузов и вузов, готовящих специалистов для атомной и ракетно-космической промышленности. Иначе говоря, для вузов разной направленности должны быть свои рейтинги.

Правда со временем, наверное, в какой-то степени и под влиянием этой критики, позиция Минобрнауки РФ стала меняться. А то, что к тому времени уже успели закрыть несколько вузов, как говорят: «имеющих признаки неэффективности»[7], – это как бы и не так важно. Динамику этих изменений позиции профильного министерства можно проследить по Нормативно-правовым документам Минобрнауки РФ, устанавливающим критерии оценки эффективности деятельности вузов[8].

Таким образом, налицо проблема, которая состоит в том, что с одной стороны рейтинг российских вузов востребован, а с другой стороны как-то пока не очень получается его сформировать. То есть, как обычно желаемое не совпадает с действительным, и «хотели как лучше, а вышло как всегда» (В.С.Черномырдин).

6.2.2.2. Авторский подход к решению проблемы

6.2.2.2.1. Идея предлагаемого решения проблемы

Идея решения проблемы проста: обратиться к мировому опыту в этой области, творчески его переосмыслить применительно к российским реалиям и разработать свои научно-обоснованные подходы, с учетом всего лучшего, что есть в мировом опыте.

Существует несколько популярных и авторитетных рейтингов вузов¹:

– Университетский рейтинг The Guardian^[9];

– Университетский рейтинг Times^[10];

– Мировой рейтинг Times Higher Education^[11];

– Рейтинг мировых вузов Шанхайского Университета^[12].

Мы не будем их здесь описывать, т.к. по ним достаточно информации в общем доступе, в т.ч. по приведенным ссылкам.

Но хотели бы отметить, что для поддержки любого подобного рейтинга необходима соответствующая инфраструктура, оснащенная различными видами обеспечения ее деятельности (финансовое, кадровое, организационное, техническое, математическое, программное, информационное и т.д.). Все эти виды обеспечения в совокупности представляют собой технологию ведения и применения данного рейтинга.

Естественно, никто технологию не продает, а если и продает, то так дорого, что купить ее практически невозможно. Поэтому возникает вопрос о разработке или поиске подобной технологии в России.

Таким образом, востребованы теоретическое обоснование, математическая модель, методика численных расчетов (т.е. структуры данных и алгоритмы их обработки) а также реализующие их инструментальные (программные) средства, обеспечивающие создание, поддержку, развитие и применение подобных рейтингов.

Данная статья как раз и посвящена рассмотрению отечественной лицензионной инновационной интеллектуальной технологии, обеспечивающей решение поставленной проблемы. А именно предлагается применить для этой цели автоматизированный системно-когнитивный анализ (АСК-анализ) и его программный инструментарий – интеллектуальную систему «Эйдос».

6.2.2.2.2. Автоматизированный системно-когнитивный анализ и интеллектуальная
система «Эйдос» как инструментарий
решения проблемы

Этот подход кратко описан в статье [148]. Здесь рассмотрим его подробнее.

Прежде всего, возникает вопрос о том, что понимается под эффективностью вузов? Ведь ясно, что прежде чем оценивать эффективность вузов было бы неплохо, а на самом деле совершенно необходимо, разобраться с тем, что же это такое. Причина этого ясна: выбор критериев оценки во многом обуславливается тем, что именно оценивается.

Ясно, что по этому поводу существует много различных мнений, которые в различной степени аргументированы или не аргументированы и отражают позиции руководителей образования и науки, профессионального научно-педагогического сообщества и различных слоев населения. По мнению автора, с научной точки зрения некорректно и неуместно говорить о каких-то критериях оценки эффективности вузов, если не определено само это понятие эффективности, т.е. отсутствует консенсус в профессиональной среде по поводу того, что же это такое.

Очевидно, для достижения такого консенсуса в наше время необходимо широкое обсуждение этого вопроса в научной печати, Internet и СМИ. Однако такое обсуждение не было организовано и критерии оценки эффективности или признаков неэффективности практически неожиданно «свалились научно-педагогическому сообществу как снег на голову».

Уже после этого, как это произошло, началось обсуждение этого вопроса на различных научных конференциях, в научной и периодической прессе, на личных сайтах, формах и т.п. Но пока шло это обсуждение и пока оно не пришло к какому-либо консенсусу в этом вопросе, ряд вузов были закрыты, филиалы сокращены и т.д.

По мнению автора, цель вуза в том, чтобы формировать компетентных и творчески мыслящих специалистов в соответствии с прогнозом социального заказа, т.е. таких, которые будут востребованы обществом в будущем периоде профессиональной деятельности этих специалистов, который составляет 30-40 лет. А должен ли вуз зарабатывать, должен ли он иметь те или иные площади в расчете на одного учащегося – это все нужно знать только для того, чтобы спрогнозировать, сможет ли он выполнить свою основную задачу, т.е. подготовку специалистов. Ни в коем случае нельзя рассматривать эти показатели как самоцель, т.к. достижение тех или иных их значений, вообще говоря, может и ничего не говорить о достижении цели вуза. Несут ли эти критерии какую-либо информацию о достижении цели вуза, и какую именно по величине и знаку, – это еще надо определить в процессе специального исследования, которое, скорее всего не было проведено. Странно, что об этом приходиться писать, но приходиться, т.к. похоже, об этом стали забывать.

Когда консенсус профессионального научно-педагогического сообщества по вопросу о том, что же понимать под «эффективностью вуза» будет достигнут, на первый план выступает вопрос о том, с помощью какого метода оценивать эту эффективность, т.е. как ее измерить.

Для авторов вполне очевидно, что этот метод должен представлять собой какой-то вариант метода многокритериальной оценки. Это обусловлено просто тем, что такие сложные и многофакторные системы как вузы в принципе невозможно оценивать по одному показателю или критерию. Чтобы обоснованно выбрать метод оценки эффективности вузов необходимо сначала научно обосновать требования к нему, а затем составить рейтинг методов по степени соответствия обоснованным требованиям и выбрать метод, наиболее удовлетворяющий обоснованным требованиям.

Применение метода факторного анализа для этих целей, по-видимому, некорректно, т.к. этот метод, предъявляющий настолько жесткие требования к исходным данным об объекте моделирования, что их практически невозможно выполнить. Во-первых, факторный анализ – это параметрический метод, предполагающий, что исходные данные подчиняются многомерным нормальным распределениям. Во-вторых, это метод неустойчивый, т.е. небольшие изменения исходных данных могут привести к значительным изменениям в модели. Поэтому исходные данные для факторного анализа должны быть абсолютно точными, что невозможно не только фактически, но даже в принципе. В-третьих, перед началом факторного анализа необходимо определить наиболее важные факторы, которые и будут исследоваться в создаваемой модели. Но при этом в руководствах по факторному анализу не уточняется, каким способом это предлагается сделать. А между тем при большом количестве факторов, что является обычным для большинства реальных задач, это не тривиальная задача, которую вручную решить невозможно.

Когда метод оценки эффективности вузов выбран, необходимо ответить на вопрос о том, на основе каких частных критериев оценивать эффективность вузов и какой исходной информацией о вузах для этого необходимо располагать?

Ясно, что эти критерии в общем случае могут иметь как количественную, так и качественную природу и могут измеряться в различных единицах измерения. Кроме того эти критерии могут иметь различную силу и направление влияния на интегральную оценку эффективности вузов. Конечно, возникают вопросы как о способе определения системы критериев эффективности вуза, так и о способе определения силы и направления влияния критериев на оценку эффективности вузов.

Но еще более существенным является вопрос: «О способе сопоставимого сведения разнородных по своей природе и измеряемых в различных единицах измерения частных критериев эффективности в один количественный интегральный критерий эффективности вуза».

Отметим, что в материалах Минобрнауки РФ и о критериях оценки эффективности вузов[13] даже не упоминается вопрос о том, что когда значения частных критериев для того или иного вуза установлены, то необходимо каким-то образом на их основе получить обобщающую количественную оценку его эффективности в виде одного числа, т.е. надо как-то объединить значения всех частных критериев в одной формуле, в одном математическом выражении, которое и называется «Интегральный критерий».

Поэтому, наверное, и говорят не об эффективности или неэффективности вуза, а всего лишь «о признаках неэффективности», а признаками являются значения отдельных частных критериев. Если таких признаков неэффективности много, то делают вывод о том, что вуз неэффективен. Фактически такой подход, который может быть и применялся, можно назвать неосознанным применением частных критериев и интегрального критерия, т.е. «неосознанным многокритериальным подходом». При таком подходе все частные критерии имеют одинаковый вес, например принимающий значения 0 (неэффективен) и 1 (эффективен). Когда значения всех частных критериев для вуза установлены, то эти веса суммируются и сумма сравнивается с минимальными и максимальными оценками, полученными для всех вузов. Допустим, в Минобрнауки РФ из каких-то своих соображений решили, что в результате оценки эффективности вузов должно быть закрыто из-за низкой эффективности 1.5% вузов. Тогда все вузы сортируются по убыванию этой суммы и 1.5% с конца рейтинга помещаются в «черный список».

Но такой «неосознанный многокритериальный подход» очень и очень уязвим для критики.

Во-первых, возникает законный вопрос о том, почему все критерии имеют одинаковый вес, хотя даже интуитивно ясно, что они имеют разное значение и по-разному влияют на эффективность вуза (которая, кстати, непонятно в чем заключается).

Во-вторых, непонятно, как можно складывать средний балл ЕГЭ принятых на обучение студентов, объём научных работ на одного сотрудника, количество иностранцев-выпускников, доходы вуза в расчёте на одного сотрудника и общую площадь учебно-лабораторных зданий в расчёте на одного студента. За подобные математические операции ставят двойку по физике в 7-м классе средней школы. Там школьников учат, что перед тем как складывать величины, измеренные в разных единицах измерения, например рост учащихся, выраженный в метрах (1.72) и выраженный в сантиметрах (160), нужно перевести эти величины в одну единицу измерения, например в метры или в сантиметры. А иначе получится: 1.72+160=161.72, т.е. некий результат, не поддающийся разумной содержательной интерпретации[14]. Как бы нечто похожее и на таком же научном уровне не получилось при оценке наличия у вуза «признаков неэффективности». Но научно-педагогическую общественность не поставили в известность о том, каким образом вычисляется интегральная оценка эффективности вуза на основе установленных для него значений частных критериев. Поэтому высказанное опасение остается не снятым.

В развитом осознанном многокритериальном подходе для вычисления значения интегрального критерия нужно знать силу и направление влияния каждого значения частных критериев на величину этого интегрального критерия. Интегральные критерии бывают трех видов: аддитивные, мультипликативные и общего вида. Чаще всего используются аддитивные интегральные критерии, в которых значение интегрального критерия равно просто сумме значений частных критериев. Но чтобы значения частных критериев можно было корректно суммировать необходимо, чтобы они были значениями на числовых измерительных шкалах [201], и чтобы они измерялись в одних и тех же единицах измерения или были безразмерными.

Оба эти требования выполняются в Автоматизированном системно-когнитивном анализе (АСК-анализ), в котором все значения всех факторов, независимо от того количественные они или качественные и в каких единицах они измеряются в исходных данных, в моделях системы «Эйдос» (системно-когнитивных моделях) они все измеряются в одних и тех же единицах измерения – единицах количества информации [201]. Поэтому метод АСК-анализа и предлагается для решения поставленной проблемы.

АСК-анализ представляет собой один из современных методов искусственно интеллекта, который предоставляет научно обоснованные ответы на все эти вопросы, но самое существенное, что он оснащен широко и успешно апробированным универсальным программным инструментарием, позволяющим решить эти вопросы не только как обычно на теоретическом концептуальном уровне, но и на практике. Модели знаний АСК-анализа основаны на нечеткой декларативной модели представления знаний, предложенной автором в 1983 году и являющейся гибридной моделью, сочетающей в себе преимущества фреймовой, нейросетевой и четкой продукционной моделей и обеспечивающей создание моделей очень больших размерностей до 10 млн. раз превышающих максимальные размерности моделей знаний экспертных систем с четкими продукциями:

– от фреймовой модели модель представления знания системы «Эйдос» отличается существенно упрощенной программной реализацией и более высоким быстродействием без потери функциональности;

– от нейросетевой тем, что обеспечивает хорошо обоснованную теоретически содержательную интерпретацию весовых коэффициентов на рецепторах и обучение методом прямого счета [20];

– от четкой продукционной модели – нечеткими продукциями, представленными в декларативной форме, что обеспечивает эффективное использование знаний без их многократной генерации для решения задач идентификации, прогнозирования, принятия решений и исследования моделируемого объекта.

АСК-анализ является непараметрическим методом, устойчивым к шуму в исходных данных, позволяющий корректно обрабатывать неполные (фрагментированные) исходные данные, описывающие воздействие взаимозависимых факторов на нелинейный [7] объект моделирования.

Суть метода АСК-анализа в том, что он позволяет рассчитать на основе исходных данных какое количество информации содержится в значениях факторов, обуславливающих переходы объекта моделирования в различные будущие состояния, причем как в желательные, так и в нежелательные [201].

Он состоит в целенаправленном последовательном повышении степени формализации исходных данных до уровня, который позволяет ввести исходные данные в компьютерную систему, а затем преобразовать исходные данные в информацию; информацию преобразовать в знания; использовать знания для решения задач прогнозирования, принятия решений и исследования предметной области.

Рассмотрим подробнее вопросы выявления, представления и использования знаний в АСК-анализе и системе «Эйдос».

Данные – это информация, записанная на каком-либо носителе или находящаяся в каналах связи и представленная на каком-то языке или в системе кодирования и рассматриваемая безотносительно к ее смысловому содержанию.

Исходные данные об объекте управления обычно представлены в форме баз данных, чаще всего временных рядов, т.е. данных, привязанных ко времени. В соответствии с методологией и технологией автоматизированного системно-когнитивного анализа (АСК-анализ), развиваемой проф. Е.В.Луценко, для управления и принятия решений использовать непосредственно исходные данные не представляется возможным. Точнее сделать это можно, но результат управления при таком подходе оказывается мало чем отличающимся от случайного. Для реального же решения задачи управления необходимо предварительно преобразовать данные в информацию, а ее в знания о том, какие воздействия на корпорацию к каким ее изменениям обычно, как показывает опыт, приводят.

Информация есть осмысленные данные.

Смысл данных, в соответствии с концепцией смысла Шенка-Абельсона, состоит в том, что известны причинно-следственные зависимости между событиями, которые описываются этими данными. Таким образом, данные преобразуются в информацию в результате операции, которая называется «Анализ данных», которая состоит из двух этапов:

1. Выявление событий в данных (разработка классификационных и описательных шкал и градаций и преобразование с их использованием исходных данных в обучающую выборку, т.е. в базу событий – эвентологическую базу).

2. Выявление причинно-следственных зависимостей между событиями.

В случае систем управления событиями в данных являются совпадения определенных значений входных факторов и выходных параметров объекта управления, т.е. по сути, случаи перехода объекта управления в определенные будущие состояния под действием определенных сочетаний значений управляющих факторов. Качественные значения входных факторов и выходных параметров естественно формализовать в форме лингвистических переменных. Если же входные факторы и выходные параметры являются числовыми, то их значения измеряются с некоторой погрешностью и фактически представляют собой интервальные числовые значения, которые также могут быть представлены или формализованы в форме лингвистических переменных (типа: «малые», «средние», «большие» значения экономических показателей).

Какие же математические меры могут быть использованы для количественного измерения силы и направления причинно-следственных зависимостей?

Наиболее очевидным ответом на этот вопрос, который обычно первым всем приходит на ум, является: «Корреляция». Однако, в статистике это хорошо известно, что это совершенно не так. Для преобразования исходных данных в информацию необходимо не только выявить события в этих данных, но и найти причинно-следственные связи между этими событиями. В АСК-анализе предлагается 7 количественных мер причинно-следственных связей, основной из которых является семантическая мера целесообразности информации по А.Харкевичу.

Знания – это информация, полезная для достижения целей[15].

Значит для преобразования информации в знания необходимо:

1. Поставить цель (классифицировать будущие состояния моделируемого объекта на целевые и нежелательные).

2. Оценить полезность информации для достижения этой цели (знак и силу влияния).

Второй пункт, по сути, выполнен при преобразовании данных в информацию. Поэтому остается выполнить только первый пункт, т.к. классифицировать будущие состояния объекта управления как желательные (целевые) и нежелательные.

Знания могут быть представлены в различных формах, характеризующихся различной степенью формализации:

– вообще неформализованные знания, т.е. знания в своей собственной форме, ноу-хау (мышление без вербализации есть медитация);

– знания, формализованные в естественном вербальном языке;

– знания, формализованные в виде различных методик, схем, алгоритмов, планов, таблиц и отношений между ними (базы данных);

– знания в форме технологий, организационных, производственных, социально-экономических и политических структур;

– знания, формализованные в виде математических моделей и методов представления знаний в автоматизированных интеллектуальных системах (логическая, фреймовая, сетевая, продукционная, нейросетевая, нечеткая и другие).

Таким образом, для решения сформулированной проблемы необходимо осознанно и целенаправленно последовательно повышать степень формализации исходных данных до уровня, который позволяет ввести исходные данные в интеллектуальную систему, а затем:

– преобразовать исходные данные в информацию;

– преобразовать информацию в знания;

– использовать знания для решения задач управления, принятия решений и исследования предметной области (рисунок 14).

Рисунок 14. Соотношение содержания понятий: «Данные», «Информация»,
«Знания» и этапы последовательного повышения степени формализации модели
от данных к информации, а от нее к знаниям

АСК-анализ имеет следующие этапы [7]:

– когнитивно-целевая структуризация предметной области;

– формализация предметной области (формирование классификационных и описательных шкал и градаций и обучающей выборки);

– синтез и верификация статистических и системно-когнитивных моделей;

– решение задач идентификации, прогнозирования, принятия решений и исследования предметной области в наиболее достоверных из созданных моделей.

Единственный неавтоматизированный в системе «Эйдос» этап – это первый, а остальные приведены на рисунке 14.

АСК-анализ имеет ряд особенностей, которые обусловили его выбор в качестве метода решения проблемы:

1. Имеет теоретическое обоснование, основой которого является семантическая мера целесообразности информации А.Харкевича.

2. Обеспечивает корректную сопоставимую количественную обработку разнородных по своей природе факторов, измеряемых в различных единицах измерения, высокую точность и независимость результатов расчетов от единиц измерения исходных данных.

3. Обеспечивает построение многомерных моделей объекта моделирования непосредственно на основе неполных и искаженных эмпирических данных о нем.

4. Имеет развитую и доступную программную реализацию в виде универсальной когнитивной аналитической системы «Эйдос».

Очень важно, что этот инструментарий и методики его использования для решения сформулированных задач могут быть доступны всем заинтересованным сторонам не только на федеральном уровне, но и в самих вузах, что позволит им осуществлять аудиторскую самооценку и видеть свое место и динамику среди других вузов. Это позволит руководителям вузов принимать более осознанные и научно обоснованные решения, направленные на повышение эффективности и рейтинга их вуза. Конечно, для реализации на практике регулярного рейтингового анализа вузов необходимо создание соответствующей достаточно разветвленной инфраструктуры.

Более подробному и конкретному исследованию связанных с этим вопросов и посвящена данная работа, в которой далее кратко расстраивается университетский рейтинг Гардиан (который выбран просто в качестве примера), а затем приводится численный пример его реализации в форме приложения интеллектуальной системы «Эйдос». Отметим, что создание этого приложения не требует программирования [147, 151, 233], т.е. система «Эйдос» анализирует исходные данные рейтинга и строит модель, в которой отражено как влияют значения частных критериев на значение интегрального критерия, т.е. на итоговую общую оценку рейтинга вуза.

6.2.2.2.3. Частные критерии университетского
рейтинга Гардиан

Университетский рейтинг Гардиан[16] выгодно отличается от других тем, что измеряет качество преподавания, использования учебных ресурсов, а также оценивает уровень исследовательской деятельности, что очень полезно для тех, кто интересуется послевузовскими программами – магистратурой, докторантурой и проч.

Как указано на официальном сайте рейтинга¹⁰ в нем используются следующие частные критерии:

1. Качество преподавания, которое оценивается национальным студенческим исследованием (NSS): процент удовлетворенных студентов.

2. Получение обратной связи от преподавателя и качество заданий. Оценивается опросом NSS, в котором устанавливается процент удовлетворенных студентов.

3. Результаты опроса NSS, в котором оценивается процент студентов, удовлетворенных общим качеством выбранной программы.

4. Затраты на студента – оценка по 10-балльной шкале.

5. Соотношение студент – работник вуза: количество студентов на штатную единицу университета.

6. Карьерные перспективы: процент выпускников, сумевших найти работу или продолжить обучение в течение полугода после окончания вуза.

7. Уровень прогресса студентов на основе сравнения университетских результатов с оценками предыдущего сертификата (обычно, школьного или университетского): оценка по 10-балльной шкале. Данный показатель демонстрирует, насколько преподавательский состав способен повлиять на улучшение успеваемости студентов.

8. Проходной балл при поступлении в вуз на основе оценок предыдущего сертификата обучения (школьный или университетский сертификат).

Отметим, что считаем важным достоинством данного рейтинга то, что он ведется по различным направлениям подготовки, которых 45 (таблица 15):

Таблица 15 – Направления подготовки, по которым проводился
университетский рейтинг Гардиан

№	Наименование
1	Agriculture, forestry and food
2	American studies
3	Anatomy and physiology
4	Anthropology
5	Archaeology and Forensics
6	Architecture
7	Art and design
8	Biosciences
9	Building and town and country planning
10	Business and management studies
11	Chemistry
12	Classics
13	Computer sciences and IT
14	Dentistry
15	Drama and dance
16	Earth and marine sciences
17	Economics
18	Education
19	Engineering: chemical
20	Engineering: civil
21	Engineering: electronic and electrical
22	Engineering: general
23	Engineering: materials and mineral
24	Engineering: mechanical
25	English
26	Geography and environmental studies
27	History and history of art
28	Law
29	Mathematics
30	Media studies, communications and librarianship
31	Medicine
32	Modern languages and linguistics
33	Music
34	Nursing and paramedical studies
35	Pharmacy and pharmacology
36	Philosophy
37	Physics
38	Politics
39	Psychology
40	Religious studies and theology
41	Social policy and administration
42	Sociology
43	Sports science
44	Tourism, transport and travel
45	Veterinary science

В университетском рейтинге Гардиан содержатся рейтинги 155 вузов. Однако интегральный критерий, позволяющий получить рейтинговую оценку вуза на основе установленных для него значений частных критериев, на официальном сайте рейтинга Гардиан[17] не приводится. Поэтому для того, чтобы применить данный рейтинг на практике необходимо реконструировать его интегральный критерий и создать модель, отражающую силу и знак связи между значениями частных критериев и значениями интегрального критерия. Решим эту задачу в системе «Эйдос» на численном примере на основе реальных данных рейтинга Гардиан.

6.2.2.3. Численный пример

6.2.2.3.1. Источники исходных данных

В нижней части одной из страниц официального сайта университетского рейтинга Гардиан[18] есть ссылка на Excel-таблицу, которую мы использовали в качестве исходных данных:

Download the data

• DATA: download the full spreadsheet.

Кликнув по этой ссылке, мы получаем on-line доступ к этой Excel-таблице (рисунок 15):

Рисунок 15. Excel-таблица исходных данных по университетскому рейтингу Гардиан с официального сайта рейтинга (фрагмент)

Чтобы скачать эту таблицу на локальном компьютере нужно кликнуть слева вверху по пункту меню «Файл», а затем выбрать: «Сохранить как» и указать тип файла.

6.2.2.3.2. Подготовка исходных данных
для системы «Эйдос»

Однако в соответствии с 1-м и единственным не автоматизированным в системе «Эйдос» этапом АСК-анализа, который называется: «Когнитивно-целевая структуризация предметной области» перед созданием интеллектуального приложения мы должны определиться, что мы хотим определять с помощью модели и на основе чего.

В данной задаче для каждого университета по значениям его показателей мы бы хотели определить:

– обобщающий рейтинг Гардиан (Guardian score/100);

– рейтинг по каждому из направлений подготовки (Rank), перечисленных в таблице 15;

– основное (профилирующее) направление подготовки (Field of study).

– само наименование университета (Name of Institution).

Наименования показателей университета:

1. % Satisfied with Teaching.

2. % Satisfied overall with course.

3. Expenditure per student (FTE).

4. Student:staff ratio.

5. Career prospects.

6. Value added score/10.

7. Average Entry Tariff.

8. % Satisfied with Assessment.

Перевод этих показателей на русский язык приведен в разделе 2.3.

Учитывая эти результаты выполнения 1-го этапа АСК-анализа, перед для вводом данных в систему «Эйдос», таблицу, скачанную на предыдущем шаге с официального сайта рейтинга Гардиан и приведенную на рисунке 15, необходимо преобразовать в такую форму, которая бы отражала те способы группировки данных по университетам, которые нас интересуют и соответствовала бы требованиям системы «Эйдос» к внешним базам исходных данных (рисунок 16):

Рисунок 16. Экранная форма системы «Эйдос»
с описанием требований к внешним базам исходных данных

Для этого преобразуем таблицу, приведенную на рисунке 15, следующим образом:

1. Добавим лист (вкладку) с наименованием: «Inp_data» на 1-ю позицию. На этом листе будет формироваться результат для ввода данных всех данных по рейтингу в систему «Эйдос».

2. Переименуем наименования всех вкладок с рейтингами по направлений подготовки, полностью убирая текстовое наименование направления подготовки и оставляя только его номер (код). Это нужно для того, чтобы проще было писать формулы со ссылками на листы с информацией о рейтингах по направлениям подготовки.

3. Добавим отладочную страницу «P», на которой апробируем способ отображения абсолютного рейтинга в относительный (нормированный). Дело в том, что в таблице на рисунке 15 в каждом рейтинге по направлению подготовки участвует разное число университетов, а рейтингом является просто порядковый номер в списке. В результате рейтинги по направлениям подготовки изменяются в различных пределах от 1 до числа университетов, имеющих данное направление подготовки. В результате такие рейтинги оказываются несопоставимыми, что нас не устраивает Чтобы преодолеть эту проблему мы нормировали абсолютные рейтинги по направлениям подготовки к 10-бальной числовой шкале, т.е. преобразовали их в относительные. Можно было взять и любое другое число градаций шкалы, но мы посчитали, что такая шкала обеспечивает необходимую и достаточную для практики точность. Кроме того этот лист мы затем используем для модификации листов с рейтингами по направлениям подготовки. В таблице 16 приведены результат нормирования абсолютного рейтинга с 27 градациями и формулы, с помощью которых это делается.

Таблица 16 – Способ и результат нормирования абсолютного рейтинга
по направлению подготовки

Результат нормирования

абсолютного рейтинга

Способ (формулы) нормирования абсолютного рейтинга

	A	B	C
1	X1=	1
2	X2=	27
3	Y1=	1
4	Y2=	10
5
6	Абсолют. рейтинг		Относит. рейтинг
7	1		1,00
8	2		1,35
9	3		1,69
10	4		2,04
11	5		2,38
12	6		2,73
13	7		3,08
14	8		3,42
15	9		3,77
16	10		4,12
17	11		4,46
18	12		4,81
19	13		5,15
20	14		5,50
21	15		5,85
22	16		6,19
23	17		6,54
24	18		6,88
25	19		7,23
26	20		7,58
27	21		7,92
28	22		8,27
29	23		8,62
30	24		8,96
31	25		9,31
32	26		9,65
33	27		10,00

A	B	C
X1=	=A7
X2=	=A33
Y1=	1
Y2=	10
Абсолютный рейтинг		Относительный рейтинг
1		=$B$3+(A7-$B$1)/($B$2-$B$1)*($B$4-$B$3)
2		=$B$3+(A8-$B$1)/($B$2-$B$1)*($B$4-$B$3)
3		=$B$3+(A9-$B$1)/($B$2-$B$1)*($B$4-$B$3)
4		=$B$3+(A10-$B$1)/($B$2-$B$1)*($B$4-$B$3)
5		=$B$3+(A11-$B$1)/($B$2-$B$1)*($B$4-$B$3)
6		=$B$3+(A12-$B$1)/($B$2-$B$1)*($B$4-$B$3)
7		=$B$3+(A13-$B$1)/($B$2-$B$1)*($B$4-$B$3)
8		=$B$3+(A14-$B$1)/($B$2-$B$1)*($B$4-$B$3)
9		=$B$3+(A15-$B$1)/($B$2-$B$1)*($B$4-$B$3)
10		=$B$3+(A16-$B$1)/($B$2-$B$1)*($B$4-$B$3)
11		=$B$3+(A17-$B$1)/($B$2-$B$1)*($B$4-$B$3)
12		=$B$3+(A18-$B$1)/($B$2-$B$1)*($B$4-$B$3)
13		=$B$3+(A19-$B$1)/($B$2-$B$1)*($B$4-$B$3)
14		=$B$3+(A20-$B$1)/($B$2-$B$1)*($B$4-$B$3)
15		=$B$3+(A21-$B$1)/($B$2-$B$1)*($B$4-$B$3)
16		=$B$3+(A22-$B$1)/($B$2-$B$1)*($B$4-$B$3)
17		=$B$3+(A23-$B$1)/($B$2-$B$1)*($B$4-$B$3)
18		=$B$3+(A24-$B$1)/($B$2-$B$1)*($B$4-$B$3)
19		=$B$3+(A25-$B$1)/($B$2-$B$1)*($B$4-$B$3)
20		=$B$3+(A26-$B$1)/($B$2-$B$1)*($B$4-$B$3)
21		=$B$3+(A27-$B$1)/($B$2-$B$1)*($B$4-$B$3)
22		=$B$3+(A28-$B$1)/($B$2-$B$1)*($B$4-$B$3)
23		=$B$3+(A29-$B$1)/($B$2-$B$1)*($B$4-$B$3)
24		=$B$3+(A30-$B$1)/($B$2-$B$1)*($B$4-$B$3)
25		=$B$3+(A31-$B$1)/($B$2-$B$1)*($B$4-$B$3)
26		=$B$3+(A32-$B$1)/($B$2-$B$1)*($B$4-$B$3)
27		=$B$3+(A33-$B$1)/($B$2-$B$1)*($B$4-$B$3)

Получим выражение для линейного отображения абсолютной шкалы, с числом градаций X₂ в относительную шкалу, с заданным числом градаций Y₂ (рисунок 17):

Рисунок 17. К выводу выражения для линейного отображения абсолютной шкалы в относительную шкалу (линейная нормировка абсолютной шкалы)

Из рисунка 17 видно, что:

Откуда получаем искомое выражение для нормировки:

где:

C – относительный рейтинг;

A – абсолютный рейтинг;

Y₁ –значение начальной градации шкалы относительного рейтинга;

Y₂ –значение конечной градации шкалы относительного рейтинга (число градаций, если Y₁ = 1);

X₁ – значение начальной градации шкалы абсолютного рейтинга;

X₂ – значение конечной градации шкалы абсолютного рейтинга (число градаций, если X₁ = 1).

Этому выражению можно придать вид линейного уравнения, но нам в этом нет необходимости.

4. На следующем шаге:

– копируем таблицу для нормировки абсолютных шкал на все листы с рейтингами по направлениям подготовки;

– корректируем значение X₂ на фактическое в данной абсолютной шкале.

В результате и получаем такие листы (таблица 17):

Таблица 17 – Преобразование абсолютного рейтинга по направлению
подготовки: «Медицина» в относительный (нормированный)

Отметим, что значение Y₂=10 во всех листах берется с листа «P» с исходной таблицей для преобразования абсолютных шкал в относительные, и, если его изменить там, то оно сразу меняется на всех листах с рейтингами по направлениям подготовки.

5. Затем формируем лист для ввода данных в систему «Эйдос». Для этого мы собираем на одном листе данные со всех листов с рейтингами по направлениям подготовки (таблица 18):

Таблица 18 – Исходные данные по рейтингу Гардиан,
подготовленные для ввода в систему «Эйдос» (фрагмент)

В таблице 18 приводится лишь фрагмент исходных данных, т.к. их распечатка составляет 25 листов.

Отметим, что исходный файл и файл исходных данных находятся на сайте автора в полном открытом бесплатном доступе на страничке: http://lc.kubagro.ru/ej_data/1071503001/Downloads.rar. Ниже приведена таблица 19 с формулами для расчета таблицы 18:

Таблица 19 – Формулы для расчета исходных данных по рейтингу Гардиан, для их подготовки к для ввода в систему «Эйдос» (фрагмент)

6.2.2.3.3. Установка системы «Эйдос»

Скачиваем и устанавливаем систему «Эйдос». Это наиболее полная на данный момент незащищенная от несанкционированного копирования портативная (portable) версия системы (не требующая инсталляции) с исходными текстами, находящаяся в полном открытом бесплатном доступе (около 50 Мб). Обновление имеет объем около 3 Мб.[19]

ИНСТРУКЦИЯ
по скачиванию и установке системы «Эйдос» (объем около 50 Мб)

Система не требует инсталляции, не меняет никаких системных файлов и содержимого папок операционной системы,
т.е. является портативной (portable) программой. Но чтобы она работала необходимо аккуратно выполнить следующие пункты.

1. Скачать самую новую на текущий момент версию системы «Эйдос-Х++» по ссылкам:

http://lc.kubagro.ru/a.rar или: http://lc.kubagro.ru/Aidos-X.exe (ссылки для обновления системы даны в режиме 6.2).

2. Разархивировать этот архив в любую папку с правами на запись с коротким латинским именем и путем доступа,
включающим только папки с такими же именами (лучше всего в корневой каталог какого-нибудь диска).

3. Запустить систему. Файл запуска:  _AIDOS-X.exe ^*

4. Задать имя: 1 и пароль: 1 (потом их можно поменять в режиме 1.2).

5. Перед тем как запустить новый режим НЕОБХОДИМО ЗАВЕРШИТЬ предыдущий (Help можно не закрывать). Окна закрываются в порядке, обратном порядку их открытия.

^* Разработана программа: «_START_AIDOS.exe», полностью снимающая с пользователя системы «Эйдос-Х++» заботу о проверке наличия и скачивании обновлений. Эту программу надо просто скачать по ссылке: http://lc.kubagro.ru/Install_Aidos-X/_START_AIDOS.exe , поместить в папку с исполнимым модулем системы и всегда запускать систему с помощью этого файла.

При запуске программы _START_AIDOS.EXE система Эйдос не должна быть запущена, т.к. она содержится в файле обновлений и при его разархивировании возникнет конфликт, если система будет запущена.

1. Программа _START_AIDOS.exe определяет дату системы Эйдос в текущей папке, и дату обновлений на FTP-сервере не скачивая их, и, если система Эйдос в текущей папке устарела, скачивает обновления. (Если в текущей папке нет исполнимого модуля системы Эйдос, то программа пытается скачать полную инсталляцию системы, но не может этого сделать из-за ограниченной функциональности демо-версии библиотеки Xb2NET.DLL).

2. После этого появляется диалоговое окно с сообщением, что надо сначала разархивировать систему, заменяя все файлы (опция: «Yes to All» или «OwerWrite All»), и только после этого закрыть данное окно.

3. Потом программа _START_AIDOS.exe запускает обновления на разархивирование. После окончания разархивирования окно архиватора с отображением стадии процесса исчезает.

4. После закрытия диалогового окна с инструкцией (см. п.2), происходит запуск обновленной версии системы Эйдос на исполнение.

Для работы программы _START_AIDOS.exe необходима библиотека: Xb2NET.DLL, которую можно скачать по ссылке: http://lc.kubagro.ru/Install_Aidos-X/Xb2NET.DLL . Перед первым запуском этой программы данную библиотеку необходимо скачать и поместить либо в папку с этой программой, а значит и  исполнимым модулем системы «Эйдос-Х++», либо в любую другую папку, на которую в операционной системе прописаны пути поиска файлов, например в папку: c:\Windows\System32\. Эта библиотека стоит около 500$ и у меня ее нет, поэтому я даю только бесплатную демо-версию, которая выдает сообщение об ограниченной функциональности, но для наших целей ее достаточно.

Лицензия:

Автор отказывается от какой бы то ни было ответственности за Ваш выбор и последствия применения или не применения Вами системы «Эйдос».

Проще говоря, пользуйтесь если понравилось, а если не понравилось – не пользуйтесь: решайте сами и сами несите ответственность за Ваше решение.

PS

Еще считаю важным отметить, что система «Эйдос-Х++» создавалась автором проф.Е.В.Луценко не как программный продукт, т.е. не на продажу, а для применения в учебном процессе и для научных исследований. Поэтому она не соответствует требованиям к программному продукту. Этим обусловлен и выбор языка программирования, который выбран таким образом, чтобы легче было использовать огромные наработки: исходные тексты DOS-версии системы «Эйдос» ver.12.5 (если бы ставилась цель создать программный продукт, то наверное был бы выбран язык JAWA).

6.2.2.3.4. Ввод исходных данных в систему «Эйдос»
с помощью одного и ее программных
интерфейсов

Записываем файл исходных данных, приведенный в таблице 18, с именем: Inp_data.xls в папку с системой (если она на диске C: в коревом каталоге) по пути:

c:\Aidos-X\AID_DATA\Inp_data\Inp_data.xls

Запускаем систему «Эйдос» и задаем режим 2.3.2.2 с параметрами, указанными на экранной форме (рисунок 18):

Рисунок 18. Экранная форма универсального программного интерфейса
импорта данных из внешних баз данных в систему «Эйдос»

Через несколько секунд на заднем фоне[20] появляется окно (рисунок 19) на котором нажимаем «Сохранить» или «Не сохранять», после чего появляется экранный калькулятор (рисунок 20):

Рисунок 19. Экранная форма, выдаваемая MS Excel, т.к. в файле исходных данных есть расчетные ячейки

Рисунок 20. Экранного калькулятора универсального программного
интерфейса импорта данных из внешних баз данных в систему «Эйдос»

На этом калькуляторе а данном случае задано по 10 интервальных числовых значений в числовых классификационных и описательных шкалах. Можно задать другие их количество, затем пересчитать шкалы и градации и выйти на создание модели.

За 41 секунду происходит формирование классификационных и описательных шкал и градаций и обучающей выборки по 2559 примерам вузов, описанных в исходных данных (рисунок 21):

Рисунок 21. Экранная форма отображения стадии
и прогноза времени исполнения

В результате автоматически формируются классификационные е и описательные шкалы и градации и обучающая выборка, приведенные в таблицах 20, 21, 22:

Таблица 20 – Классификационные шкалы и градации (фрагмент)

Код	Наименование
1	GUARDIAN SCORE/100-1/10-{25.9000000, 33.3100000}
2	GUARDIAN SCORE/100-2/10-{33.3100000, 40.7200000}
3	GUARDIAN SCORE/100-3/10-{40.7200000, 48.1300000}
4	GUARDIAN SCORE/100-4/10-{48.1300000, 55.5400000}
5	GUARDIAN SCORE/100-5/10-{55.5400000, 62.9500000}
6	GUARDIAN SCORE/100-6/10-{62.9500000, 70.3600000}
7	GUARDIAN SCORE/100-7/10-{70.3600000, 77.7700000}
8	GUARDIAN SCORE/100-8/10-{77.7700000, 85.1800000}
9	GUARDIAN SCORE/100-9/10-{85.1800000, 92.5900000}
10	GUARDIAN SCORE/100-10/10-{92.5900000, 100.0000000}
11	RANK-01.Agriculture, forestry and food
12	RANK-01.American studies
13	RANK-01.Anatomy and physiology
14	RANK-01.Anthropology
15	RANK-01.Archaeology and Forensics
16	RANK-01.Architecture
17	RANK-01.Art and design
18	RANK-01.Biosciences
19	RANK-01.Building and town and country planning
20	RANK-01.Business and management studies
21	RANK-01.Chemistry
22	RANK-01.Classics
23	RANK-01.Computer sciences and IT
24	RANK-01.Dentistry
25	RANK-01.Drama and dance
26	RANK-01.Earth and marine sciences
27	RANK-01.Economics
28	RANK-01.Education
29	RANK-01.Engineering: chemical
30	RANK-01.Engineering: civil
31	RANK-01.Engineering: electronic and electrical
32	RANK-01.Engineering: general
33	RANK-01.Engineering: materials and mineral
34	RANK-01.Engineering: mechanical
35	RANK-01.English
36	RANK-01.Geography and environmental studies
37	RANK-01.History and history of art
38	RANK-01.Law
39	RANK-01.Mathematics
40	RANK-01.Media studies, communications and librarianship
41	RANK-01.Medicine
42	RANK-01.Modern languages and linguistics
43	RANK-01.Music
44	RANK-01.Nursing and paramedical studies
45	RANK-01.Pharmacy and pharmacology
46	RANK-01.Philosophy
47	RANK-01.Physics
48	RANK-01.Politics
49	RANK-01.Psychology
50	RANK-01.Religious studies and theology
51	RANK-01.Social policy and administration
52	RANK-01.Social work
53	RANK-01.Sociology
54	RANK-01.Sports science
55	RANK-01.Tourism, transport and travel
56	RANK-01.Veterinary science
57	RANK-02.Agriculture, forestry and food
58	RANK-02.American studies
59	RANK-02.Anatomy and physiology
60	RANK-02.Anthropology
61	RANK-02.Archaeology and Forensics
62	RANK-02.Architecture
63	RANK-02.Art and design
64	RANK-02.Biosciences
65	RANK-02.Building and town and country planning
66	RANK-02.Business and management studies
67	RANK-02.Chemistry
68	RANK-02.Classics
69	RANK-02.Computer sciences and IT
70	RANK-02.Dentistry
71	RANK-02.Drama and dance
72	RANK-02.Earth and marine sciences
73	RANK-02.Economics
74	RANK-02.Education
75	RANK-02.Engineering: chemical
76	RANK-02.Engineering: civil
77	RANK-02.Engineering: electronic and electrical
78	RANK-02.Engineering: general
79	RANK-02.Engineering: materials and mineral
80	RANK-02.Engineering: mechanical
81	RANK-02.English
82	RANK-02.Geography and environmental studies
83	RANK-02.History and history of art
84	RANK-02.Law
85	RANK-02.Mathematics
86	RANK-02.Media studies, communications and librarianship
87	RANK-02.Medicine
88	RANK-02.Modern languages and linguistics
89	RANK-02.Music
90	RANK-02.Nursing and paramedical studies
91	RANK-02.Pharmacy and pharmacology

Таблица 21 – Описательные шкалы и градации (фрагмент)

Код	Наименование
80	% SATISFIED WITH ASSESSMENT-10/10-{88.8275502, 96.6000000}
79	% SATISFIED WITH ASSESSMENT-9/10-{81.0551004, 88.8275502}
78	% SATISFIED WITH ASSESSMENT-8/10-{73.2826506, 81.0551004}
77	% SATISFIED WITH ASSESSMENT-7/10-{65.5102008, 73.2826506}
76	% SATISFIED WITH ASSESSMENT-6/10-{57.7377510, 65.5102008}
75	% SATISFIED WITH ASSESSMENT-5/10-{49.9653012, 57.7377510}
74	% SATISFIED WITH ASSESSMENT-4/10-{42.1928514, 49.9653012}
73	% SATISFIED WITH ASSESSMENT-3/10-{34.4204016, 42.1928514}
72	% SATISFIED WITH ASSESSMENT-2/10-{26.6479518, 34.4204016}
71	% SATISFIED WITH ASSESSMENT-1/10-{18.8755020, 26.6479518}
70	AVERAGE ENTRY TARIFF-10/10-{551.7000000, 598.0000000}
69	AVERAGE ENTRY TARIFF-9/10-{505.4000000, 551.7000000}
68	AVERAGE ENTRY TARIFF-8/10-{459.1000000, 505.4000000}
67	AVERAGE ENTRY TARIFF-7/10-{412.8000000, 459.1000000}
66	AVERAGE ENTRY TARIFF-6/10-{366.5000000, 412.8000000}
65	AVERAGE ENTRY TARIFF-5/10-{320.2000000, 366.5000000}
64	AVERAGE ENTRY TARIFF-4/10-{273.9000000, 320.2000000}
63	AVERAGE ENTRY TARIFF-3/10-{227.6000000, 273.9000000}
62	AVERAGE ENTRY TARIFF-2/10-{181.3000000, 227.6000000}
61	AVERAGE ENTRY TARIFF-1/10-{135.0000000, 181.3000000}
60	VALUE ADDED SCORE/10-10/10-{9.1000000, 10.0000000}
59	VALUE ADDED SCORE/10-9/10-{8.2000000, 9.1000000}
58	VALUE ADDED SCORE/10-8/10-{7.3000000, 8.2000000}
57	VALUE ADDED SCORE/10-7/10-{6.4000000, 7.3000000}
56	VALUE ADDED SCORE/10-6/10-{5.5000000, 6.4000000}
55	VALUE ADDED SCORE/10-5/10-{4.6000000, 5.5000000}
54	VALUE ADDED SCORE/10-4/10-{3.7000000, 4.6000000}
53	VALUE ADDED SCORE/10-3/10-{2.8000000, 3.7000000}
52	VALUE ADDED SCORE/10-2/10-{1.9000000, 2.8000000}
51	VALUE ADDED SCORE/10-1/10-{1.0000000, 1.9000000}
50	CAREER PROSPECTS-10/10-{91.6000000, 100.0000000}
49	CAREER PROSPECTS-9/10-{83.2000000, 91.6000000}
48	CAREER PROSPECTS-8/10-{74.8000000, 83.2000000}
47	CAREER PROSPECTS-7/10-{66.4000000, 74.8000000}
46	CAREER PROSPECTS-6/10-{58.0000000, 66.4000000}
45	CAREER PROSPECTS-5/10-{49.6000000, 58.0000000}
44	CAREER PROSPECTS-4/10-{41.2000000, 49.6000000}
43	CAREER PROSPECTS-3/10-{32.8000000, 41.2000000}
42	CAREER PROSPECTS-2/10-{24.4000000, 32.8000000}
41	CAREER PROSPECTS-1/10-{16.0000000, 24.4000000}
40	STUDENT:STAFF RATIO-10/10-{46.0900000, 50.7000000}
39	STUDENT:STAFF RATIO-9/10-{41.4800000, 46.0900000}
38	STUDENT:STAFF RATIO-8/10-{36.8700000, 41.4800000}
37	STUDENT:STAFF RATIO-7/10-{32.2600000, 36.8700000}
36	STUDENT:STAFF RATIO-6/10-{27.6500000, 32.2600000}
35	STUDENT:STAFF RATIO-5/10-{23.0400000, 27.6500000}
34	STUDENT:STAFF RATIO-4/10-{18.4300000, 23.0400000}
33	STUDENT:STAFF RATIO-3/10-{13.8200000, 18.4300000}
32	STUDENT:STAFF RATIO-2/10-{9.2100000, 13.8200000}
31	STUDENT:STAFF RATIO-1/10-{4.6000000, 9.2100000}
30	EXPENDITURE PER STUDENT (FTE)-10/10-{9.1000000, 10.0000000}
29	EXPENDITURE PER STUDENT (FTE)-9/10-{8.2000000, 9.1000000}
28	EXPENDITURE PER STUDENT (FTE)-8/10-{7.3000000, 8.2000000}
27	EXPENDITURE PER STUDENT (FTE)-7/10-{6.4000000, 7.3000000}
26	EXPENDITURE PER STUDENT (FTE)-6/10-{5.5000000, 6.4000000}
25	EXPENDITURE PER STUDENT (FTE)-5/10-{4.6000000, 5.5000000}

Таблица 22 – Обучающая выборка (фрагмент)

The object of training sample	Guardian score/100	Rank	Field of study	Name of Institution	% Satisfied with Teaching	% Satisfied overall with course	Expenditure per student (FTE)	Student:staff ratio	Career prospects	Value added score/10	Average Entry Tariff	% Satisfied with Assessment
Medicine-Oxford, 2012	10	41	498	606	10	20		31	50	57	70	79
Medicine-Cambridge, 2012	10	41	498	535	9	19	30	31	50	52	70	76
Medicine-Edinburgh, 2012	9	87	498	553	9	19	30	31	50	54	69	75
Medicine-Dundee, 2012	9	87	498	549	10	20	30	31	50	56	68	76
Medicine-UCL, 2012	8	87	498	652	9	19	26	31	50	59	69	76
Medicine-Imperial College, 2012	6	132	498	575	9	19	27	31	50	53	69	74
Medicine-Leicester, 2012	6	132	498	585	9	19	25	31	50	55	68	75
Medicine-Newcastle, 2012	6	132	498	598	10	20	24	31	50	55	68	75
Medicine-Peninsula Medical School, 2012	6	132	498	608	9	19	27	31	50	54	68	76
Medicine-Nottingham, 2012	6	178	498	604	9	19	23	31	50	54	69	74
Medicine-King's College London, 2012	5	178	498	578	8	18	25	31	50	56	68	74
Medicine-Warwick, 2012	5	178	498	660	8	18	28	31	50	59		74
Medicine-Leeds, 2012	4	224	498	581	8	18	26	31	50	56	68	75
Medicine-Hull York Medical School, 2012	4	224	498	574	8	18	24	32	50	58	68	75
Medicine-Manchester, 2012	4	224	498	593	6	15	28	31	50	59	68	73
Medicine-Sheffield, 2012	4	224	498	628	9	19	23	31	50	54	68	75
Medicine-Aberdeen, 2012	4	269	498	513	9	19	24	31	50	56	67	77
Medicine-Brighton Sussex Medical School, 2012	4	269	498	530	8	18	24	32	50	57		75
Medicine-Queen Mary, 2012	4	269	498	613	7	17	24	31	50	58	68	74
Medicine-St George's Medical School, 2012	4	315	498	634	8	19	26	32	50	56	68	75
Medicine-Southampton, 2012	4	315	498	631	8	18	24	31	50	57	68	74
Medicine-St Andrews, 2012	4	361	498	633	10	20	22	32	50	51	68	76
Medicine-Glasgow, 2012	3	361	498	560	6	15	25	31	50	55	69	72
Medicine-UEA, 2012	3	361	498	653	8	18	23	31	50	59	67	75
Medicine-Birmingham, 2012	3	361	498	523	9	18	23	32	50	53	69	72
Medicine-Queen's, Belfast, 2012	3	406	498	611	8	18	24	32	50	53	68	75
Medicine-Liverpool, 2012	2	406	498	587	6	15	24	31	50	54	68	72
Medicine-Bristol, 2012	2	406	498	531	8	15	26	32	50	54	68	71
Medicine-Keele, 2012	1	452	498	576	7	14	23	32	50	57	67	72
Medicine-Cardiff, 2012	1	452	498	537	6	14	23	32	50	58	68	71
Dentistry-King's College London, 2012	10	24	481	578	9	18	28	31	50	57	68	77
Dentistry-Glasgow, 2012	8	70	481	560	10	20	23	32	50	56	68	78
Dentistry-Cardiff, 2012	8	115	481	537	9	20	28	31	50	51	68	75
Dentistry-Queen's, Belfast, 2012	7	115	481	611	10	20	29	31	50	55	67	76
Dentistry-Birmingham, 2012	7	161	481	523	10	18	25	31	50	56	68	76
Dentistry-Bristol, 2012	6	207	481	531	9	20	26	32	50	55	68	78
Dentistry-Dundee, 2012	5	252	481	549	8	19	24	31	50	57	68	75
Dentistry-Sheffield, 2012	4	252	481	628	9	19	23	31	50	56	68	76
Dentistry-Liverpool, 2012	3	298	481	587	8	17	27	31	50	57	68	76
Dentistry-Manchester, 2012	3	344	481	593	9	18	25	31	50	57	68	75
Dentistry-Newcastle, 2012	2	389	481	598	8	19	21	32	50	56	68	76
Dentistry-Queen Mary, 2012	1	389	481	613	7	17	24	31	50	57	68	76
Dentistry-Leeds, 2012	1	435	481	581	9	19	29	32	50	56	68	73
Veterinary science-Cambridge, 2012	10	56	512	535	9	19	28	31	49	53	69	77
Veterinary science-Edinburgh, 2012	8	147	512	553	9	18	29	31	50	59	68	74
Veterinary science-Liverpool, 2012	6	193	512	587	9	20	23	31	50	54	68	74
Veterinary science-Glasgow, 2012	5	284	512	560	9	20	23	31	50	58	68	75
Veterinary science-Nottingham, 2012	5	330	512	604			24	31			68
Veterinary science-Royal Veterinary College, 2012	5	421	512	625	8	17	28	31	49	56	68	73
Veterinary science-Bristol, 2012	1	467	512	531	9	19	23	32	49	53	67	74
Anatomy and physiology-Oxford, 2012	10	13	470	606	10	17	30	32		56	69	75
Anatomy and physiology-Glamorgan, 2012	10	13	470	559	9	19	24	32	50	60	65	78
Anatomy and physiology-Cardiff, 2012	10	59	470	537	9	20	30	32	50	55	67	75
Anatomy and physiology-Plymouth, 2012	9	59	470	609	10	19	28	31	48	58	65	79
Anatomy and physiology-Brunel, 2012	8	59	470	532	10	20	23	32	48	59	65	76
Anatomy and physiology-Liverpool, 2012	8	59	470	587	9	19	29	32	48	54	66	77
Anatomy and physiology-Sussex, 2012	8	59	470	643	9	20	26	32		59	66	76
Anatomy and physiology-Newcastle, 2012	7	104	470	598	9	20	24	32	48	55	67	76
Anatomy and physiology-Aston, 2012	7	104	470	518	8	18	26	33	50	52	66	78
Anatomy and physiology-Bristol, 2012	7	150	470	531	9	19	27	32	47	54	67	76
Anatomy and physiology-Nottingham, 2012	6	150	470	604	10	19	27	33		54	67	77
Anatomy and physiology-Birmingham, 2012	6	150	470	523	9	18		32	47	57	67	75
Anatomy and physiology-Sheffield Hallam, 2012	5	150	470	629	10	19	23	33	48	55	66	77
Anatomy and physiology-Manchester, 2012	5	196	470	593	9	19	25	32	48	54	67	75
Anatomy and physiology-Glasgow Caledonian, 2012	5	196	470	561	9	19	24	33	48	57	66	76
Anatomy and physiology-Edinburgh, 2012	5	196	470	553	9	19	29	33	45	55	67	74
Anatomy and physiology-Robert Gordon, 2012	5	241	470	616	9	20	23	34	48	57	67	76
Anatomy and physiology-De Montfort, 2012	5	241	470	547	8	19	25	33	50	55	64	76
Anatomy and physiology-Hertfordshire, 2012	5	241	470	570	8	19	23	33	49	57	63	77
Anatomy and physiology-UEA, 2012	5	241	470	653	10	20			49	53	65	75
Anatomy and physiology-Queen's, Belfast, 2012	4	287	470	611	9	19	29	32	46	57	65	74
Anatomy and physiology-Aberdeen, 2012	4	287	470	513	8	20	24	33	47	56	64	78
Anatomy and physiology-Bradford, 2012	4	287	470	528	8	20	24	33	49	53	65	76
Anatomy and physiology-Birmingham City, 2012	2	287	470	524	9	15	23	34	48	58	65	75

Полностью обучающая выборка в работе не может быть приведена, т.к. файл исходных данных содержит 2559 строк.

Этим завершается 2-й этап АСК-анализа, который называется «Формализация предметной области» и создаются все необходимые и достаточные предпосылки для выполнения следующего этапа, т.е. синтеза и верификации (измерения достоверности) модели.

6.2.2.3.5. Синтез и верификация многокритериальной
системно-когнитивной модели
университетского рейтинга Гардиан,
учитывающей направления подготовки

Синтез и верификация многокритериальной системно-когнитивной модели университетского рейтинга Гардиан, учитывающей направления подготовки, представляет собой задачу, требующую довольно значительных вычислительных ресурсов. Решение этой задачи на компьютере с процессором i7 и 16 Гб оперативной памяти с размещение задачи на SSD, потребовало около 13 часов счета (рисунок 22).

Рисунок 22. Экранная форма с отображением стадии синтеза и верификации
моделей и прогнозом времени исполнения

Такая большая длительность расчетов обусловлена тем, что для измерения достоверности 10 моделей была использована вся обучающая выборка, включающая 2559 примеров.

Математические аспекты формирования системно-когнитивных моделей описаны в ряде работ автора [3-273] и здесь их подробно освещать нет необходимости. Отметим лишь, что для преобразования матрицы абсолютных частот в другие модели используются формулы преобразования, приведенные в таблице 23:

Таблица 23 – Частные критерии знаний, используемые в настоящее время в АСК-анализе и системе «Эйдос-Х++»

Наименование модели знаний и частный критерий	Выражение для частного критерия
	через относительные частоты	через абсолютные частоты
INF1, частный критерий: количество знаний по А.Харкевичу, 1-й вариант расчета относительных частот: Nj – суммарное количество признаков по j-му классу. Относительная частота того, что если у объекта j-го класса обнаружен признак, то это i-й признак
INF2, частный критерий: количество знаний по А.Харкевичу, 2-й вариант расчета относительных частот: Nj – суммарное количество объектов по j-му классу. Относительная частота того, что если предъявлен объект j-го класса, то у него будет обнаружен i-й признак.
INF3, частный критерий: Хи-квадрат: разности между фактическими и теоретически ожидаемыми абсолютными частотами	---
INF4, частный критерий: ROI - Return On Investment, 1-й вариант расчета относительных частот: Nj – суммарное количество признаков по j-му классу
INF5, частный критерий: ROI - Return On Investment, 2-й вариант расчета относительных частот: Nj – суммарное количество объектов по j-му классу
INF6, частный критерий: разность условной и безусловной относительных частот, 1-й вариант расчета относительных частот: Nj – суммарное количество признаков по j-му классу
INF7, частный критерий: разность условной и безусловной относительных частот, 2-й вариант расчета относительных частот: Nj – суммарное количество объектов по j-му классу

Обозначения:

i – значение прошлого параметра;

j - значение будущего параметра;

N_ij – количество встреч j-го значения будущего параметра при i-м значении прошлого параметра;

M – суммарное число значений всех прошлых параметров;

W - суммарное число значений всех будущих параметров.

N_i – количество встреч i-м значения прошлого параметра по всей выборке;

N_j – количество встреч j-го значения будущего параметра по всей выборке;

N – количество встреч j-го значения будущего параметра при i-м значении прошлого параметра по всей выборке.

I_ij – частный критерий знаний: количество знаний в факте наблюдения i-го значения прошлого параметра о том, что объект перейдет в состояние, соответствующее j-му значению будущего параметра;

Ψ – нормировочный коэффициент (Е.В.Луценко, 1979, впервые опубликовано в 1993 году [273]), преобразующий количество информации в формуле А.Харкевича в биты и обеспечивающий для нее соблюдение принципа соответствия с формулой Р.Хартли;

P_i – безусловная относительная частота встречи i-го значения прошлого параметра в обучающей выборке;

P_ij – условная относительная частота встречи i-го значения прошлого параметра при j-м значении будущего параметра.

В результате сформированы 10 моделей: 3 статистических и 7 системно-когнитивных моделей (моделей знаний). Фрагменты трех из них приведены ниже (таблицы 11, 12, 13):

Таблица 24 – Матрица абсолютных частот, модель ABS (фрагмент)

Код	Наименование показателя	1/10-{25.90, 33.31}	2/10-{33.31, 40.72}	3/10-{40.72, 48.13}	4/10-{48.13, 55.54}	5/10-{55.54, 62.95}	6/10-{62.95, 70.36}	7/10-{70.36, 77.77}	8/10-{77.77, 85.18}	9/10-{85.18, 92.59}	10/10-{92.59, 100.00}
1	% SATISFIED WITH TEACHING-1/10-{50.0000000, 55.0000000}	2	2	1	0	2	0	1	0	0	0
2	% SATISFIED WITH TEACHING-2/10-{55.0000000, 60.0000000}	4	8	0	1	1	0	1	0	0	0
3	% SATISFIED WITH TEACHING-3/10-{60.0000000, 65.0000000}	3	8	7	5	2	4	2	2	1	0
4	% SATISFIED WITH TEACHING-4/10-{65.0000000, 70.0000000}	7	23	17	18	9	4	6	3	1	0
5	% SATISFIED WITH TEACHING-5/10-{70.0000000, 75.0000000}	6	22	31	43	30	29	9	5	0	0
6	% SATISFIED WITH TEACHING-6/10-{75.0000000, 80.0000000}	17	29	63	72	79	43	22	12	5	3
7	% SATISFIED WITH TEACHING-7/10-{80.0000000, 85.0000000}	15	22	65	93	108	89	53	43	20	12
8	% SATISFIED WITH TEACHING-8/10-{85.0000000, 90.0000000}	6	21	55	96	121	121	101	41	30	27
9	% SATISFIED WITH TEACHING-9/10-{90.0000000, 95.0000000}	6	9	25	54	87	104	97	71	38	35
10	% SATISFIED WITH TEACHING-10/10-{95.0000000, 100.0000000}	1	2	3	12	23	18	39	23	21	32
11	% SATISFIED OVERALL WITH COURSE-1/10-{37.5156766, 43.7641089}	3	3	2	1	0	0	0	1	1	0
12	% SATISFIED OVERALL WITH COURSE-2/10-{43.7641089, 50.0125413}	3	5	1	1	2	1	0	0	1	0
13	% SATISFIED OVERALL WITH COURSE-3/10-{50.0125413, 56.2609736}	4	7	5	4	6	2	2	1	0	0
14	% SATISFIED OVERALL WITH COURSE-4/10-{56.2609736, 62.5094060}	6	16	17	11	13	6	5	3	0	0
15	% SATISFIED OVERALL WITH COURSE-5/10-{62.5094060, 68.7578383}	9	20	20	31	21	19	5	6	0	0
16	% SATISFIED OVERALL WITH COURSE-6/10-{68.7578383, 75.0062706}	9	23	41	45	45	33	19	11	4	0
17	% SATISFIED OVERALL WITH COURSE-7/10-{75.0062706, 81.2547030}	16	28	65	81	96	73	45	16	9	2
18	% SATISFIED OVERALL WITH COURSE-8/10-{81.2547030, 87.5031353}	8	26	66	109	118	110	80	42	25	12
19	% SATISFIED OVERALL WITH COURSE-9/10-{87.5031353, 93.7515677}	5	15	40	84	118	114	111	73	43	44
20	% SATISFIED OVERALL WITH COURSE-10/10-{93.7515677, 100.0000000}	4	3	10	27	43	54	64	47	33	51
21	EXPENDITURE PER STUDENT (FTE)-1/10-{1.0000000, 1.9000000}	2	4	3	0	1	0	0	0	0	0
22	EXPENDITURE PER STUDENT (FTE)-2/10-{1.9000000, 2.8000000}	9	28	44	33	23	13	9	0	0	0
23	EXPENDITURE PER STUDENT (FTE)-3/10-{2.8000000, 3.7000000}	31	48	84	114	102	64	20	13	5	2
24	EXPENDITURE PER STUDENT (FTE)-4/10-{3.7000000, 4.6000000}	17	35	63	111	121	86	51	21	2	2
25	EXPENDITURE PER STUDENT (FTE)-5/10-{4.6000000, 5.5000000}	6	15	38	47	67	63	58	19	7	4
26	EXPENDITURE PER STUDENT (FTE)-6/10-{5.5000000, 6.4000000}	0	9	18	35	54	59	42	28	14	6
27	EXPENDITURE PER STUDENT (FTE)-7/10-{6.4000000, 7.3000000}	2	6	8	28	39	52	47	29	14	8
28	EXPENDITURE PER STUDENT (FTE)-8/10-{7.3000000, 8.2000000}	0	5	13	14	35	40	48	32	19	15
29	EXPENDITURE PER STUDENT (FTE)-9/10-{8.2000000, 9.1000000}	1	0	0	12	22	25	33	35	23	11
30	EXPENDITURE PER STUDENT (FTE)-10/10-{9.1000000, 10.0000000}	0	0	1	3	4	9	24	23	31	56
31	STUDENT:STAFF RATIO-1/10-{4.6000000, 9.2100000}	1	2	4	11	16	13	17	17	18	20
32	STUDENT:STAFF RATIO-2/10-{9.2100000, 13.8200000}	7	7	9	29	44	62	73	69	46	50
33	STUDENT:STAFF RATIO-3/10-{13.8200000, 18.4300000}	7	24	53	101	160	150	131	69	43	37
34	STUDENT:STAFF RATIO-4/10-{18.4300000, 23.0400000}	15	36	90	144	167	122	93	33	12	6
35	STUDENT:STAFF RATIO-5/10-{23.0400000, 27.6500000}	22	34	74	79	59	47	16	11	2	2
36	STUDENT:STAFF RATIO-6/10-{27.6500000, 32.2600000}	8	24	20	23	19	8	1	1	1	0
37	STUDENT:STAFF RATIO-7/10-{32.2600000, 36.8700000}	4	12	10	6	2	4	1	0	0	0
38	STUDENT:STAFF RATIO-8/10-{36.8700000, 41.4800000}	2	5	9	3	1	0	0	0	0	0
39	STUDENT:STAFF RATIO-9/10-{41.4800000, 46.0900000}	2	3	2	0	0	1	0	0	0	0
40	STUDENT:STAFF RATIO-10/10-{46.0900000, 50.7000000}	0	1	0	0	0	0	0	0	0	0
41	CAREER PROSPECTS-1/10-{16.0000000, 24.4000000}	2	5	5	5	2	0	0	0	0	0
42	CAREER PROSPECTS-2/10-{24.4000000, 32.8000000}	5	14	18	21	21	4	0	0	0	1
43	CAREER PROSPECTS-3/10-{32.8000000, 41.2000000}	12	15	41	61	57	21	14	0	1	1
44	CAREER PROSPECTS-4/10-{41.2000000, 49.6000000}	6	32	36	65	58	36	31	7	3	0
45	CAREER PROSPECTS-5/10-{49.6000000, 58.0000000}	8	19	32	66	67	89	51	19	5	1
46	CAREER PROSPECTS-6/10-{58.0000000, 66.4000000}	3	7	24	40	65	51	55	21	14	8
47	CAREER PROSPECTS-7/10-{66.4000000, 74.8000000}	1	3	10	30	28	55	47	45	27	14
48	CAREER PROSPECTS-8/10-{74.8000000, 83.2000000}	0	3	11	10	26	30	42	36	21	29
49	CAREER PROSPECTS-9/10-{83.2000000, 91.6000000}	2	1	1	4	14	10	19	19	14	19
50	CAREER PROSPECTS-10/10-{91.6000000, 100.0000000}	6	3	9	20	14	16	16	10	7	9
51	VALUE ADDED SCORE/10-1/10-{1.0000000, 1.9000000}	15	21	20	24	12	3	2	2	1	0

Таблица 25 – Матрица условных и безусловных
процентных распределений , модель PRC2 (фрагмент)

Код	Наименование показателя	1/10-{25.90, 33.31}	2/10-{33.31, 40.72}	3/10-{40.72, 48.13}	4/10-{48.13, 55.54}	5/10-{55.54, 62.95}	6/10-{62.95, 70.36}	7/10-{70.36, 77.77}	8/10-{77.77, 85.18}	9/10-{85.18, 92.59}	10/10-{92.59, 100.00}
1	% SATISFIED WITH TEACHING-1/10-{50.0000000, 55.0000000}	3	1	0	0	0	0	0	0	0	0
2	% SATISFIED WITH TEACHING-2/10-{55.0000000, 60.0000000}	6	5	0	0	0	0	0	0	0	0
3	% SATISFIED WITH TEACHING-3/10-{60.0000000, 65.0000000}	4	5	3	1	0	1	1	1	1	0
4	% SATISFIED WITH TEACHING-4/10-{65.0000000, 70.0000000}	10	15	6	5	2	1	2	1	1	0
5	% SATISFIED WITH TEACHING-5/10-{70.0000000, 75.0000000}	9	15	11	11	6	7	3	2	0	0
6	% SATISFIED WITH TEACHING-6/10-{75.0000000, 80.0000000}	25	19	23	18	17	10	7	6	4	3
7	% SATISFIED WITH TEACHING-7/10-{80.0000000, 85.0000000}	22	15	24	23	23	21	16	21	16	10
8	% SATISFIED WITH TEACHING-8/10-{85.0000000, 90.0000000}	9	14	20	24	26	29	30	20	24	23
9	% SATISFIED WITH TEACHING-9/10-{90.0000000, 95.0000000}	9	6	9	14	18	25	29	35	31	30
10	% SATISFIED WITH TEACHING-10/10-{95.0000000, 100.0000000}	1	1	1	3	5	4	12	11	17	28
11	% SATISFIED OVERALL WITH COURSE-1/10-{37.5156766, 43.7641089}	4	2	1	0	0	0	0	0	1	0
12	% SATISFIED OVERALL WITH COURSE-2/10-{43.7641089, 50.0125413}	4	3	0	0	0	0	0	0	1	0
13	% SATISFIED OVERALL WITH COURSE-3/10-{50.0125413, 56.2609736}	6	5	2	1	1	0	1	0	0	0
14	% SATISFIED OVERALL WITH COURSE-4/10-{56.2609736, 62.5094060}	9	11	6	3	3	1	1	1	0	0
15	% SATISFIED OVERALL WITH COURSE-5/10-{62.5094060, 68.7578383}	13	13	7	8	4	5	1	3	0	0
16	% SATISFIED OVERALL WITH COURSE-6/10-{68.7578383, 75.0062706}	13	15	15	11	10	8	6	5	3	0
17	% SATISFIED OVERALL WITH COURSE-7/10-{75.0062706, 81.2547030}	23	19	24	20	20	18	13	8	7	2
18	% SATISFIED OVERALL WITH COURSE-8/10-{81.2547030, 87.5031353}	12	17	24	27	25	27	24	21	20	10
19	% SATISFIED OVERALL WITH COURSE-9/10-{87.5031353, 93.7515677}	7	10	15	21	25	27	33	36	35	38
20	% SATISFIED OVERALL WITH COURSE-10/10-{93.7515677, 100.0000000}	6	2	4	7	9	13	19	23	27	44
21	EXPENDITURE PER STUDENT (FTE)-1/10-{1.0000000, 1.9000000}	3	3	1	0	0	0	0	0	0	0
22	EXPENDITURE PER STUDENT (FTE)-2/10-{1.9000000, 2.8000000}	13	19	16	8	5	3	3	0	0	0
23	EXPENDITURE PER STUDENT (FTE)-3/10-{2.8000000, 3.7000000}	45	32	31	29	22	15	6	6	4	2
24	EXPENDITURE PER STUDENT (FTE)-4/10-{3.7000000, 4.6000000}	25	23	23	28	26	21	15	10	2	2
25	EXPENDITURE PER STUDENT (FTE)-5/10-{4.6000000, 5.5000000}	9	10	14	12	14	15	17	9	6	3
26	EXPENDITURE PER STUDENT (FTE)-6/10-{5.5000000, 6.4000000}	0	6	7	9	11	14	13	14	11	5
27	EXPENDITURE PER STUDENT (FTE)-7/10-{6.4000000, 7.3000000}	3	4	3	7	8	13	14	14	11	7
28	EXPENDITURE PER STUDENT (FTE)-8/10-{7.3000000, 8.2000000}	0	3	5	4	7	10	14	16	15	13
29	EXPENDITURE PER STUDENT (FTE)-9/10-{8.2000000, 9.1000000}	1	0	0	3	5	6	10	17	19	9
30	EXPENDITURE PER STUDENT (FTE)-10/10-{9.1000000, 10.0000000}	0	0	0	1	1	2	7	11	25	48
31	STUDENT:STAFF RATIO-1/10-{4.6000000, 9.2100000}	1	1	1	3	3	3	5	8	15	17
32	STUDENT:STAFF RATIO-2/10-{9.2100000, 13.8200000}	10	5	3	7	9	15	22	34	37	43
33	STUDENT:STAFF RATIO-3/10-{13.8200000, 18.4300000}	10	16	19	25	34	36	39	34	35	32
34	STUDENT:STAFF RATIO-4/10-{18.4300000, 23.0400000}	22	24	33	36	35	29	28	16	10	5
35	STUDENT:STAFF RATIO-5/10-{23.0400000, 27.6500000}	32	23	27	20	12	11	5	5	2	2
36	STUDENT:STAFF RATIO-6/10-{27.6500000, 32.2600000}	12	16	7	6	4	2	0	0	1	0
37	STUDENT:STAFF RATIO-7/10-{32.2600000, 36.8700000}	6	8	4	2	0	1	0	0	0	0
38	STUDENT:STAFF RATIO-8/10-{36.8700000, 41.4800000}	3	3	3	1	0	0	0	0	0	0
39	STUDENT:STAFF RATIO-9/10-{41.4800000, 46.0900000}	3	2	1	0	0	0	0	0	0	0
40	STUDENT:STAFF RATIO-10/10-{46.0900000, 50.7000000}	0	1	0	0	0	0	0	0	0	0
41	CAREER PROSPECTS-1/10-{16.0000000, 24.4000000}	3	3	2	1	0	0	0	0	0	0
42	CAREER PROSPECTS-2/10-{24.4000000, 32.8000000}	7	9	7	5	4	1	0	0	0	1
43	CAREER PROSPECTS-3/10-{32.8000000, 41.2000000}	17	10	15	15	12	5	4	0	1	1
44	CAREER PROSPECTS-4/10-{41.2000000, 49.6000000}	9	21	13	16	12	9	9	3	2	0
45	CAREER PROSPECTS-5/10-{49.6000000, 58.0000000}	12	13	12	17	14	21	15	9	4	1
46	CAREER PROSPECTS-6/10-{58.0000000, 66.4000000}	4	5	9	10	14	12	16	10	11	7
47	CAREER PROSPECTS-7/10-{66.4000000, 74.8000000}	1	2	4	8	6	13	14	22	22	12
48	CAREER PROSPECTS-8/10-{74.8000000, 83.2000000}	0	2	4	3	5	7	13	18	17	25
49	CAREER PROSPECTS-9/10-{83.2000000, 91.6000000}	3	1	0	1	3	2	6	9	11	16
50	CAREER PROSPECTS-10/10-{91.6000000, 100.0000000}	9	2	3	5	3	4	5	5	6	8
51	VALUE ADDED SCORE/10-1/10-{1.0000000, 1.9000000}	22	14	7	6	3	1	1	1	1	0
52	VALUE ADDED SCORE/10-2/10-{1.9000000, 2.8000000}	14	13	10	10	7	6	4	1	0	3
53	VALUE ADDED SCORE/10-3/10-{2.8000000, 3.7000000}	13	15	17	15	11	8	7	3	3	3
54	VALUE ADDED SCORE/10-4/10-{3.7000000, 4.6000000}	6	17	19	16	12	13	10	11	11	3
55	VALUE ADDED SCORE/10-5/10-{4.6000000, 5.5000000}	6	7	8	10	12	13	14	8	7	9
56	VALUE ADDED SCORE/10-6/10-{5.5000000, 6.4000000}	10	11	8	8	14	13	11	14	11	9
57	VALUE ADDED SCORE/10-7/10-{6.4000000, 7.3000000}	7	6	8	10	15	16	19	24	25	28
58	VALUE ADDED SCORE/10-8/10-{7.3000000, 8.2000000}	6	6	8	9	10	12	18	18	24	25
59	VALUE ADDED SCORE/10-9/10-{8.2000000, 9.1000000}	1	2	3	7	7	7	9	12	10	11
60	VALUE ADDED SCORE/10-10/10-{9.1000000, 10.0000000}	0	1	1	1	3	4	4	3	4	6
61	AVERAGE ENTRY TARIFF-1/10-{135.0000000, 181.3000000}	4	5	4	2	0	1	1	0	0	0
62	AVERAGE ENTRY TARIFF-2/10-{181.3000000, 227.6000000}	30	29	21	10	9	5	4	1	2	1
63	AVERAGE ENTRY TARIFF-3/10-{227.6000000, 273.9000000}	38	37	35	35	26	18	13	5	7	1
64	AVERAGE ENTRY TARIFF-4/10-{273.9000000, 320.2000000}	10	19	25	27	29	25	12	10	10	2
65	AVERAGE ENTRY TARIFF-5/10-{320.2000000, 366.5000000}	6	3	7	12	15	16	19	15	14	9
66	AVERAGE ENTRY TARIFF-6/10-{366.5000000, 412.8000000}	3	2	4	6	10	17	23	19	20	13
67	AVERAGE ENTRY TARIFF-7/10-{412.8000000, 459.1000000}	4	2	1	3	6	12	21	24	22	19
68	AVERAGE ENTRY TARIFF-8/10-{459.1000000, 505.4000000}	4	2	1	3	2	3	6	16	15	14
69	AVERAGE ENTRY TARIFF-9/10-{505.4000000, 551.7000000}	0	0	1	0	1	1	1	5	7	25

Таблица 26 – Матрица информативностей в модели модель INF1,
мера информации по А.Харкевичу в миллибитах (фрагмент)

Код	Наименование показателя	1/10-{25.90, 33.31}	2/10-{33.31, 40.72}	3/10-{40.72, 48.13}	4/10-{48.13, 55.54}	5/10-{55.54, 62.95}	6/10-{62.95, 70.36}	7/10-{70.36, 77.77}	8/10-{77.77, 85.18}	9/10-{85.18, 92.59}	10/10-{92.59, 100.00}
1	% SATISFIED WITH TEACHING-1/10-{50.0000000, 55.0000000}	1876	1219	140		252		-55
2	% SATISFIED WITH TEACHING-2/10-{55.0000000, 60.0000000}	1930	1850		-718	-850		-579
3	% SATISFIED WITH TEACHING-3/10-{60.0000000, 65.0000000}	1009	1168	556	-59	-954	-272	-683	-254	-394
4	% SATISFIED WITH TEACHING-4/10-{65.0000000, 70.0000000}	922	1256	503	216	-493	-1064	-560	-709	-1186
5	% SATISFIED WITH TEACHING-5/10-{70.0000000, 75.0000000}	221	646	431	369	-63	14	-795	-856
6	% SATISFIED WITH TEACHING-6/10-{75.0000000, 80.0000000}	523	310	456	233	178	-224	-616	-692	-984	-1349
7	% SATISFIED WITH TEACHING-7/10-{80.0000000, 85.0000000}	77	-262	140	104	97	41	-225	29	-170	-536
8	% SATISFIED WITH TEACHING-8/10-{85.0000000, 90.0000000}	-832	-446	-144	-15	47	151	167	-156	22	-5
9	% SATISFIED WITH TEACHING-9/10-{90.0000000, 95.0000000}	-696	-1016	-665	-359	-93	161	269	438	355	347
10	% SATISFIED WITH TEACHING-10/10-{95.0000000, 100.0000000}	-1267	-1348	-1510	-690	-279	-379	432	420	782	1194
11	% SATISFIED OVERALL WITH COURSE-1/10-{37.5156766, 43.7641089}	1949	1291	453	-460				108	546
12	% SATISFIED OVERALL WITH COURSE-2/10-{43.7641089, 50.0125413}	1748	1516	-326	-661	-215	-688			345
13	% SATISFIED OVERALL WITH COURSE-3/10-{50.0125413, 56.2609736}	1325	1134	353	-168	38	-772	-606	-755
14	% SATISFIED OVERALL WITH COURSE-4/10-{56.2609736, 62.5094060}	905	1065	614	-83	-75	-615	-601	-598
15	% SATISFIED OVERALL WITH COURSE-5/10-{62.5094060, 68.7578383}	800	808	307	337	-119	-97	-1043	-463
16	% SATISFIED OVERALL WITH COURSE-6/10-{68.7578383, 75.0062706}	331	455	436	179	47	-106	-400	-427	-832
17	% SATISFIED OVERALL WITH COURSE-7/10-{75.0062706, 81.2547030}	287	96	297	145	155	32	-205	-638	-679	-1872
18	% SATISFIED OVERALL WITH COURSE-8/10-{81.2547030, 87.5031353}	-561	-236	39	123	57	103	4	-104	-98	-649
19	% SATISFIED OVERALL WITH COURSE-9/10-{87.5031353, 93.7515677}	-1021	-763	-446	-163	-11	65	209	288	285	365
20	% SATISFIED OVERALL WITH COURSE-10/10-{93.7515677, 100.0000000}	-661	-1558	-1055	-563	-306	-12	296	467	611	1034
21	EXPENDITURE PER STUDENT (FTE)-1/10-{1.0000000, 1.9000000}	1690	1610	870		-512
22	EXPENDITURE PER STUDENT (FTE)-2/10-{1.9000000, 2.8000000}	639	927	803	228	-204	-575	-715
23	EXPENDITURE PER STUDENT (FTE)-3/10-{2.8000000, 3.7000000}	743	450	416	335	111	-173	-976	-906	-1264	-1967
24	EXPENDITURE PER STUDENT (FTE)-4/10-{3.7000000, 4.6000000}	199	143	132	269	210	30	-239	-550	-2071	-2011
25	EXPENDITURE PER STUDENT (FTE)-5/10-{4.6000000, 5.5000000}	-292	-187	87	-70	94	147	244	-257	-651	-1057
26	EXPENDITURE PER STUDENT (FTE)-6/10-{5.5000000, 6.4000000}		-445	-368	-149	81	260	143	234	94	-552
27	EXPENDITURE PER STUDENT (FTE)-7/10-{6.4000000, 7.3000000}	-933	-675	-936	-227	-83	262	344	370	201	-205
28	EXPENDITURE PER STUDENT (FTE)-8/10-{7.3000000, 8.2000000}		-783	-488	-761	-129	87	405	496	500	363
29	EXPENDITURE PER STUDENT (FTE)-9/10-{8.2000000, 9.1000000}	-1208			-631	-257	-46	352	830	918	364
30	EXPENDITURE PER STUDENT (FTE)-10/10-{9.1000000, 10.0000000}			-2308	-1727	-1619	-838	145	538	1225	1778
31	STUDENT:STAFF RATIO-1/10-{4.6000000, 9.2100000}	-951	-1031	-954	-446	-265	-334	56	485	971	1119
32	STUDENT:STAFF RATIO-2/10-{9.2100000, 13.8200000}	-331	-989	-1280	-640	-424	-34	269	650	751	881
33	STUDENT:STAFF RATIO-3/10-{13.8200000, 18.4300000}	-891	-522	-362	-160	92	143	197	91	135	70
34	STUDENT:STAFF RATIO-4/10-{18.4300000, 23.0400000}	-192	-120	143	199	191	35	-25	-460	-865	-1382
35	STUDENT:STAFF RATIO-5/10-{23.0400000, 27.6500000}	736	441	588	307	-67	-152	-884	-767	-1750	-1689
36	STUDENT:STAFF RATIO-6/10-{27.6500000, 32.2600000}	886	1144	491	273	-18	-634	-2200	-1772	-1334
37	STUDENT:STAFF RATIO-7/10-{32.2600000, 36.8700000}	1134	1392	739	-21	-1068	-386	-1375
38	STUDENT:STAFF RATIO-8/10-{36.8700000, 41.4800000}	1113	1219	1208	-43	-1089
39	STUDENT:STAFF RATIO-9/10-{41.4800000, 46.0900000}	1876	1556	718			-221
40	STUDENT:STAFF RATIO-10/10-{46.0900000, 50.7000000}		2374
41	CAREER PROSPECTS-1/10-{16.0000000, 24.4000000}	1156	1261	761	426	-469
42	CAREER PROSPECTS-2/10-{24.4000000, 32.8000000}	681	881	589	383	252	-1025				-1087
43	CAREER PROSPECTS-3/10-{32.8000000, 41.2000000}	596	125	462	458	270	-457	-629		-1961	-1901
44	CAREER PROSPECTS-4/10-{41.2000000, 49.6000000}	-153	584	182	339	113	-180	-138	-949	-1217
45	CAREER PROSPECTS-5/10-{49.6000000, 58.0000000}	-133	-70	-137	132	13	354	56	-338	-1012	-2293
46	CAREER PROSPECTS-6/10-{58.0000000, 66.4000000}	-772	-724	-197	-107	166	69	298	-76	25	-381
47	CAREER PROSPECTS-7/10-{66.4000000, 74.8000000}	-1602	-1344	-842	-261	-450	217	252	645	657	170
48	CAREER PROSPECTS-8/10-{74.8000000, 83.2000000}		-1158	-576	-991	-326	-102	345	645	634	963
49	CAREER PROSPECTS-9/10-{83.2000000, 91.6000000}	-253	-1488	-1989	-1169	-256	-432	269	698	882	1196
50	CAREER PROSPECTS-10/10-{91.6000000, 100.0000000}	608	-628	-213	118	-311	-95	71	108	249	519
51	VALUE ADDED SCORE/10-1/10-{1.0000000, 1.9000000}	1451	1073	532	349	-360	-1410	-1582	-1153	-1293
52	VALUE ADDED SCORE/10-2/10-{1.9000000, 2.8000000}	637	557	337	320	-45	-87	-379	-1291		-793
53	VALUE ADDED SCORE/10-3/10-{2.8000000, 3.7000000}	222	310	423	310	59	-166	-314	-912	-940	-1120
54	VALUE ADDED SCORE/10-4/10-{3.7000000, 4.6000000}	-648	221	331	182	-59	1	-219	-116	-153	-1075
55	VALUE ADDED SCORE/10-5/10-{4.6000000, 5.5000000}	-481	-376	-182	-56	136	167	200	-201	-391	-145
56	VALUE ADDED SCORE/10-6/10-{5.5000000, 6.4000000}	-63	-32	-267	-264	195	104	-52	196	28	-192
57	VALUE ADDED SCORE/10-7/10-{6.4000000, 7.3000000}	-595	-762	-557	-355	3	35	163	365	439	551
58	VALUE ADDED SCORE/10-8/10-{7.3000000, 8.2000000}	-630	-612	-331	-340	-184	-29	273	275	562	594
59	VALUE ADDED SCORE/10-9/10-{8.2000000, 9.1000000}	-1300	-1043	-628	-17	-11	-44	180	423	283	410
60	VALUE ADDED SCORE/10-10/10-{9.1000000, 10.0000000}		-1130	-1053	-624	-26	264	373	96	382	723
61	AVERAGE ENTRY TARIFF-1/10-{135.0000000, 181.3000000}	894	943	818	316	-1068	-200	-797
62	AVERAGE ENTRY TARIFF-2/10-{181.3000000, 227.6000000}	978	936	651	42	-70	-504	-776	-1569	-1131	-1986
63	AVERAGE ENTRY TARIFF-3/10-{227.6000000, 273.9000000}	444	426	374	360	121	-216	-471	-1198	-1025	-2697
64	AVERAGE ENTRY TARIFF-4/10-{273.9000000, 320.2000000}	-576	-49	185	196	290	161	-477	-585	-614	-2046
65	AVERAGE ENTRY TARIFF-5/10-{320.2000000, 366.5000000}	-668	-1326	-528	-73	127	173	289	86	51	-252
66	AVERAGE ENTRY TARIFF-6/10-{366.5000000, 412.8000000}	-1171	-1491	-988	-594	-183	259	528	357	447	81
67	AVERAGE ENTRY TARIFF-7/10-{412.8000000, 459.1000000}	-690	-1348	-2186	-1028	-484	100	569	695	654	544
68	AVERAGE ENTRY TARIFF-8/10-{459.1000000, 505.4000000}	-134	-792	-1053	-545	-676	-371	133	913	917	834
69	AVERAGE ENTRY TARIFF-9/10-{505.4000000, 551.7000000}			-1002	-1914	-1130	-448	-1197	652	923	1958
70	AVERAGE ENTRY TARIFF-10/10-{551.7000000, 598.0000000}								374		2494
71	% SATISFIED WITH ASSESSMENT-1/10-{18.8755020, 26.6479518}	2454	1796

Достоверность этих моделей различна (рисунок 23):

Рисунок 23. Экранная форма отчета по достоверности моделей

Для количественной оценки достоверности моделей применена метрика, предложенная автором и по смыслу сходная с известным F-критерием (рисунок 24):

Рисунок 24. Экранная форма пояснения по достоверности моделей

Обращает на себя внимание, что системно-когнитивные модели (INF1 – INF7) имеют значительно более высокую среднюю достоверность, чем статистические. Такая картина по опыту автора наблюдается в подавляющем большинстве приложений. В этом и состоит обоснование целесообразности применения системно-когнитивных (интеллектуальных) моделей.

6.2.2.3.6. Наглядное отображение подматриц
системно-когнитивных моделей
университетского рейтинга Гардиан
в виде когнитивных функций

Применительно к задаче, рассматриваемой в данной работе, когнитивная функция показывает в наглядной графической форме, какое количество информации содержится в различных значениях показателей вузов о том, что у них будет определенный рейтинг по напылению подготовки и общий рейтинг Гардиан.

Когнитивным функциям посвящено много работ автора[21], но наиболее новой и обобщающей из них является работа [235]. Поэтому здесь не будем останавливаться на описании того, что представляют собой когнитивные функции в АСК-анализе.

Отметим, что при построении средневзвешенных трендов применены математические методы, предложенные и описанные в работах [260, 261, 262], в частности применен метод взвешенных наименьших квадратов, модифицированный путем использования в качестве весовых коэффициентов количества информации в наблюдениях.

На рисунке 25 приведены визуализации некоторых когнитивных функций данного приложения для модели INF1:

Рисунок 25. Визуализация когнитивных функций зависимостей рейтинга Гардиан
от значений показателей в системно-когнитивной модели INF1

Из приведенных когнитивных функций видно, что увеличение или уменьшение значений показателей вузов влияет на рейтинг Гардиан по направлению подготовки и общий рейтинг Гардиан, примерно пропорционально или обратно пропорционально. Отметим, что об этом можно говорить потому, что в системно-когнитивных моделях используются интервальные числовые и порядковые измерительные шкалы.

Это подтверждает разумность и корректность построения университетского рейтинга Гардиан его разработчиками.

6.2.2.3.7. Интегральный критерий и решение задачи
оценки рейтинга вуза в системно-когнитивной модели университетского
рейтинга Гардиан

Из модели INF1 мы видим, какое количество информации содержится в том или ином значении каждого показателя о том, что вуз с этим значением показателя имеет тот или иной рейтинг по направлению подготовки и общий рейтинг Гардиан.

Но если нам известно не одно, а несколько значений показателей вузов, то как посчитать их общий вклад в сходство с теми или иными классами? Для этого в системе «Эйдос» используется 2 аддитивных интегральных критерия: «Сумма знаний» и «Семантический резонанс знаний».

Интегральный критерий «Семантический резонанс знаний» представляет собой суммарное количество знаний, содержащееся в системе факторов различной природы, характеризующих сам объект управления, управляющие факторы и окружающую среду, о переходе объекта в будущие целевые или нежелательные состояния.

Интегральный критерий представляет собой аддитивную функцию от частных критериев знаний, представленных в help режима 3.3:

В выражении круглыми скобками обозначено скалярное произведение. В координатной форме это выражение имеет вид:

_,

где: M – количество градаций описательных шкал (признаков);

– вектор состояния j–го класса;

– вектор состояния распознаваемого объекта, включающий все виды факторов, характеризующих сам объект, управляющие воздействия и окружающую среду (массив–локатор), т.е.:

В текущей версии системы «Эйдос-Х++» значения координат вектора состояния распознаваемого объекта принимались равными либо 0, если признака нет, или n, если он присутствует у объекта с интенсивностью n, т.е. представлен n раз (например, буква «о» в слове «молоко» представлена 3 раза, а буква «м» - один раз).

Интегральный критерий «Семантический резонанс знаний» представляет собой нормированное суммарное количество знаний, содержащееся в системе факторов различной природы, характеризующих сам объект управления, управляющие факторы и окружающую среду, о переходе объекта в будущие целевые или нежелательные состояния.

Интегральный критерий представляет собой аддитивную функцию от частных критериев знаний, представленных в help режима 3.3 и имеет вид:

где:

M – количество градаций описательных шкал (признаков);

– средняя информативность по вектору класса;

– среднее по вектору объекта;

– среднеквадратичное отклонение частных критериев знаний вектора класса;

– среднеквадратичное отклонение по вектору распознаваемого объекта.

– вектор состояния j–го класса;

– вектор состояния распознаваемого объекта, включающий все виды факторов, характеризующих сам объект, управляющие воздействия и окружающую среду (массив–локатор), т.е.:

В текущей версии системы «Эйдос-Х++» значения координат вектора состояния распознаваемого объекта принимались равными либо 0, если признака нет, или n, если он присутствует у объекта с интенсивностью n, т.е. представлен n раз (например, буква «о» в слове «молоко» представлена 3 раза, а буква «м» - один раз).

Приведенное выражение для интегрального критерия «Семантический резонанс знаний» получается непосредственно из выражения для критерия «Сумма знаний» после замены координат перемножаемых векторов их стандартизированными значениями:

Свое наименование интегральный критерий сходства «Семантический резонанс знаний» получил потому, что по своей математической форме является корреляцией двух векторов: состояния j–го класса и состояния распознаваемого объекта.

Пример решения задачи идентификации для вузов рейтинга Гардиан по направлению подготовки и общего рейтинга Гардиан приведен на рисунке 26:

Рисунок 26. Экранная форма с результатами идентификации рейтинга
Гардиан по направлению подготовки и общего рейтинга Гардиан

6.2.2.3.8. Исследование многокритериальной
системно-когнитивной модели
университетского рейтинга Гардиан,
учитывающей направления подготовки

6.2.2.3.8.1. Автоматизированный количественный
SWOT-анализ университетского
рейтинга Гардиан

В системе «Эйдос» реализован Автоматизированный количественный SWOT-анализ [249]. Его можно применить для исследования того, какие значения показателей способствуют, а какие препятствуют присвоению вузу тех или иных рейтингов Гардиан.

Например, высокому общему рейтингу Гардиан способствуют и препятствуют значения показателей, приведенные на SWOT-диаграмме (рисунок 27), соответствующей SWOT-матрице (рисунок 28) и нелокальном нейроне (рисунок 29):

Рисунок 27. SWOT-диаграмма высокого рейтинга Гардиан

Рисунок 28. SWOT-матрица высокого рейтинга Гардиан

Рисунок 29. Нелокальный нейрон высокого рейтинга Гардиан

6.2.2.3.8.2. Информационные портреты классов
и значений показателей университетского
рейтинга Гардиан

Информационный портрет класса – это список факторов, ранжированных в порядке убывания силы их влияния на переход объекта управления в состояние, соответствующее данному классу. Информационный портрет класса отражает систему его детерминации. Генерация информационного портрета класса представляет собой решение обратной задачи прогнозирования, т.к. при прогнозировании по системе факторов определяется спектр наиболее вероятных будущих состояний объекта управления, в которые он может перейти под влиянием данной системы факторов, а в информационном портрете мы наоборот, по заданному будущему состоянию объекта управления определяем систему факторов, детерминирующих это состояние, т.е. вызывающих переход объекта управления в это состояние. В начале информационного портрета класса идут факторы, оказывающие положительное влияние на переход объекта управления в заданное состояние, затем факторы, не оказывающие на это существенного влияния, и далее – факторы, препятствующие переходу объекта управления в это состояние (в порядке возрастания силы препятствования). Информационные портреты классов могут быть от отфильтрованы по диапазону факторов, т.е. мы можем отобразить влияние на переход объекта управления в данное состояние не всех отраженных в модели факторов, а только тех, коды которых попадают в определенный диапазон, например, относящиеся к определенным описательным шкалам.

Пример информационного портрета класса приведен на рисунке 30:

Рисунок 30. Экранная форма с информационным портретом класса:
«Наивысший общий рейтинг Гардиан»

Информационный (семантический) портрет фактора – это список классов, ранжированный в порядке убывания силы влияния данного фактора на переход объекта управления в состояния, соответствующие данным классам. Информационный портрет фактора называется также его семантическим портретом, т.к. в соответствии с концепцией смысла системно-когнитивного анализа, являющейся обобщением концепции смысла Шенка-Абельсона, смысл фактора состоит в том, какие будущие состояния объекта управления он детерминирует. Сначала в этом списке идут состояния объекта управления, на переход в которые данный фактор оказывает наибольшее влияние, затем состояния, на которые данный фактор не оказывает существенного влияния, и далее состояния – переходу в которые данный фактор препятствует. Информационные портреты факторов могут быть от отфильтрованы по диапазону классов, т.е. мы можем отобразить влияние данного фактора на переход объекта управления не во все возможные будущие состояния, а только в состояния, коды которых попадают в определенный диапазон, например, относящиеся к определенным классификационным шкалам.

Пример информационного портрета значения фактора (показателя) приведен на рисунке 31:

Рисунок 31. Экранная форма с информационным портретом значения
показателя с установленным фильтром по наименованиям вузов

6.2.2.3.8.3. Кластерно-конструктивный анализ
университетского рейтинга Гардиан

Кластерно-конструктивный анализ – это новый математический метод анализа знаний, реализованный в АСК-анализе и системе «Эйдос» [7, 128], обеспечивающий:

– выявление классов, наиболее сходных по системе их детерминации и объединение их в кластеры;

– выявление кластеров классов, наиболее сильно отличающиеся по системе их детерминации и построение из них полюсов конструктов классов, при этом остальные кластеры включаются в конструкты в качестве промежуточных между полюсами;

– выявление факторов, наиболее сходных по детерминируемым ими классам и объединение их в кластеры;

– выявление кластеров факторов, наиболее сильно отличающиеся по детерминируемым ими классам и построение из них полюсов конструктов факторов, при этом остальные кластеры включаются в конструкты в качестве промежуточных между полюсами.

Состояния объекта управления, соответствующие классам, включенным в один кластер, могут быть достигнуты одновременно, т.е. являются совместимыми (коалиционными) по детерминирующим их факторам. Состояния объекта управления, соответствующие классам, образующим полюса конструкта, не могут быть достигнуты одновременно, т.е. являются противоположными по детерминирующим их факторам (антагонистическими).

Факторы, включенные в один кластер, оказывают сходное влияние на поведение объекта управления и могут, при необходимости, быть использованы для замены друг друга. Факторы, образующие полюса конструкта, оказывают противоположное влияние на поведение объекта управления.

Кластерно-конструктивный анализ классов позволяет сравнить их по сходству системы детерминации и отобразить эту информацию в наглядной графической форме семантической сети классов.

Кластерно-конструктивный анализ факторов позволяет сравнить факторы по сходству их влияния на переход объекта в будущие состояния и отобразить эту информацию в наглядной графической форме семантической сети факторов.

Примеры когнитивных диаграмм, отражающих некоторые результаты кластерно-конструктивного анализа модели университетского рейтинга Гардиан, приведены на рисунках 32, 33, 34:

Рисунок 32. Пример конструкта класса
университетского рейтинга Гардиан

Рисунок 33. Пример конструкта класса
университетского рейтинга Гардиан

Рисунок 34. Пример конструкта значения показателя
университетского рейтинга Гардиан

Как видно из приведенных когнитивных диаграмм, все классы и значения показателей являются взаимозависимыми, что исключает применение факторного анализа, как метода моделирования линейных систем.

6.2.2.4. Интеграция различных рейтингов в одном
«супер рейтинге» – путь к использованию
рейтинга Гардиан для оценки российских вузов

6.2.2.4.1. Пилотное исследование и Парето-оптимизация

Минобрнауки РФ в своих регламентирующих документах предлагает очень много частных критериев[22]. Ясно, что собрать информацию по всем этим показателям очень сложно, дорого и трудоемко. Поэтому представляет интерес, выявить из них минимальное количество таких критериев, которых было бы достаточно для надежного решения задачи определения рейтинга вуза.

Системно-когнитивные модели позволяют выявить показатели, оказывающие наиболее существенное влияние на объекты моделирования, что позволяет удалить из моделей не существенные показатели, т.е. провести Паретто-оптимизацию, в результате которой в моделях остаются только существенные показатели.

Таким образом, решается задача, аналогичная задаче разработки системе стандартизированных показателей, но конкретно для данного предприятия.

В результате можно сократить размерность моделей без потери их достоверности, а значит существенно сократить затраты труда и времени на сбор, ввод в компьютер и обработку исходных данных, т.е. эффективность их использования.

В таблице 27 приведен список значений факторов системно-когнитивной модели INF1 (см. табл. ) университетского рейтинга Гардиан, в котором эти значения проранжированы в порядке убывания вариабельности информативности, которая в АСК-анализе рассматривается как значимость (дифференцирующая способность) этого значения. Вариабельность информативности измеряется как ее среднеквадратичное отклонение по всем классам. Но в данном случае она посчитана только по первым 10 классам, т.е. по общему рейтингу.

Таблица 27 – Ранжированная таблица значений показателей
для построения Парето-диаграммы университетского
рейтинга Гардиан (фрагмент)

Код	Значение показателя	Значимость	Паретто
70	AVERAGE ENTRY TARIFF-10/10-{551.7000000, 598.0000000}	1499,07	1499,07
30	EXPENDITURE PER STUDENT (FTE)-10/10-{9.1000000, 10.0000000}	1493,90	2992,96
2	% SATISFIED WITH TEACHING-2/10-{55.0000000, 60.0000000}	1430,66	4423,63
69	AVERAGE ENTRY TARIFF-9/10-{505.4000000, 551.7000000}	1315,20	5738,83
36	STUDENT:STAFF RATIO-6/10-{27.6500000, 32.2600000}	1196,80	6935,63
51	VALUE ADDED SCORE/10-1/10-{1.0000000, 1.9000000}	1153,71	8089,34
37	STUDENT:STAFF RATIO-7/10-{32.2600000, 36.8700000}	1074,37	9163,71
49	CAREER PROSPECTS-9/10-{83.2000000, 91.6000000}	1052,72	10216,43
62	AVERAGE ENTRY TARIFF-2/10-{181.3000000, 227.6000000}	1034,30	11250,73
38	STUDENT:STAFF RATIO-8/10-{36.8700000, 41.4800000}	1026,14	12276,87
21	EXPENDITURE PER STUDENT (FTE)-1/10-{1.0000000, 1.9000000}	1020,24	13297,11
63	AVERAGE ENTRY TARIFF-3/10-{227.6000000, 273.9000000}	1010,23	14307,33
12	% SATISFIED OVERALL WITH COURSE-2/10-{43.7641089, 50.0125413}	1009,23	15316,56
67	AVERAGE ENTRY TARIFF-7/10-{412.8000000, 459.1000000}	994,19	16310,75
43	CAREER PROSPECTS-3/10-{32.8000000, 41.2000000}	994,12	17304,87
10	% SATISFIED WITH TEACHING-10/10-{95.0000000, 100.0000000}	948,77	18253,64
39	STUDENT:STAFF RATIO-9/10-{41.4800000, 46.0900000}	939,42	19193,06
35	STUDENT:STAFF RATIO-5/10-{23.0400000, 27.6500000}	909,13	20102,18
24	EXPENDITURE PER STUDENT (FTE)-4/10-{3.7000000, 4.6000000}	905,30	21007,49
23	EXPENDITURE PER STUDENT (FTE)-3/10-{2.8000000, 3.7000000}	899,29	21906,78
72	% SATISFIED WITH ASSESSMENT-2/10-{26.6479518, 34.4204016}	882,78	22789,56
4	% SATISFIED WITH TEACHING-4/10-{65.0000000, 70.0000000}	879,48	23669,05
11	% SATISFIED OVERALL WITH COURSE-1/10-{37.5156766, 43.7641089}	857,09	24526,14
61	AVERAGE ENTRY TARIFF-1/10-{135.0000000, 181.3000000}	832,47	25358,60
1	% SATISFIED WITH TEACHING-1/10-{50.0000000, 55.0000000}	827,04	26185,65
80	% SATISFIED WITH ASSESSMENT-10/10-{88.8275502, 96.6000000}	826,29	27011,93
13	% SATISFIED OVERALL WITH COURSE-3/10-{50.0125413, 56.2609736}	818,74	27830,68
42	CAREER PROSPECTS-2/10-{24.4000000, 32.8000000}	812,94	28643,62
20	% SATISFIED OVERALL WITH COURSE-10/10-{93.7515677, 100.0000000}	804,92	29448,54
47	CAREER PROSPECTS-7/10-{66.4000000, 74.8000000}	794,88	30243,42
31	STUDENT:STAFF RATIO-1/10-{4.6000000, 9.2100000}	782,26	31025,68
45	CAREER PROSPECTS-5/10-{49.6000000, 58.0000000}	775,12	31800,80
48	CAREER PROSPECTS-8/10-{74.8000000, 83.2000000}	758,31	32559,11
32	STUDENT:STAFF RATIO-2/10-{9.2100000, 13.8200000}	746,78	33305,89
68	AVERAGE ENTRY TARIFF-8/10-{459.1000000, 505.4000000}	743,35	34049,24
3	% SATISFIED WITH TEACHING-3/10-{60.0000000, 65.0000000}	738,54	34787,78
66	AVERAGE ENTRY TARIFF-6/10-{366.5000000, 412.8000000}	736,20	35523,97