Хорошо известно, что успешная сдача абитуриентом вступительных экзаменов в вуз еще не означает, что он будет так же успешно учиться. Более того, само по себе это абсолютно не гарантирует, что он вообще окончит вуз.

Не менее хорошо известно, что и успешное обучение студента в вузе само по себе также не гарантирует, что его практическая профессиональная деятельность после окончания учебы будет также успешна. Часто бывшие "троечники" на практике добиваются значительно лучших результатов, чем обладатели "красных дипломов".

Школа решает основную задачу обучения и воспитания, а вовсе не задачу подготовки учащихся к поступлению в вуз, и уж тем более не готовит их к обучению в нем. Это обусловлено просто тем, что подавляющее большинство выпускников школ не собирается поступать и не поступает в вузы.

Высшее учебное заведение, в свою очередь, должно готовить не к защите кандидатских и докторских диссертаций, что, очевидно, не может быть самоцелью, а к практической деятельности в соответствующих сферах жизни общества (конечно, наука также является одной из этих сфер, но – это частный случай).

Таким образом, есть все основания предположить, что текущие школьные оценки, оценки по предметам в аттестате и вкладыше в диплом не содержат особенно существенной информации о том, как сложится будущая профессиональная деятельность сегодняшнего учащегося школы или студента вуза. А между тем именно это и представляет основной интерес.

В данном случае мы сталкиваемся с классической проблемой синтеза (построения) измерительной системы, т.е. системы, которая по доступным для измерения внешним параметрам измеряемых объектов (признакам) позволяет с контролируемой надежностью делать выводы об их ненаблюдаемых (латентных) параметрах или давать оценку и классификацию объектов и их состояний.

Например, если врач измеряет температуру пациента, то он это делает не потому, что его интересует температура сама по себе, а для того, чтобы с учетом температуры поставить диагноз и прийти к обоснованному плану лечения. Но врач может поставить диагноз по температуре только потому, что в течение тысяч лет до него накапливалась информация о связи температуры с теми или иными заболеваниями, и эта связь сначала была выявлена, а затем стала известна данному врачу в процессе его обучения. Только зная эту связь врач может по температуре судить о диагнозе.

Поэтому, для решения проблемы, поставленной в данной работе, необходимо исследовать "корреляционные взаимосвязи" между широким кругом измеряемых параметров абитуриентов и учащихся вузов, и экспертной оценкой успешности их учебы и профессиональной деятельности. В круг анализируемых параметров можно включить и традиционные оценки, имеющие внешний вид количественных ("по пятибалльной шкале"). Одновременно и выяснится, насколько они в действительности сопоставимы друг с другом и пригодны в качестве измерителей того, что нас на самом деле интересует. Это позволит обоснованно подтвердить или опровергнуть сформулированную выше гипотезу.

1. Классифицируются виды профессиональной деятельности (шкалы) и уровни их успешности (градации), а также успешность поступления и обучения.
2. Классифицируются измеряемые параметры абитуриентов и учащихся вузов: предыстория, актуальный социально–психологический статус, учебные и иные воздействия.
3. Накапливается база данных по абитуриентам и студентам, описанным измеряемыми параметрами.
4. Когда (по прошествии соответствующего времени) становится известно, к каким классам по успешности или неуспешности обучения и профессиональной деятельности фактически относятся те или иные абитуриенты и студенты, то база данных по ним дополняется этой информацией. Так формируется база примеров, т.е. обучающая выборка. Очень важно, что она может быть сформирована и по архивным данным, т.е. ретроспективно.

Система "ДЕЛЬТА–6.2" обеспечивает обработку обучающей выборки (которая может быть любого объема) с помощью алгоритмов, построенных на основе теории информации. В результате этого обеспечивается:

Классическая схема автоматизированной системы управления (АСУ), как известно, включает управляемый объект и управляющую систему, находящиеся в некоторой окружающей среде и взаимодействующие друг с другом за счет управляющих и обратных связей.

В определенном аспекте учащийся вуза, очевидно, может с полным основанием рассматриваться как управляемый объект, на который преподавателями в течение длительного времени систематически оказывается определенное целенаправленное управляющее воздействие, призванное в конце концов превратить вчерашнего школьника в профессионала в некоторой области.

Конечно, подобный подход является очень упрощенным, так как человек представляет собой не просто сложнейшую систему обработки информации, но и обладает свободой воли.

С формальной точки зрения это означает, что человек как объект управления представляет собой сложную, многопараметрическую, динамичную слабодетерминированную систему. Внешние параметры подобных систем слабым и очень сложным образом связаны с их результирующим (целевым) состоянием. Выразить в аналитической форме эти зависимости в настоящее время практически не представляется возможным. Эти обстоятельства привели к тому, что традиционные подходы к синтезу систем управления состоянием человека, разрабатываемые в основном в медицине, не дали ощутимых результатов. Неразрешимые проблемы возникают как на этапе идентификации состояния объекта управления, так и на этапе выработки управляющего воздействия.

Применение когнитивной аналитической системы "ДЕЛЬТА-6.2", обеспечивающей построение многопараметрических (до 4000 параметров) динамических (адаптивных) информационных моделей, отражающих слабые взаимосвязи между состояниями объекта и среды, и их внешними признаками, позволяет надеется на преодоление этих проблем.

Система "ДЕЛЬТА" сама по себе позволяет оценивать актуальное состояние объекта управления и прогнозировать его развитие. Она позволяет также исследовать влияние на это развитие предыстории объекта управления и управляющих воздействий как зависящих, так и не зависящих от преподавателей. Таким образом, она может быть применена в качестве интеллектуальной компоненты в человеко-машинной автоматизированной системе управления индивидуальным обучением в блоках мониторинга и выработки управляющих воздействий управляющей подсистемы.

В соответствии с интеллектуальной технологией "ДЕЛЬТА" в процессе синтеза данной системы выполняют следующие работы:

1. Ставят цели методики и разрабатывают в соответствии с ними перечень прогнозируемых и целевых состояний учащегося, переход в которые рассматривается как результат воздействия на учащегося с помощью определенных педагогических технологий (специфических и неспецифических факторов).

2. Разрабатывают формализованный паспорт учащегося, позволяющий описать в пригодной для компьютерной обработки форме его историю, актуальное состояние, педагогические воздействия и их результат. Формализованный паспорт состоит из трех основных частей: первая содержит шкалы, описывающие не зависящие от преподавателей факторы, вторая – факторы, зависящие от решения преподавателей, которые можно рассматривать как средства достижения желаемых педагогических результатов, и третья – содержит классификацию самих прогнозируемых и целевых педагогических результатов.

3. Неструктурированная информация о педагогических воздействиях и их результатах должна быть представлена в виде формализованных паспортов и введена в систему "ДЕЛЬТА" в качестве примеров того, к каким педагогическим результатам фактически приводят те или иные педагогические воздействия на учащихся, имеющих определенную предысторию и определенное актуальное состояние.

4. Система на основе предъявленных реальных примеров обучения выявит взаимосвязи между предысторией учащегося, актуальным состоянием, применяемыми педагогическими технологиями (педагогическими факторами) и полученными педагогическими результатами и сформирует так называемые информационные портреты по каждому результату. Информационный портрет педагогического результата представляет собой перечень различных характеристик учащегося, а также педагогических факторов с количественным указанием того, какое влияние каждый из них оказывает на осуществление данного результата.

5. Для каждой из характеристик учащегося, каждого педагогического фактора на основе обработки примеров обучения автоматически (т.е. самой системой "ДЕЛЬТА") будет количественно определено, какое влияние они оказывают на осуществление каждого педагогического результата.

6. Система сравнит различные педагогические результаты и сформирует группы наиболее сходных из них (кластеры), а также определит, какие кластеры наиболее сильно отличаются друг от друга (конструкты). При этом будут выявлены не только уже известные специалистам конструкты, но могут быть обнаружены и новые, ранее неизвестные. Выявленные взаимосвязи между классами отображаются в форме семантических сетей.

7. Аналогично и технологические факторы будут сгруппированы в кластеры и конструкты, так, например, будет выявлено, что некоторые различные по своей физической природе специфические и неспецифические педагогические факторы оказывают сходное влияние на педагогические результаты. Выявленные взаимосвязи между факторами отображаются в форме семантических сетей.

8. После выполнения данных работ будет проверена способность системы правильно прогнозировать педагогические результаты на массиве уже введенных формализованных паспортов, т.е. будет определена внутренняя интегральная и дифференциальная валидность методики. Если она окажется достаточно высокой, то методику можно будет рекомендовать для опытно-экспериментального практического применения. В то же время, по-видимому, будут выявлены и слабодетерминированные педагогические результаты, которых наиболее сложно добиваться и которые сложно достоверно прогнозировать.

Таким образом, адаптивная АСУ индивидуальным обучением позволяет решить следующие две основные задачи:

1. получить прогноз, какие педагогические результаты наиболее вероятны (а какие практически невозможны) для учащегося с данной предысторией, с данным актуальным состоянием при воздействии на него имеющимися в распоряжении образовательными (педагогическими) технологиями;
2. разработать рекомендации о том, какие предыстория, актуальная картина и педагогические воздействия должны быть, чтобы можно было рассчитывать с определенной уверенностью на заданный уровень учебных достижений и заданный педагогический эффект.

Система сама оценивает степень достоверности своих прогнозов и рекомендаций, т.е. она не просто дает рекомендацию, но и количественно оценивает степень надежности этой рекомендации.

Следовательно, данная методика позволяет "просматривать" различные варианты педагогических технологий, прогнозировать последствия применения различных технологических приемов, и на этой основе вырабатывать научно обоснованные рекомендации по выбору квазиоптимальной для поставленных целей педагогической технологии с учетом истории и актуального состояния учащегося.

Таким образом, автоматизированная система управления:

2. Позволяет использовать любое количество шкал для классификации и описании прогнозируемых и целевых педагогических результатов, причем в разных шкалах может быть различное количество градаций, но их общее количество не должно превышать 8000.

3. Сама выявляет зависимости на основе примеров обучения, взятых из реальной практики, и не требует от эксперта формализованного описания этих зависимостей (продукций) как в ряде экспертных систем.

Кроме того, методика позволяет также раздельно изучать вклад в достижении педагогического эффекта, который дают, с одной стороны, объективное действие педагогических, а, с другой стороны, эффект плацебо, действующий за счет ожиданий учащихся, их веры и других психологических факторов.

Данный подход к синтезу человеко-машинной системы адаптивного управления индивидуальным обучением показателен как сам по себе, так и в качестве примера применения системы "ДЕЛЬТА" для выявления взаимосвязей между различными технологиями, с одной стороны, и результатами применения их применения, с другой.

Математическая обработка экспериментальных материалов была осуществлена с помощью систем Statistica for Windows и системы "ДЕЛЬТА". При этом были выявлены зависимости между психологическими свойствами личности, с одной стороны, и учебными достижениями, с другой, т.е. разработаны профессиограммы. На этой основе для каждого обучаемого может быть сделан индивидуальный прогноз успешности обучения.

Исследование показало, что даже такие мощные системы, как Statistica, реализующие практически все стандартные методы статистической обработки данных, лишь частично перекрывают возможности системы "ДЕЛЬТА". Подтверждено, что система "ДЕЛЬТА", которая является когнитивной аналитической системой, позволяет получить ряд высокоуровневых обобщений, таких как интегральные профессиограммы, а также прямые и инвертированные диаграммы Вольфа Мерлина, и, следовательно, имеет свою "экологическую нишу". Был сделан вывод о том, что эти системы удачно дополняют друг друга.

С целью гарантированного обеспечения уровня качества образования, соответствующего Российским и международным образовательным стандартам и интеграции ИСТЭк в международное образовательное пространство в институте осуществляются прикладные научные исследования по разработке методологии, математических моделей и адаптивной автоматизированной системы управления качеством подготовки специалистов.

В рамках данного проекта разрабатывается:

– концепция и политика института в области управления качеством подготовки специалистов;

– подходы к формированию критериев оценки (измерители);

– меры по обеспечению сопоставимости измерений качества подготовки студентов и выпускников института как во времени, так и по Южному Федеральному округу России, а также на международном уровне;

– автоматизированная система педагогических измерений;

– инфраструктура и организационно–юридическое обеспечение применения адаптивной системы управления качеством подготовки специалистов;

– программный комплекс, обеспечивающей синтез, адаптацию и применение профессиограмм;

– автоматизированная система рейтингового мониторинга студентов и преподавателей;

– автоматизированная система контроля качества обучения и мониторинга предметной обученности и психологического статуса студентов, прогнозирования результатов обучения, поддержку принятия решений по управлению качеством.

В результате планируется создание и внедрение системы, обеспечивающей: накопление данных по социально-психологическому статусу студентов и преподавателей, учебным и профессиональным достижениям; рейтинговый анализ студентов, преподавателей, вузов; прогнозирование результатов обучения; выработку обоснованных рекомендаций по управлению качеством образования. Это позволит обеспечить международный уровень качества образования в ИСТЭк и привлечь в институт дополнительный контингент студентов из регионов России, СНГ и дальнего зарубежья.

Одной из приоритетных целей системы образования является безусловное обеспечение уровня качества образования, соответствующего не только Российским, но и международным образовательным стандартам (ISO–9000: International Organization for Standartion Quality in Education). Достижение этой цели не только очень важно само по себе, но и является одной из важнейших предпосылок интеграции Университета в международное образовательное пространство.

Однако для достижения этой цели необходимо решить ряд проблем, многие из которых имеют комплексный научно-технический характер. Кратко рассмотрим некоторые из них.

1. Образовательный стандарт определяет лишь обязательный минимум знаний, умений и навыков, которые должны быть освоены студентами в процессе обучения, но ничего не говорит о среднем и тем более наивысшем уровне учебных достижений. Поэтому, по мнению авторов, неверно ориентироваться лишь на требования образовательного стандарта, т.к. это дает заниженный уровень требований. Содержательное и обоснованное определение требований к целевому уровню обученности является самостоятельной актуальной наукоемкой проблемой, пока не имеющей общего решения.

3. Но самое главное, что измерение степени соответствия уровня обученности требованиям образовательных стандартов является всего лишь первым, хотя и очень важным шагом на пути к созданию системы управления уровнем обученности. Ведь ясно, что измерение уровня обученности является не самоцелью, а лишь призвано дать руководителям учебного процесса информацию для принятия решений о корректировке этого процесса в таком направлении, которое позволило бы достичь целевых состояний обучаемых.

Авторы предлагают строить систему управления качеством образования как классическую автоматизированную систему управления (АСУ). Одной из важнейших специфических особенностей данной системы является то, что объектом управления в данной системе является студент (в исходном состоянии – абитуриент), с формальной точки зрения представляющий собой сложную слабодетерминированную многопараметрическую систему. Текущее состояние студента, как объекта управления, характеризуется определенным учебно-профессиональным и социально-психологическим статусом, в качестве целевого состояния может быть принято состояние: "Профессионал в определенной предметной области". Управляющими воздействиями являются различные факторы учебного процесса, включающие материально-техническую базу, научно-методическое обеспечение, социально-психологический и профессиональный статус преподавателей, в том числе их загруженность работой, не имеющей отношения к учебному процессу.

1. Определить и обосновать минимальный достаточный набор наиболее значимых прямых и косвенных критериев качества образования, обеспечивающих территориальную и временную сопоставимость педагогических измерений и имеющих заданные статистические свойства и смысл. Принципиально важно, что в качестве индикаторов, несущих информацию об уровне реальных и потенциальных учебных и профессиональных достижений студентов, могут выступать не только результаты решения тестовых заданий, но и любые другие данные, например признаки фоторобота, подчерка и другие данные, которые могут быть получены без активного участия студента.

2. Обеспечить мониторинг качества образования и создать базы данных, на основе анализа которых:

– обеспечить синтез и применение профессиограмм абитуриентов, студентов и преподавателей; вести рейтинговый мониторинг студентов и преподавателей;

– выявить зависимости между социально–психологическим статусом студентов и факторами учебного процесса с одной стороны, и учебными и профессиональными достижениями студентов, с другой.

3. Обеспечить решение задач прогнозирования учебных и профессиональных достижений, а также задач поддержки принятия решений по управлению учебным процессом и качеством образования.

Решение рассмотренных проблем с применением предложенной методологии и инструментария позволяет существенно повысить качество образования.

Очевидно, система управления качеством образования в качестве одной из основных компонент должна включать систему мониторинга образовательного процесса, обеспечивающую периодическое измерение уровня предметной обученности.

Традиционный подход, основанный на проведении срезов и контрольных работ, не обеспечивает пространственно-временную сопоставимость измерений учебных достижений учащихся даже в пределах одного региона и одного учебного года. Этот недостаток может быть компенсирован применением учебных тестов, которые в последнее время становятся все более популярными.

В частности широкое распространение получило Централизованное тестирование абитуриентов и система Телетестинг, предназначенные для тестирования абитуриентов. Имеются и тесты, предназначенные для измерения уровня предметной обученности непосредственно в учебном процессе.

Качество применяемых тестов во многом определяется свойствами тестовых заданий. Авторы считают, что для того, чтобы соответствовать своему назначению и тестовые задания, и сами тесты должны удовлетворять вполне определенным требованиям, которые могут и должны иметь количественное выражение.

Например, для каждого задания должно быть известно:

1. Раздел учебного плана, проверяемый данным заданием.

2. Уровень освоения учебного материала, необходимый для успешного выполнения данного задания.

3. Сложность (решаемость) данного задания для учащихся на практике.

4. Информативность данного задания, т.е. количество информации, содержащейся в степени решения данного задания учащимся о принадлежности данного учащегося к группам аттестованных и не аттестованных.

5. Ошибка измерения обученности с помощью данного задания.

6. Скорость сходимости и предел ошибки измерения обученности при увеличении объема выборки.

7. Вероятность угадывания правильного ответа для данного задания.

Каждому заданию может быть приписан некоторый интегральный критерий качества, являющийся функцией приведенных свойств.

Тесты учебных достижений также должны удовлетворять определенным требованиям: быть сопоставимыми по сложности и измеряемым параметрам обученности, определять степень соответствия уровня предметной обученности требованиям образовательных стандартов; обеспечивать мониторинг уровня обученности, для чего необходимо включать в тест задания с более широким диапазоном сложности и более широкими требованиями к уровню освоения учебного материала, а также выходящие за пределы учебного плана; содержать некоторый процент заданий с неизученными на практике свойствами, с целью их апробации и возможного использования в будущих тестах.

Кроме того, тесты учебных достижений должны в перспективе обеспечивать выявление зависимостей между решаемостью заданий и тем, поступил абитуриент в вуз или не поступил, а также успешностью его обучения в вузе на различных курсах и по различным предметам, успешностью его будущей профессиональной деятельности.

Предлагаемые в данной работе методология, инструментальные средства и технологии позволяют решить эти проблемы.