ГЛАВА 4. ПЕРСПЕКТИВЫ ПРИМЕНЕНИЯ СИСТЕМЫ "ДЕЛЬТА" В ОБРАЗОВАНИИ

 

4.1. ПРОГНОЗИРОВАНИЕ УСПЕШНОСТИ БУДУЩЕЙ ПРОФЕССИОНАЛЬНОЙ ДЕЯТЕЛЬНОСТИ АБИТУРИЕНТОВ И УЧАЩИХСЯ ВУЗОВ

Актуальность

Хорошо известно, что успешная сдача абитуриентом вступительных экзаменов в вуз еще не означает, что он будет так же успешно учиться. Более того, само по себе это абсолютно не гарантирует, что он вообще окончит вуз.

Не менее хорошо известно, что и успешное обучение студента в вузе само по себе также не гарантирует, что его практическая профессиональная деятельность после окончания учебы будет также успешна. Часто бывшие "троечники" на практике добиваются значительно лучших результатов, чем обладатели "красных дипломов".

Поэтому, по мнению авторов, представляет особый интерес разработка методов, позволяющих прогнозировать не только то, поступит ли данный абитуриент в вуз и как он будет учиться (это представляет лишь частный интерес), но прежде всего, закончит ли он обучение и как будет работать: по специальности или нет, и, если по специальности, то насколько успешно.

Предлагаемый подход

Школа решает основную задачу обучения и воспитания, а вовсе не задачу подготовки учащихся к поступлению в вуз, и уж тем более не готовит их к обучению в нем. Это обусловлено просто тем, что подавляющее большинство выпускников школ не собирается поступать и не поступает в вузы.

Высшее учебное заведение, в свою очередь, должно готовить не к защите кандидатских и докторских диссертаций, что, очевидно, не может быть самоцелью, а к практической деятельности в соответствующих сферах жизни общества (конечно, наука также является одной из этих сфер, но – это частный случай).

Таким образом, есть все основания предположить, что текущие школьные оценки, оценки по предметам в аттестате и вкладыше в диплом не содержат особенно существенной информации о том, как сложится будущая профессиональная деятельность сегодняшнего учащегося школы или студента вуза. А между тем именно это и представляет основной интерес.

В данном случае мы сталкиваемся с классической проблемой синтеза (построения) измерительной системы, т.е. системы, которая по доступным для измерения внешним параметрам измеряемых объектов (признакам) позволяет с контролируемой надежностью делать выводы об их ненаблюдаемых (латентных) параметрах или давать оценку и классификацию объектов и их состояний.

Например, если врач измеряет температуру пациента, то он это делает не потому, что его интересует температура сама по себе, а для того, чтобы с учетом температуры поставить диагноз и прийти к обоснованному плану лечения. Но врач может поставить диагноз по температуре только потому, что в течение тысяч лет до него накапливалась информация о связи температуры с теми или иными заболеваниями, и эта связь сначала была выявлена, а затем стала известна данному врачу в процессе его обучения. Только зная эту связь врач может по температуре судить о диагнозе.

Поэтому, для решения проблемы, поставленной в данной работе, необходимо исследовать "корреляционные взаимосвязи" между широким кругом измеряемых параметров абитуриентов и учащихся вузов, и экспертной оценкой успешности их учебы и профессиональной деятельности. В круг анализируемых параметров можно включить и традиционные оценки, имеющие внешний вид количественных ("по пятибалльной шкале"). Одновременно и выяснится, насколько они в действительности сопоставимы друг с другом и пригодны в качестве измерителей того, что нас на самом деле интересует. Это позволит обоснованно подтвердить или опровергнуть сформулированную выше гипотезу.

Авторами разработана универсальная когнитивная аналитическая система "ДЕЛЬТА" и связанная с ней система обработки данных комплексного психологического тестирования "ДЕЛЬТА–Y ", позволяющие решить сформулированную выше проблему. Для этого выполняются следующие работы:

  1. Классифицируются виды профессиональной деятельности (шкалы) и уровни их успешности (градации), а также успешность поступления и обучения.
  2. Классифицируются измеряемые параметры абитуриентов и учащихся вузов: предыстория, актуальный социально–психологический статус, учебные и иные воздействия.
  3. Накапливается база данных по абитуриентам и студентам, описанным измеряемыми параметрами.
  4. Когда (по прошествии соответствующего времени) становится известно, к каким классам по успешности или неуспешности обучения и профессиональной деятельности фактически относятся те или иные абитуриенты и студенты, то база данных по ним дополняется этой информацией. Так формируется база примеров, т.е. обучающая выборка. Очень важно, что она может быть сформирована и по архивным данным, т.е. ретроспективно.

Результаты и перспективы

Система "ДЕЛЬТА–6.2" обеспечивает обработку обучающей выборки (которая может быть любого объема) с помощью алгоритмов, построенных на основе теории информации. В результате этого обеспечивается:

 

4.2. АДАПТИВНОЕ УПРАВЛЕНИЕ ИНДИВИДУАЛЬНЫМ ОБУЧЕНИЕМ

Актуальность

Классическая схема автоматизированной системы управления (АСУ), как известно, включает управляемый объект и управляющую систему, находящиеся в некоторой окружающей среде и взаимодействующие друг с другом за счет управляющих и обратных связей.

В определенном аспекте учащийся вуза, очевидно, может с полным основанием рассматриваться как управляемый объект, на который преподавателями в течение длительного времени систематически оказывается определенное целенаправленное управляющее воздействие, призванное в конце концов превратить вчерашнего школьника в профессионала в некоторой области.

Конечно, подобный подход является очень упрощенным, так как человек представляет собой не просто сложнейшую систему обработки информации, но и обладает свободой воли.

С формальной точки зрения это означает, что человек как объект управления представляет собой сложную, многопараметрическую, динамичную слабодетерминированную систему. Внешние параметры подобных систем слабым и очень сложным образом связаны с их результирующим (целевым) состоянием. Выразить в аналитической форме эти зависимости в настоящее время практически не представляется возможным. Эти обстоятельства привели к тому, что традиционные подходы к синтезу систем управления состоянием человека, разрабатываемые в основном в медицине, не дали ощутимых результатов. Неразрешимые проблемы возникают как на этапе идентификации состояния объекта управления, так и на этапе выработки управляющего воздействия.

Предлагаемый подход

Применение когнитивной аналитической системы "ДЕЛЬТА-6.2", обеспечивающей построение многопараметрических (до 4000 параметров) динамических (адаптивных) информационных моделей, отражающих слабые взаимосвязи между состояниями объекта и среды, и их внешними признаками, позволяет надеется на преодоление этих проблем.

Система "ДЕЛЬТА" сама по себе позволяет оценивать актуальное состояние объекта управления и прогнозировать его развитие. Она позволяет также исследовать влияние на это развитие предыстории объекта управления и управляющих воздействий как зависящих, так и не зависящих от преподавателей. Таким образом, она может быть применена в качестве интеллектуальной компоненты в человеко-машинной автоматизированной системе управления индивидуальным обучением в блоках мониторинга и выработки управляющих воздействий управляющей подсистемы.

В соответствии с интеллектуальной технологией "ДЕЛЬТА" в процессе синтеза данной системы выполняют следующие работы:

1. Ставят цели методики и разрабатывают в соответствии с ними перечень прогнозируемых и целевых состояний учащегося, переход в которые рассматривается как результат воздействия на учащегося с помощью определенных педагогических технологий (специфических и неспецифических факторов).

2. Разрабатывают формализованный паспорт учащегося, позволяющий описать в пригодной для компьютерной обработки форме его историю, актуальное состояние, педагогические воздействия и их результат. Формализованный паспорт состоит из трех основных частей: первая содержит шкалы, описывающие не зависящие от преподавателей факторы, вторая – факторы, зависящие от решения преподавателей, которые можно рассматривать как средства достижения желаемых педагогических результатов, и третья – содержит классификацию самих прогнозируемых и целевых педагогических результатов.

3. Неструктурированная информация о педагогических воздействиях и их результатах должна быть представлена в виде формализованных паспортов и введена в систему "ДЕЛЬТА" в качестве примеров того, к каким педагогическим результатам фактически приводят те или иные педагогические воздействия на учащихся, имеющих определенную предысторию и определенное актуальное состояние.

4. Система на основе предъявленных реальных примеров обучения выявит взаимосвязи между предысторией учащегося, актуальным состоянием, применяемыми педагогическими технологиями (педагогическими факторами) и полученными педагогическими результатами и сформирует так называемые информационные портреты по каждому результату. Информационный портрет педагогического результата представляет собой перечень различных характеристик учащегося, а также педагогических факторов с количественным указанием того, какое влияние каждый из них оказывает на осуществление данного результата.

5. Для каждой из характеристик учащегося, каждого педагогического фактора на основе обработки примеров обучения автоматически (т.е. самой системой "ДЕЛЬТА") будет количественно определено, какое влияние они оказывают на осуществление каждого педагогического результата.

6. Система сравнит различные педагогические результаты и сформирует группы наиболее сходных из них (кластеры), а также определит, какие кластеры наиболее сильно отличаются друг от друга (конструкты). При этом будут выявлены не только уже известные специалистам конструкты, но могут быть обнаружены и новые, ранее неизвестные. Выявленные взаимосвязи между классами отображаются в форме семантических сетей.

7. Аналогично и технологические факторы будут сгруппированы в кластеры и конструкты, так, например, будет выявлено, что некоторые различные по своей физической природе специфические и неспецифические педагогические факторы оказывают сходное влияние на педагогические результаты. Выявленные взаимосвязи между факторами отображаются в форме семантических сетей.

8. После выполнения данных работ будет проверена способность системы правильно прогнозировать педагогические результаты на массиве уже введенных формализованных паспортов, т.е. будет определена внутренняя интегральная и дифференциальная валидность методики. Если она окажется достаточно высокой, то методику можно будет рекомендовать для опытно-экспериментального практического применения. В то же время, по-видимому, будут выявлены и слабодетерминированные педагогические результаты, которых наиболее сложно добиваться и которые сложно достоверно прогнозировать.

Результаты и перспективы

Таким образом, адаптивная АСУ индивидуальным обучением позволяет решить следующие две основные задачи:

  1. получить прогноз, какие педагогические результаты наиболее вероятны (а какие практически невозможны) для учащегося с данной предысторией, с данным актуальным состоянием при воздействии на него имеющимися в распоряжении образовательными (педагогическими) технологиями;
  2. разработать рекомендации о том, какие предыстория, актуальная картина и педагогические воздействия должны быть, чтобы можно было рассчитывать с определенной уверенностью на заданный уровень учебных достижений и заданный педагогический эффект.

Система сама оценивает степень достоверности своих прогнозов и рекомендаций, т.е. она не просто дает рекомендацию, но и количественно оценивает степень надежности этой рекомендации.

Кроме того, система дает характеристику каждого технологического приема (по результатам его действия), а также выдает рекомендации по замене желательных технологических приемов, но очень дорогих, труднодоступных или опасных, другими, более дешевыми, доступными и безопасными, и при этом имеющими сходное влияние на педагогические результаты.

Следовательно, данная методика позволяет "просматривать" различные варианты педагогических технологий, прогнозировать последствия применения различных технологических приемов, и на этой основе вырабатывать научно обоснованные рекомендации по выбору квазиоптимальной для поставленных целей педагогической технологии с учетом истории и актуального состояния учащегося.

Таким образом, автоматизированная система управления:

1. Может эксплуатироваться в адаптивном режиме: квалифицированный пользователь может увеличивать базу примеров, расширять перечень прогнозируемых (идентифицируемых) педагогических ситуаций, увеличивать количество факторов в формализованном паспорте или контролируемо уменьшать размерность описания без потери качества. Эти возможности функционально сближают систему "ДЕЛЬТА" с нейронными сетями.

2. Позволяет использовать любое количество шкал для классификации и описании прогнозируемых и целевых педагогических результатов, причем в разных шкалах может быть различное количество градаций, но их общее количество не должно превышать 8000.

3. Сама выявляет зависимости на основе примеров обучения, взятых из реальной практики, и не требует от эксперта формализованного описания этих зависимостей (продукций) как в ряде экспертных систем.

Кроме того, методика позволяет также раздельно изучать вклад в достижении педагогического эффекта, который дают, с одной стороны, объективное действие педагогических, а, с другой стороны, эффект плацебо, действующий за счет ожиданий учащихся, их веры и других психологических факторов.

Данный подход к синтезу человеко-машинной системы адаптивного управления индивидуальным обучением показателен как сам по себе, так и в качестве примера применения системы "ДЕЛЬТА" для выявления взаимосвязей между различными технологиями, с одной стороны, и результатами применения их применения, с другой.

 

4.3. ИССЛЕДОВАНИЕ УЧЕБНОЙ АКТИВНОСТИ И ИНДИВИДУАЛЬНЫХ ОСОБЕННОСТЕЙ УЧАЩИХСЯ

 

Актуальность

В Краснодарском юридическом институте МВД РФ по предложенной технологии было проведено исследование взаимосвязей между учебной активностью обучаемых с одной стороны, и их индивидуальными психологическими свойствами с другой. Исследование базировалось на концепции интегральной индивидуальности В. С. Мерлина [163, 189, 309].

Предлагаемый подход

Математическая обработка экспериментальных материалов была осуществлена с помощью систем Statistica for Windows и системы "ДЕЛЬТА". При этом были выявлены зависимости между психологическими свойствами личности, с одной стороны, и учебными достижениями, с другой, т.е. разработаны профессиограммы. На этой основе для каждого обучаемого может быть сделан индивидуальный прогноз успешности обучения.

Результаты и перспективы

Исследование показало, что даже такие мощные системы, как Statistica, реализующие практически все стандартные методы статистической обработки данных, лишь частично перекрывают возможности системы "ДЕЛЬТА". Подтверждено, что система "ДЕЛЬТА", которая является когнитивной аналитической системой, позволяет получить ряд высокоуровневых обобщений, таких как интегральные профессиограммы, а также прямые и инвертированные диаграммы Вольфа Мерлина, и, следовательно, имеет свою "экологическую нишу". Был сделан вывод о том, что эти системы удачно дополняют друг друга.

4.4. УПРАВЛЕНИЕ КАЧЕСТВОМ ПОДГОТОВКИ СПЕЦИАЛИСТОВ

 

С целью гарантированного обеспечения уровня качества образования, соответствующего Российским и международным образовательным стандартам и интеграции ИСТЭк в международное образовательное пространство в институте осуществляются прикладные научные исследования по разработке методологии, математических моделей и адаптивной автоматизированной системы управления качеством подготовки специалистов.

В рамках данного проекта разрабатывается:

– концепция и политика института в области управления качеством подготовки специалистов;

– подходы к формированию критериев оценки (измерители);

– меры по обеспечению сопоставимости измерений качества подготовки студентов и выпускников института как во времени, так и по Южному Федеральному округу России, а также на международном уровне;

– автоматизированная система педагогических измерений;

– инфраструктура и организационно–юридическое обеспечение применения адаптивной системы управления качеством подготовки специалистов;

– программный комплекс, обеспечивающей синтез, адаптацию и применение профессиограмм;

– автоматизированная система рейтингового мониторинга студентов и преподавателей;

– автоматизированная система контроля качества обучения и мониторинга предметной обученности и психологического статуса студентов, прогнозирования результатов обучения, поддержку принятия решений по управлению качеством.

В этой работе используется опыт, полученный институтом при совместной работе с Открытым Университетом Великобритании, производящим внутреннюю стандартизацию показателей качества обучения, а также результаты научных исследований и разработок ученых Института современных технологий и экономики (ИСТЭк).

В результате планируется создание и внедрение системы, обеспечивающей: накопление данных по социально-психологическому статусу студентов и преподавателей, учебным и профессиональным достижениям; рейтинговый анализ студентов, преподавателей, вузов; прогнозирование результатов обучения; выработку обоснованных рекомендаций по управлению качеством образования. Это позволит обеспечить международный уровень качества образования в ИСТЭк и привлечь в институт дополнительный контингент студентов из регионов России, СНГ и дальнего зарубежья.

 

4.5. РЕШЕНИЕ ЗАДАЧ УПРАВЛЕНИЯ КАЧЕСТВОМ ОБУЧЕНИЯ С ПРИМЕНЕНИЕМ ИНТЕЛЛЕКТУАЛЬНОЙ СИСТЕМЫ "ДЕЛЬТА"

 

Одной из приоритетных целей системы образования является безусловное обеспечение уровня качества образования, соответствующего не только Российским, но и международным образовательным стандартам (ISO–9000: International Organization for Standartion Quality in Education). Достижение этой цели не только очень важно само по себе, но и является одной из важнейших предпосылок интеграции Университета в международное образовательное пространство.

Однако для достижения этой цели необходимо решить ряд проблем, многие из которых имеют комплексный научно-технический характер. Кратко рассмотрим некоторые из них.

1. Образовательный стандарт определяет лишь обязательный минимум знаний, умений и навыков, которые должны быть освоены студентами в процессе обучения, но ничего не говорит о среднем и тем более наивысшем уровне учебных достижений. Поэтому, по мнению авторов, неверно ориентироваться лишь на требования образовательного стандарта, т.к. это дает заниженный уровень требований. Содержательное и обоснованное определение требований к целевому уровню обученности является самостоятельной актуальной наукоемкой проблемой, пока не имеющей общего решения.

2. Образовательный стандарт не содержит каких-либо средств, методов и процедур количественного определения степени соответствия уровня предметной обученности (и тем более воспитанности) конкретных студентов требованиям этого стандарта. Подразумевается, что такими средствами могут быть обычные традиционные методы оценки, применяемые на практике преподавателями. Однако уже элементарный анализ показывает, что это не так хотя бы по той причине, что преподаватели на практике исходят скорее из нормативного, чем критериального подхода. В результате оценки, выставляемые ими, не являются количественными, хотя и имеют вид количественных, и, следовательно, не сопоставимы ни во времени, ни территориально. Поэтому их и статистически можно обрабатывать лишь как качественные величины (непараметрические методы, ранговый анализ). Это является препятствием для определения уровня обученности, который обеспечивается в целом учебным заведением, а значит не позволяет принять обоснованное решение о его аттестации или аккредитации. Серьезным шагом на пути решения этой проблемы является создание системы централизованного тестирования абитуриентов и системы "Телетестинг". Однако трудно представить, чтобы эти системы тестирования были развиты в таком направлении, которое позволило бы применить их непосредственно в учебном процессе. Дело в том, что разработчики этих систем предприняли попытку непосредственного измерения предметной обученности. Прямым следствием такого подхода явилась необходимость активного участия тестируемого в процессе тестирования, необходимость проводить тестирование в один день по всей России, невозможность повторного использования стимульного материала, недопустимость участия предметников в тестировании и связанные с этим огромные организационные сложности и огромная трудоемкость проведения тестирования.

3. Но самое главное, что измерение степени соответствия уровня обученности требованиям образовательных стандартов является всего лишь первым, хотя и очень важным шагом на пути к созданию системы управления уровнем обученности. Ведь ясно, что измерение уровня обученности является не самоцелью, а лишь призвано дать руководителям учебного процесса информацию для принятия решений о корректировке этого процесса в таком направлении, которое позволило бы достичь целевых состояний обучаемых.

Авторы предлагают строить систему управления качеством образования как классическую автоматизированную систему управления (АСУ). Одной из важнейших специфических особенностей данной системы является то, что объектом управления в данной системе является студент (в исходном состоянии – абитуриент), с формальной точки зрения представляющий собой сложную слабодетерминированную многопараметрическую систему. Текущее состояние студента, как объекта управления, характеризуется определенным учебно-профессиональным и социально-психологическим статусом, в качестве целевого состояния может быть принято состояние: "Профессионал в определенной предметной области". Управляющими воздействиями являются различные факторы учебного процесса, включающие материально-техническую базу, научно-методическое обеспечение, социально-психологический и профессиональный статус преподавателей, в том числе их загруженность работой, не имеющей отношения к учебному процессу.

Для построения системы управления качеством образования необходимо построить адаптивную количественную математическую модель, отражающую влияние предпосылок и актуальных факторов на перевод объекта управления из текущего состояния в целевое состояние. Адаптивная система анализа и прогнозирования состояний сложных систем "Дельта" является инструментальным программным средством, обеспечивающим решение данной проблемы путем ее декомпозиции в определенную последовательность задач:

1. Определить и обосновать минимальный достаточный набор наиболее значимых прямых и косвенных критериев качества образования, обеспечивающих территориальную и временную сопоставимость педагогических измерений и имеющих заданные статистические свойства и смысл. Принципиально важно, что в качестве индикаторов, несущих информацию об уровне реальных и потенциальных учебных и профессиональных достижений студентов, могут выступать не только результаты решения тестовых заданий, но и любые другие данные, например признаки фоторобота, подчерка и другие данные, которые могут быть получены без активного участия студента.

2. Обеспечить мониторинг качества образования и создать базы данных, на основе анализа которых:

– обеспечить синтез и применение профессиограмм абитуриентов, студентов и преподавателей; вести рейтинговый мониторинг студентов и преподавателей;

– выявить зависимости между социально–психологическим статусом студентов и факторами учебного процесса с одной стороны, и учебными и профессиональными достижениями студентов, с другой.

3. Обеспечить решение задач прогнозирования учебных и профессиональных достижений, а также задач поддержки принятия решений по управлению учебным процессом и качеством образования.

Решение рассмотренных проблем с применением предложенной методологии и инструментария позволяет существенно повысить качество образования.

 

4.6. О ТРЕБОВАНИЯХ, ПРЕДЪЯВЛЯЕМЫХ К ТЕСТОВЫМ ЗАДАНИЯМ И ТЕСТАМ ПО ПРЕДМЕТНОЙ ОБУЧЕННОСТИ

 

Одной из приоритетных задач, возникающих при построении современной системы образования, обеспечивающей интеграцию в мировое образовательное пространство, является создание системы управления качеством подготовки специалистов, обеспечивающей соответствие международным требованиям в области образования, определяемым стандартом ISO–9000 (International Organization for Standartion Quality in Education).

Очевидно, система управления качеством образования в качестве одной из основных компонент должна включать систему мониторинга образовательного процесса, обеспечивающую периодическое измерение уровня предметной обученности.

Традиционный подход, основанный на проведении срезов и контрольных работ, не обеспечивает пространственно-временную сопоставимость измерений учебных достижений учащихся даже в пределах одного региона и одного учебного года. Этот недостаток может быть компенсирован применением учебных тестов, которые в последнее время становятся все более популярными.

В частности широкое распространение получило Централизованное тестирование абитуриентов и система Телетестинг, предназначенные для тестирования абитуриентов. Имеются и тесты, предназначенные для измерения уровня предметной обученности непосредственно в учебном процессе.

Качество применяемых тестов во многом определяется свойствами тестовых заданий. Авторы считают, что для того, чтобы соответствовать своему назначению и тестовые задания, и сами тесты должны удовлетворять вполне определенным требованиям, которые могут и должны иметь количественное выражение.

Например, для каждого задания должно быть известно:

1. Раздел учебного плана, проверяемый данным заданием.

2. Уровень освоения учебного материала, необходимый для успешного выполнения данного задания.

3. Сложность (решаемость) данного задания для учащихся на практике.

4. Информативность данного задания, т.е. количество информации, содержащейся в степени решения данного задания учащимся о принадлежности данного учащегося к группам аттестованных и не аттестованных.

5. Ошибка измерения обученности с помощью данного задания.

6. Скорость сходимости и предел ошибки измерения обученности при увеличении объема выборки.

7. Вероятность угадывания правильного ответа для данного задания.

Каждому заданию может быть приписан некоторый интегральный критерий качества, являющийся функцией приведенных свойств.

Тесты учебных достижений также должны удовлетворять определенным требованиям: быть сопоставимыми по сложности и измеряемым параметрам обученности, определять степень соответствия уровня предметной обученности требованиям образовательных стандартов; обеспечивать мониторинг уровня обученности, для чего необходимо включать в тест задания с более широким диапазоном сложности и более широкими требованиями к уровню освоения учебного материала, а также выходящие за пределы учебного плана; содержать некоторый процент заданий с неизученными на практике свойствами, с целью их апробации и возможного использования в будущих тестах.

Кроме того, тесты учебных достижений должны в перспективе обеспечивать выявление зависимостей между решаемостью заданий и тем, поступил абитуриент в вуз или не поступил, а также успешностью его обучения в вузе на различных курсах и по различным предметам, успешностью его будущей профессиональной деятельности.

Предлагаемые в данной работе методология, инструментальные средства и технологии позволяют решить эти проблемы.