ГЛАВА 2. СИСТЕМНО-КОГНИТИВНЫЙ АНАЛИЗ
ПЕДАГОГИЧЕСКОЙ ИНФОРМАЦИИ ВУЗА КАК ФАКТОР
УПРАВЛЕНИЯ КАЧЕСТВОМ ПОДГОТОВКИ КАДРОВ
Стремительно развивающиеся процессы глобальной информатизации общества
оказали существенное влияние и на сферу образования. В последнее время в
аграрных и других вузах резко возросли объемы генерируемой и обрабатываемой
педагогической информации. Стихийно и целенаправленно создаются электронные
банки данных педагогической информации, образовательные порталы. Все эти работы
требуют значительных затрат труда и времени профессорско-преподавательского
состава (ППС) вузов и большого количества технических специалистов в области
информационных технологий, а также предполагают наличие соответствующего
компьютерного и коммуникационного оборудования. Все это – это уже свершившийся
факт. С другой стороны, возникает закономерный вопрос о степени осмысленности и
целесообразности отдельных аспектов этого процесса в том виде, в каком он
фактически осуществляется, и оценки его влияния на выполнение миссии ВУЗа
вообще: «Подготовки качественных специалистов», в частности для регионального
агропромышленного комплекса (АПК). По всей видимости, в настоящее время этот
процесс развивается стихийно, и никем не спланирован, с учетом с одной стороны
затрат различного рода на его осуществление, а с другой стороны - обеспечения
его эффективности с точки зрения достижения поставленных целей и получения
заданных желаемых результатов, как в натуральном, так и в стоимостном
выражении. Осмысленность и оправданность же этому процессу может придать только
его существенное положительное влияние на повышение качества образования,
причем только при разумных адекватных затратах. Для аргументированного ответа
на эти актуальные вопросы авторы предлагают применить теорию рефлексивного
управления активными объектами, автоматизированный системно-когнитивный анализ
(АСК-анализ), функционально-стоимостной анализ (ФСА) и метод «Директ-костинг».
Имеется задел для решения поставленной проблемы: это большой опыт
преподавательской и научной деятельности, успешный опыт применения АСК-анализа
и ФСА для управления персоналом; программный инструментарий АСК-анализа –
интеллектуальная система «Эйдос», находящаяся в полном открытом бесплатном
доступе
2.1. Введение
Стремительно развивающиеся процессы глобальной
информатизации общества оказали существенное влияние и на сферу образования. В
последнее время в аграрных и других вузах резко возросли объемы генерируемой и
обрабатываемой педагогической информации, возросло и количество самих
документов. В таблице ниже приведен перечень некоторых педагогических материалов:
Перечень
учебно-методической и нормативной документации к
государственной аккредитации для кафедр университета, осуществляющих подготовку
кадров по программам подготовки научно-педагогических
кадров в аспирантуре
|
№ п/п |
Наименование документов |
|
1 |
Учебные планы по очной и заочной формам обучения по профилю |
|
2 |
График учебного процесса |
|
3 |
Федеральный государственный стандарт по направлению подготовки |
|
4 |
Рабочие программы дисциплин подготовки аспирантов |
|
5 |
Учебные и учебно-методические пособия по дисциплинам: Ø Курс лекций; Ø Методические указания по проведению практических занятий; Ø Методические задания для самостоятельной работы |
|
6 |
Фонды оценочных средств по дисциплинам по профилю |
|
7 |
Программы кандидатских экзаменов по профилю |
|
8 |
Сведения об обеспеченности обучающихся учебной, учебно-методической литературой |
|
9 |
Договоры о проведении практик |
|
10 |
Программы практик |
|
11 |
Фонды оценочных средств для практик |
|
12 |
Приказы о прохождения практики |
|
13 |
График защиты отчетов по практике |
|
14 |
Отчеты по практикам |
|
15 |
Журнал инструктажа по прохождении практики по техники БЖД |
|
16 |
Методические указания для проведения итоговой аттестации |
|
17 |
Фонды оценочных средств для промежуточной и итоговой аттестации. |
|
18 |
Критерии оценки различных форм текущего контроля успеваемости |
|
19 |
Перечень примерных тем выпускных квалификационных работ аспирантов, утвержденные на ученом совете факультета (Утвердить ученым Советом факультета в сентябре 2014г.) |
|
20 |
Планы НИР кафедр и отчеты о выполнении за 5 лет |
|
21 |
Документация, подтверждающая наличие современной научной базы (характеристика современного оборудования, сертифицированные специалисты, экспериментальная база вуза и возможности аспирантов) |
|
22 |
Индивидуальный план аспиранта |
|
23 |
Сведения о публикации преподавателей, обеспечивающих образовательный процесс по дисциплинам |
|
24 |
Индивидуальные планы преподавателей кафедр |
|
25 |
Копии документов, подтверждающие повышение квалификации ППС за 5 лет |
|
26 |
Отчеты обучающихся по НИР |
|
27 |
Индивидуальные планы научно-исследовательской работы обучающихся, |
|
28 |
Протоколы кафедры по обоснованию темы НИР, обсуждение плана и промежуточных результатов исследования |
|
29 |
Сборники конференций и т.д. |
|
30 |
Журнал индивидуальных консультаций с научным руководителем (отметка не реже 1 раза в месяц, на каждого руководителя) |
|
31 |
Папка научных достижений аспиранта (копии статей, грамот и т.д.) |
Эти документы касаются аспирантуры и разрабатываются
по всем специальностям. Но аналогично и по бакалавриату, и по магистратуре.
Затем некоторые из этих материалов размещаются в
полном открытом бесплатном доступе на сайте университета и на образовательных порталах
университета. Таким образом, стихийно и целенаправленно создаются электронные
банки данных педагогической информации.
Все эти работы продолжаются уже много лет[1] и
требуют очень значительных затрат
высококвалифицированного труда и времени
профессорско-преподавательского состава (ППС) вузов, большого количества
вспомогательных специалистов (лаборантов, учебных мастеров) и технических
специалистов в области информационных технологий, а также предполагает наличие
соответствующего компьютерного и коммуникационного оборудования.
Более того, сами шаблоны этих материалов, включая и
содержательную часть, постоянно меняются, иногда даже по нескольку раз в месяц,
что влечет за собой необходимость их изменения. А ведь преподаватели ведут по
несколько дисциплин, чтобы набрать нагрузку на ставку.
Все вышеописанное – это уже свершившийся факт.
2.2. Постановка проблемы
В этой связи у специалистов, имеющих отношение к этим
процессам и работам, возникают закономерные вопросы.
1-й вопрос о том, в какой степени все эти работы по реализации решений об
изменении номенклатуры, шаблонов и содержания педагогических материалов
способствует повышению качества образования и реализации миссии образования?
2-й вопрос о том, какова наиболее рациональная технология и инфраструктура
проведения этих работ?
3-й вопрос о том, какие условия
необходимы для выполнения этих работ?
4-й вопрос о том, какие сроки и трудоемкость
этих работ, каковы необходимые затраты
для их выполнения и на сколько эффект
от полученного результата превышает
эти затраты (или эти затраты убыточны)?
У авторов тоже возникают эти вопросы, и данная работа является
попыткой найти научные подходы к аргументированным ответам на них.
Итак, налицо проблемная
ситуация: с одной стороны, система высшего образования сталкивается с
необходимостью разработки все большего количества и все больших объемов
различных видов педагогических материалов, а с другой стороны непонятно, в
какой степени это способствует достижению миссии
образования.
2.3. Подходы к решению проблемы
Рассмотрим авторский вариант ответа на поставленные
вопросы.
2.3.1. Количественное определение
степени и направления
влияния значений факторов на результат
Ответ на 1-й вопрос о том, в какой степени все эти работы по реализации
решений об изменении номенклатуры, шаблонов и содержания педагогических
материалов способствует повышению качества образования и реализации миссии
образования? По мнению авторов решения об изменении номенклатуры, шаблонов или
содержательной части педагогических материалов можно принимать только в том
случае, если убедительно научно доказано, что это окажет существенное положительное влияние на повышение качества образования
и реализацию миссии образования и вуза. При этом необходимо, чтобы при принятии
подобных решений были даны конкретные ответы (в т.ч. с указанием источников,
сроков и объемов ресурсного
обеспечением) и на остальные вопросы о том, какая технология, инфраструктура и
другие условия, необходимы для выполнения этих решений, и о том каковы сроки и
трудоемкость их выполнения, какова натуральная и финансово-экономическая
эффективность затрат на выполнение этих решений.
Само количественное
определение степени и направления влияния значений факторов на результаты
обучения предлагается осуществлять на основе системно-когнитивных моделей
[11, 13]. Подробнее в данной работе эти вопросы рассматривать нецелесообразно,
т.к. они подробно освещены в других работах [1-13].
2.3.2. Рациональная технология и
инфраструктура
проведения работ
Ответ на 2-й вопрос о том, какова наиболее рациональная технология и
инфраструктура проведения этих работ? В настоящее время сотни тысяч
профессоров, доцентов и просто преподавателей делают новые варианты
педагогических материалов из внезапно устаревших, используя в основном
сочетания клавиш Ctrl+C, Ctrl+V. Спрашивается, неужели в век
научно-технического прогресса и информационных технологий, иногда даже говорят
«информационного общества» и «общества, основанного на знаниях», невозможно
придумать и разработать какую-то более рациональную форму или технологию
проведения этих работ, если уж они так уж необходимы (хотя в их необходимости
тоже есть некоторое сомнение и об этом был первый вопрос)? Развернутый
аргументированный ответ на этот вопрос был дан 4 год назад в работе [1]. Здесь
же отметим лишь, что, на взгляд авторов, необходимо отделить форму (шаблон)
педагогических материалов от их содержания, обязав ППС заниматься только содержательной
частью полностью освободив их от
оформительской работы и многочисленных ручных выборок из различных документов.
Спрашивается, какой смысл в этом копировании, если вся необходимая информация и так есть в первичных документах? Но
если все же это необходимо, то эти многочисленные выборки технически могут и
должны осуществляться автоматически в технологии распределенных баз данных с
on-line доступом уровневыми правами доступа со всеми визирующими, согласующими
и утверждающими подписями. При необходимости распечатки педагогических
материалов может быть выбран нужный шаблон, в котором и она и будет сделана.
Для выполнения подобных работ должна быть создана определенная иерархическая
инфраструктура, имеющая и федеральный и региональный уровни, и уровень вузов,
факультетов, кафедр и конкретных преподавателей. Существующая в настоящее время
инфраструктура вузов для этого малопригодна.
2.3.3. Условия, необходимые для выполнения
работ
Ответ на 3-й вопрос о том, какие
условия необходимы для выполнения этих работ? Это вопрос о том, что
необходимо, чтобы выполнить решения об изменении номенклатуры, шаблонов и
содержания педагогических материалов.
Рассмотрим ответ на этот вопрос на небольшом примере
разработки части фонда оценочных средств (ФОС). ФОС включает в себя кроме
других материалов также тесты учебных
достижений или педагогические измерительные материалы, предназначенные для измерения
уровня предметной обученности учащихся. В настоящее время считается, что
разрабатывать эти тесты и измерительные материалы должны профессора и доценты
вузов, т.к. именно их обязывают выполнять эту работу.
Какая необходима компетентность
кадров, выполняющих эту работу (3.1), какой объем
исходных данных (3.2) и какие программные
инструментальные средства (3.3) необходимы для ее выполнения, и, самое главное,
когда все это делать (3.4) и как эта дополнительная высококвалифицированная объемная работа будет оплачиваться
(3.5)?
2.3.3.1. Технология разработки
педагогических измерительных инструментов (тестов уровней предметной
обученности)
Для предметного, конкретного и научно
аргументированного ответа на эти вопросы кратко рассмотрим порядок
разработки педагогических измерительных инструментов (тестов уровней предметной
обученности). Прежде всего, отметим, что такие материалы
разрабатываются по каждой
преподаваемой дисциплине для всех специальностей.
Должны быть разработаны вопросы (или другой стимульный
материал) для тестов с несколькими вариантами ответов на каждый из них.
Это не только очень не простая в научном отношении, но
и просто очень трудоемкая задача, т.к. вопросы должны удовлетворять определенным
жестким требованиям и критериям.
Прежде всего, вопросы должны перекрывать (охватывать)
все разделы учебного плана и по каждой теме и учебному вопросу должно быть определенное
количество тестовых вопросов. Самих вопросов должно быть очень много. Например,
в распространенной сейчас системе Имаго в окончательном варианте теста должно
быть по 300 вопросов по каждой дисциплине. Кто пробовал просто написать такое
количество вопросов с вариантами ответов на них, тот знает, как это тяжело. Но
и это еще не самое сложное.
Затем необходимо определить ценность вопросов для решения задачи классификации учащихся по
уровням предметной обученности и выбросить все бесполезные и малоценные
вопросы, оставив, например, 300. Ясно, что если чтобы в окончательном варианте
теста оставить 300 вопросив, в исходном варианте теста их должно быть
значительно больше (как показывает опыт авторов – в несколько раз). Такой
первоначальный вариант теста, в котором вопросов в несколько раз больше, чем
необходимо в окончательном, называют пилотным вариантом теста.
Но, самое главное, что для того, чтобы выполнить этот
этап, необходимо провести реальное[2] тестирование учащихся
с помощью пилотного варианта теста и потом математически обработать
результаты тестирования. Ясно, что тестировать надо учащихся, изучивших уже
весь учебный курс. Уже одно это означает, что разработка теста педагогических
достижений никак не может занимать меньше года, а преподавателям отводят на это
несколько дней. Это можно объяснить только тем, что те, кто это требует, вообще
не представляют себе, чего именно они требуют или они тоже вынуждены делать
вид, что это нормально. Кроме того, для проведения пилотного тестирования
необходимы соответствующие полномочия и время, которые простые
преподаватели, включая профессоров и доцентов, не имеют. Значит необходимо
соответствующие организационные решения, планирование и юридическое обеспечение,
которые должны быть разработаны и в
настоящее время полностью отсутствуют.
Для математической обработки результатов тестирования
необходимо соответствующее программное обеспечение, которое
должны быть типовым для все вузов, решение о чем должно быть приято на
федеральном уровне. Это программное обеспечение еще только должно быть разработано,
т.е. в настоящее время его нет. Хотя как его прототип есть основания
рассматривать универсальную когнитивную аналитическую систему «Эйдос»,
разработки автора [2, 3]. Это одна из немногих систем, которая одновременно
является и инструментарием для разработки тестов, и средой для их применения в
адаптивном режиме, и, по-видимому, единственная подобная система, находящаяся в
полном открытом бесплатном доступе на сайте автора [3].
Для количественной оценки ценности вопросов для
разделения учащихся по группам уровней предметной обученности авторы
предлагают применить подход, описанный в статях [4, 5, 6]. Суть этого подхода состоит в том, что сначала
рассчитывается матрица абсолютных частот встречи разных ответов на вопросы в
разных группах учащихся, отличающихся уровнем предметной обученности. Кстати,
для построения измерительной системы всегда необходимо как минимум два
независимых истопника (канала) информации об объектах измерения (в данном
случае учащихся). Первый канал – это ответы учащихся на вопросы пилотного
теста, а второй канал – это экспертная оценка уровня предметной
обученности данного учащегося, т.е. по сути его оценка преподавателем, ведущим
дисциплину. Затем на основе матрицы абсолютных частот рассчитывается матрица 
-квадрат и матрица условных и безусловных процентных распределений
ответов по группам учащихся (классам) и по всей выборке, и, на основе
последней, матрицы системно-когнитивных моделей, в частности, матрица
информативностей. В этой матрице информативностей строками являются варианты
ответов на вопросы, колонками – группы учащихся по уровням предметной обученности
(классы), а в клетках находится количество информации в битах о том,
что учащийся относится к той или иной группе по уровню предметной обученности,
содержащееся в его определенном ответе на тот или иной вопрос (это частный
критерий). Считается, что учащийся относится к той группе по уровню
предметной обученности, о принадлежности к которой во всех его ответах
содержится больше всего информации (это аддитивный интегральный критерий).
По сути в предлагаемом
варианте идет речь о применении нормативного подхода к тестированию,
при котором индивидуальные результаты тестирования сравнивается не с
критериями, а с определенной базой сравнения, в качестве которой выступает
«норма», т.е. в данном случае среднее или картина по всей выборке.
Критериальные тесты могут быть при необходимости разработаны на основе тестов,
созданных на базе нормативного подхода, т.к. по сути, критериальные тесты
являются ключами или измерительными шкалами, созданными на основе нормативных
тестов.
Анализ матриц условных и
безусловных вероятностей, -квадрат, информативностей и других системно-когнитивных
моделей [5] показывает, что все варианты ответов на вопросы могут быть
разделены на три основные категории:
– к 1-й категории
относятся варианты ответов, которые встречаются только в одной группе учащихся
по уровню предметной обученности, а в других не встречаются (это так называемые
детерминистские
признаки,
которые позволяют однозначно
определить принадлежность учащегося к обобщенной группе или классу);
– ко 2-й категории
относятся варианты ответов, которые никогда не встречаются ни в одной группе
учащихся по уровню предметной обученности или встречаются во всех группах с
равной вероятностью (это так называемые бесполезные признаки, которые вообще не играют никакой роли для разделения
учащихся по классам);
– к 3-й категории
относятся варианты ответов, которые встречаются в разных группе учащихся по
уровням предметной обученности с разными вероятностями (это так называемые статистические
признаки,
которые могут оказаться более или менее
полезными для разделения учащихся по классам, т.е. могут быть полезными
почти как детерминистские признаки, а могут быть и почти бесполезными, но чаще
всего занимают промежуточное положение между этими полюсами).
Наиболее ценными для разделения
учащихся по классам являются детерминистские признаки (т.е. варианты
ответов на вопросы).
Бесполезными для разделения
учащихся по классам являются очень простые вопросы, на которые все
учащиеся без труда отвечают правильно, и очень сложные, на которые не могут
правильно ответить не только учащиеся, но и их преподаватели.
Статистические признаки могут иметь различную ценность
для разделения учащихся по классам: от
ценности детерминистских признаков, до ценности бесполезных признаков, т.е. до
0.
Авторы
предлагают в качестве количественной
меры ценности признака для разделения учащихся по
классам использовать вариабельность значений в строке, соответствующей признаку,
в матрицах условных и безусловных вероятностей, -квадрат, информативностей и других системно-когнитивных
моделей [5].
По матрице условных и безусловных вероятностей мы можем определить
ценность признаков следующим образом. Если условные вероятности встречи
признака в разных группах сильно отличаются, то признак является ценным, если
же они отличаются незначительно – то почти бесполезным.
Например, если у учащегося
за дверью, длинные волосы, то скорее всего это студентка, т.к. условная
вероятность встретить длинные волосы в группе «студентки» значительно выше, чем
в среднем по выборке, если же у него брюки, то это не меняет результата
классификации, т.к. условная вероятность встретить брюки очень незначительно
отличается в группах «студентки», «студенты» и по всей выборке. Таким образом,
признак: «длинные волосы» имеет высокую ценность для классификации учащихся по
группам «студентки» и «студенты», а «брюки» – низкую. Знание того, есть ли
учащегося мобильный телефон является совершенно бесполезным для определения
того, студент он или студентка.
По матрице информативностей мы можем определить ценность признаков в
терминах количества информации. Если признак содержит много информации о
принадлежности к одним группам по уровню предметной обученности и много
информации о не принадлежности к другим группам, т.е. если количество
информации в признаке о принадлежности и не принадлежности к разным группам
сильно отличается, то признак является ценным, если же количество информации в
признаке о принадлежности и не принадлежности к разным группам отличается
незначительно – то признак почти бесполезный (малоинформативный или неинформативный).
Если продолжить пример с классификацией
учащихся по группам «студентки» и «студенты», то можно сказать, что в признаке
«длинные волосы» содержится много информации о том, что это студентка, а в
признаке «брюки» мало информации о том, что это студент. В признаке «есть телефон»
будет ноль информации об этом. Ясно, что в обоих признаках «длинные волосы» и
«брюки» суммарно[3] будет много информации о принадлежности учащегося с этими
признаками к группе «студентки» и много информации о непринадлежности к группе
«студенты».
Теперь, когда мы рассмотрели основные этапы разработки
тестов уровня предметной обученности (педагогических измерительных систем), мы
можем более предметно, конкретно и аргументировано ответить на вопросы,
поставленные выше: какая необходима компетентность кадров, выполняющих эту
работу (3.1), какой объем исходных данных (3.2) и какие программные
инструментальные средства (3.3) необходимы для ее выполнения, и, самое главное,
когда все это делать (3.4) и как эта дополнительная высококвалифицированная
объемная работа будет оплачиваться (3.5)?
2.3.3.2. Компетентность кадров
выполняющих работу
Итак, ответим на вопрос 3.1. «Какая
необходима компетентность кадров, выполняющих эту работу?» Если кратко,
то она должна быть высокой, на столько высокой, что в настоящее время ею
обладают лишь единицы: профессиональные разработчики педагогических
измерительных систем и тестов уровней предметной обученности[4] (и
судя по всему среди тех, кто все это придумал и обязывает ППС разрабатывать эти
тесты, таких вообще нет). Проще говоря того, что описано в данной работе, т.е.
того, как это вообще делается профессионально, практически никто просто не
знает (включая руководство). Но все разрабатывают такие тесты, вернее то, что
неоправданно называется такими тестами, а по сути является профанацией и
дискредитирует, компрометирует саму идею тестирования в педагогике.
Таким образом на лицо проблема[5]:
фактически сложилась нежелательная ситуация с разработкой и применением
педагогических измерительных систем и тестов уровней предметной обученности:
эти тесты разрабатываются с нарушением соответствующей технологии и результаты
их применения не корректны и несопоставимы, и желательно решить этот вопрос на
профессиональном уровне, быстро, но на длительную перспективу.
Как решить сформулированную проблему, т.е. как
исправить эту нежелательную ситуацию? Авторы видят два варианта: малореальный,
основанный на незначительном улучшении фактически имеющейся ситуации, и более
реальный, представляющий собой кардинальное предложение по полному решению
поставленной проблемы.
Малореальный вариант:
– ввести в учебные планы по всем специальностям новую учебную дисциплину (базовой части)
«Разработка и применение в адаптивном режиме педагогических измерительных
систем и тестов уровней предметной обученности»;
– разработать научное обоснование и комплекс
учебно-методических материалов (УМК) по этой новой дисциплине, включая
полноценное учебное пособие и комплект материалов юридического и программного
(инструментального) обеспечения;
– ввести преподавание этой дисциплины на всех
специальностях;
– организовать обязательное повышение квалификации ППС
по этой дисциплине;
– обязать ППС разрабатывать педагогические
измерительные системы и тесты уровней предметной обученности с соблюдением
технологии;
– ввести сертификацию педагогических измерительных
систем и тесты уровней предметной обученности с соблюдением технологии;
– решить вопрос с оформлением авторских прав ППС на
разработанные педагогические измерительные системы и тесты уровней предметной
обученности;
– решить вопрос с доплатой ППС за разработку
педагогических измерительных систем и тестов уровней предметной обученности
(можно в форме часов учебной нагрузки).
Основную причину нереальности этого предложения авторы
видят в том, что даже при выполнении всех вышеперечисленных пунктов все равно
трудно себе представить, чтобы профессора и доценты разрабатывали пилотные
тесты, апробировали их на учащихся, математически обрабатывали
результаты апробации в какой-либо программной системе, пусть даже
готовой и предназначенной для этого, выделяли наиболее ценные для классификации
учащихся по уровням обученности варианты вопросов и ответов, и создавали на их
основе уже реальный тест для его применения. Кстати сказать, система Имаго,
сейчас не позволяет использовать тесты, разработанные по предлагаемой
технологии, т.к. в ней просто подсчитывается процент правильных ответов и все
вопросы считаются имеющими одинаковую ценность, а в предлагаемой технологии
ответы на вопросы рассматриваются как несущие то или иное количество информации
о принадлежности или не принадлежности учащегося к тем или иным уровням
предметной обученности.
Поэтому предлагается более реальный вариант решения
проблемы, который состоит в том, чтобы создать в системе Федерального
Министерства образования и науки Всероссийский Научно-исследовательский и
проектно-технологический институт педагогических измерительных систем и тестов
уровней предметной обученности и возложить на него обязанности:
– разработки этих систем и тестов для
всей системы МОН и ведомственных учебных заведений, как высших, так и средних,
по всем специальностям и дисциплинам;
– подготовки новых и повышения
квалификации имеющихся кадров по применению этих систем и тестов в самих
учебных заведениях (для этого у федерального института должна быть сеть
региональных филиалов);
– управления применением этих систем и
тестов (не надзор, как обычно, и не мониторинг, а именно управление).
Отметим, что все эти функции вместе включает
«Контроллинг» [9].
При этом этот институт мог бы и привлекать ППС вузов
на отельных этапах работ на договорной основе.
Этот вариант представляется более реалистичным, т.к. разработка педагогических измерительных
систем и тестов уровней предметной обученности – это специальная работа,
которой надо заниматься специально и профессионально, имея на это
соответствующие полномочия и выполняя государственный заказ.
2.3.3.3. Объем исходных данных,
необходимый для разработки педагогических измерительных систем и тестов уровней
предметной обученности по одной дисциплине
Ответим на вопрос о том, 3.2. какой объем исходных
данных необходим для разработка педагогических измерительных систем и тестов
уровней предметной обученности по одной дисциплине? Критерий простой:
если при увеличении объема исходных данных результатов апробации пилотных
тестов при определении ценности вариантов ответов на вопросы эта ценность
перестают изменяться в такой степени, что изменяется рейтинг ответов в порядке
убывания ценности, то процесс дальнейшего накопления данных апробации есть
основания прекратить, т.к. они новые данные уже не приводят к изменению
рейтинга. Авторы очень сомневаются, что апробации пилотных тестов в течение
года в одном вузе окажется достаточно по этому критерию. Предлагается
использовать апробацию во многих вузах. Для этого необходим федеральный
уровень. На региональном уровне может быть разработано только большое
количество несопоставимых тестов, не образующих единой системы и при этом с
огромным дублированием работ, т.е. с большими неэффективными затратами.
2.3.3.4. Программные
инструментальные средства, необходимые
для разработки педагогических измерительных систем
и тестов уровней предметной обученности по одной
дисциплине
Ответим на вопрос о том, 3.3. какие программные
инструментальные средства необходимы для разработка педагогических измерительных
систем и тестов уровней предметной обученности? По мнению авторов для
этого необходима разработка новых программных средств, к которым бы
авторизованные пользователи по всей России имели on-line доступ в соответствии
со своими правами доступа. В качестве локального (и частично on-line) прототипа
можно было бы использовать систему «Эйдос» [1, 2, 3], которая обеспечивает и
разработку педагогических измерительных систем и тестов уровней предметной
обученности, и их эксплуатацию в адаптивном режиме, причем с учетом
рекомендаций функционально-стоимостного анализа (ФСА) и метода «Директ-костинг»
[6].
На вопросы 3.4. «когда все это делать» и 3.5 «как
эта дополнительная высококвалифицированная объемная работа будет оплачиваться»,
у авторов ответов нет, т.к. эти вопросы относятся к компетенции вышестоящих
инстанций. Но, на сколько известно, сейчас ответов на эти вопросы нет не только
у авторов, а их вообще нет.
2.4. Оценки сроков и трудоемкости работ, необходимых
затрат для их выполнения и эффекта от полученного
результата
4-й вопрос это скорее не вопрос, а целая группа взаимосвязанных вопросов о том,
какие сроки и трудоемкость этих работ, каковы необходимые затраты для их
выполнения и на сколько эффект от полученного результата превышает эти затраты
(или может быть эти затраты убыточны)?
Смысл этого вопроса можно сформулировать и проще:
«стоит ли овчинка выделки», т.е. оправданы ли все эти довольно большие затраты
труда и времени сотен тысяч профессоров и доцентов из всех вузов по всей России
на разработку все больших и больших объемов и номенклатуры постоянно меняющихся
педагогических материалов, дают ли эти
без преувеличения сказать колоссальные затраты (авторы знают это «не понаслышке»)
соразмерное этим затратам, т.е. столь же колоссальное, повышение качества
образования и соразмерное затратам положительное влияние на реализацию миссии
образования вообще и вузов в частности?
Итак, мы имеем все основания задать вопрос[6]: «На
сколько оправданы затраты на разработку все возрастающих объемов бесконечно меняющихся
по своим шаблонам и содержанию педагогических материалов?».
Мы считаем, что этот вопрос давно назрел и знаем, что
практически все коллеги, которых знают авторы, однозначно и уверенно отвечают
на этот вопрос отрицательно. А значит
обоснованно и закономерно возникают вопросы об эффективности и целесообразности
этих затрат и о необходимости пересмотра положения дел в этой чувствительной
области одно упоминание о которой способно сразу ввести ППС в депрессию [7].
По всей видимости в настоящее время этот процесс
развивается стихийно и никем не спланирован с учетом с одной стороны затрат
различного рода на его осуществление, а с другой стороны, обеспечения его эффективности
с точки зрения достижения поставленных целей и получения заданных желаемых
результатов, соразмерным затратам, как в натуральном, так и в стоимостном
выражении.
Осмысленность и оправданность же этому процессу может
придать только его существенное положительное влияние на повышение качества
образования, причем только при разумных адекватных затратах на это.
Любые решения
в области изменения оформительских или содержательных требований к
учебно-методическим материалам или введение в практику новых педагогических
материалов допустимы только в том случае, если до этого убедительно научно
обосновано их существенное влияние на повышение качества образования, а затраты
труда и времени ППС и технических специалистов, необходимые для этого,
соизмеримы с эффектом от полученного результата и есть соответствующее обеспечение.
Для аргументированного ответа на эти актуальные
вопросы авторы предлагают применить теорию рефлексивного управления активными
объектами, автоматизированный системно-когнитивный анализ (АСК-анализ),
функционально-стоимостной анализ (ФСА) и метод «Директ-костинг» [8, 9, 10, 11].
Кратко АСК-анализ кратко описан в работе [11], а
подробно в [12].
Имеется задел для решения поставленной проблемы: это
большой опыт преподавательской и научной деятельности, успешный опыт применения
АСК-анализа и ФСА для управления персоналом; программный инструментарий
АСК-анализа – интеллектуальная система «Эйдос», находящаяся в полном открытом
бесплатном доступе на сайте автора [4].
2.5. Выводы
Считаем, что на основании вышеизложенного в данной
работе есть все основания сделать следующие предложения:
1. Рекомендовать не изменять требования к содержанию и
оформлению педагогических материалов (шаблоны) чаще, чем один раз в 5 лет
(сейчас это может происходить несколько раз в месяц). Чаще (раз в год) имеет
смысл менять только список рекомендуемой литературы.
2. Сократить количество различных педагогических
материалов с 31 (см. табл. 1, а иногда и более) до 5, не объединяя их, и рекомендовать впредь не увеличивать их количество.
3. Вести ограничение на суммарный объем педагогических
материалов не более 10 страниц на одну дисциплину.
4. Принять все меры к тому, чтобы в перспективе
учебные дисциплины, меньшие по объему, чем 4 з.е.[7] и
сходные или тесно связанные по содержанию были объединены в одну дисциплину
(укрупнить дисциплины), чтобы ограничить количество дисциплин и педагогических
материалов по ним.