ЧАСТЬ 2. ТЕОРЕТИЧЕСКИЙ АНАЛИЗ ПОДХОДОВ
К РЕШЕНИЮ ПРОБЛЕМ

2.1. О ключевых показателях результативности
научной деятельности

В Академии наук

Заседает князь Дундук.

Говорят, не подобает

Дундуку такая честь;

Почему ж он заседает?

Потому что <...> есть.

А.С. Пушкин

Из многих актуальных проблем науковедения рассмотрим методы оценки продуктивности, результативности и качества работы ученого, научной деятельности подразделения, организации, журнала, региона, страны в целом. Показатели продуктивности и результативности научной деятельности используются как важная составная часть при оценке вузов, инновационного потенциала предприятий и т.п.

Для оценки продуктивности и результативности научной деятельности естественно использовать хорошо зарекомендовавшие себя в других предметных областях интеллектуальные инструменты. К таким инструментам относятся, в частности, система сбалансированных показателей, основанная на ключевых показателях эффективности (отсюда и название настоящей главы, с раскрытием понятия эффективности как продуктивности и результативности), а также контроллинг, прежде всего контроллинг научной деятельности. Подробно разработаны и широко применяются два инструмента оценки продуктивности и результативности научной деятельности - наукометрические показатели и экспертные оценки. Их критическому анализу и посвящена настоящая глава.

Различные варианты манипулирования значениями наукометрических показателей в РФ (они рассмотрены в части 1 настоящей монографии), по нашей оценке, пока еще применяются сравнительно редко. Возможно, это связано со сравнительно небольшим сроком использования таких показателей при управления наукой. Поскольку такой показатель, как число цитирований работ исследователя, позволяет объективно оценить его вклад в науку, то применение этого наукометрического показателя для управления наукой оправдано. В то же время число публикаций и особенно индекс Хирша не позволяют объективно оценить эффективность научной деятельности, особенно с учетом свойств реальных библиометрических баз данных. Экспертные процедуры также имеют ряд недостатков. В настоящей главе обсудим реальную эффективность экспертных процедур в таких областях их применения, как присвоение ученых степеней и выборы в государственные академии наук (прежде всего в РАН). Основные принципы экспертизы в рассматриваемых областях остаются неизменными в течение последних 70 лет. На основе анализа практики приходится констатировать недостаточную эффективность экспертных оценок в указанных областях. Обоснование сказанному приведено ниже в настоящей главе.

2.1.1. Проблема оценки эффективности
научной деятельности

Со времен А.С. Пушкина интерес к проблемам управления наукой заметно вырос. Принципиальное продвижение последних лет - появление общедоступных библиометрических баз данных и индексов цитирования. Весьма важно, что администраторы высокого уровня стали их использовать для управления наукой. В нашей стране для сотрудников научно-исследовательских организаций и высших учебных заведений Российский индекс научного цитирования (РИНЦ) стал одной из самых популярных баз данных.

Как следствие, вспух поток публикаций по вопросам оценки эффективности научной деятельности. По нашему мнению, науковедение как научная дисциплина находится еще в зачаточном состоянии [1]. Новым по сравнению с книгой [2], выпущенной в 1969 г., является только появление малообоснованного индекса Хирша. К сожалению, внимание многих авторов сосредоточено на обсуждении модификаций этого вида средней величины, в то время как фундаментальные вопросы остаются в тени.

Настоящая статья стимулирована замечательной работой Е.В. Луценко "Хиршамания" [3]. Из многих актуальных проблем науковедения в настоящей главе рассмотрим методы оценки эффективности и качества работы ученого, научной деятельности подразделения, организации, журнала. Показатели эффективности научной деятельности используются как важная составная часть при оценке вузов [4], инновационного потенциала предприятий и т.п.

Понятие "эффективность научной деятельности " используем в широком управленческом смысле, не сводя его к отношению эффекта к затратам, как делают в экономике. Очевидно, лишь в весьма редких случаях результат научной деятельности можно выразить в стоимостных единицах. Эти редкие случаи обычно предполагают длительный промежуток времени между выполнением научной работы и проведением стоимостной оценки результатов. Отметим, что область применения экономических критериев для оценки эффективности человеческой деятельности довольно узка. Даже оценку эффективности инвестиционных проектов проводят на основе всей совокупности социальных, технологических, экологических, экономических, политических факторов, а отнюдь не только экономических [35].

Для оценки эффективности научной деятельности естественно использовать хорошо зарекомендовавшие себя в других предметных областях интеллектуальные инструменты. К таким инструментам относятся, в частности, система сбалансированных показателей [5], основанная на ключевых показателях эффективности (отсюда и название настоящего раздела), а также контроллинг [6], прежде всего контроллинг научной деятельности [7 - 9].

Подробно разработаны и широко применяются два инструмента оценки эффективности научной деятельности - наукометрические показатели и экспертные оценки. Их критическому анализу и посвящена настоящая глава.

Критика наукометрических показателей была нами (и другими авторами) дана в ряде публикаций. Из них выделим специальный выпуск журнала "Управление большими системами" [10], выпущенный также отдельным изданием [11]. Наша затравочная статья [12] в этом сборнике носила характерное название "Два типа методологических ошибок при управлении научной деятельностью". В итоговой статье [13] был дан критический обзор нескольких десятков материалов указанного сборника. Дальнейшему развитию наших идей посвящены публикации [14 - 19]. В наших работах вслед за классической монографией [2] обсуждались возможности манипуляции наукометрическими показателями (число публикаций, число цитирований, индекс Хирша и др.). Аналогичные соображения, а также примеры реальных манипуляций достаточно широко обсуждаются в литературе (см. [20 - 22] и др.). В письме автору настоящей главы А.С Чуев отметил, что для повышения показателей цитируемости сотрудников вузов и НИИ руководством подобных организаций негласно насаждается порочная практика - рекомендовать к печати лишь те статьи, в которых имеются ссылки (типовое требование - до 30%) на публикации сотрудников своего вуза или НИИ, причем желательно в сторонних журналах. В качестве практической рекомендации предлагалось опираться на применение экспертных процедур для оценки эффективности научной деятельности [23].

В 2014 - 2015 гг. автор настоящей главы анализировал наукометрические показатели РИНЦ для нескольких сотен исследователей. Конкретные результаты анализа отражены в ряде тем Интернет-ресурса [24], в основном в виде многочисленных таблиц, привязанных к определенным моментам времени.

Необходимо уточнить некоторые ранее высказанные положения.

Во-первых, различные варианты манипулирования значениями наукометрических показателей, по нашей оценке, пока еще применяются в РФ сравнительно редко. Возможно, это связано со сравнительно небольшим сроком использования наукометрических показателей при управлении наукой. Поскольку такой показатель, как число цитирований работ исследователя, позволяет объективно оценить его вклад в науку, то применение этого наукометрического показателя для управления наукой оправдано. В то же время число публикаций и особенно индекс Хирша не позволяют объективно оценить эффективность научной деятельности, особенно с учетом свойств реальных библиометрических баз данных. Число цитирований - это показатель результативности научной деятельности. Раз цитируют, значит, работа нужна. Число публикаций - это показатель продуктивности ученого. А индекс Хирша - это произвольно введенная величина, являющаяся средней величиной для распределения числа цитирований по публикациям исследователя. Более простым аналогом является средняя цитируемость - результат деления общего числа цитирований на общее число публикаций.

Во вторых, экспертные процедуры имеют ряд недостатков. В настоящей главе обсудим реальную эффективность экспертных процедур в таких областях их применения, как присвоение ученых степеней и выборы в государственные академии наук (прежде всего в РАН). Основные принципы экспертизы в рассматриваемых областях остаются неизменными в течение последних 70 лет. На основе анализа практики подобных экспертиз приходится констатировать недостаточную эффективность экспертных оценок в указанных областях.

Обоснование сказанному приведено ниже. Настоящая глава содержит также ряд положений, новых по сравнению с нашими предыдущими публикациями.

2.1.2. Фундаментальная наука и прикладная наука

В [1] нами показано принципиальное различие между фундаментальной наукой и прикладной наукой, влекущее столь же принципиальное различие между ключевыми показателями эффективности в этих областях деятельности (см. также главу 1.1 выше). При проведении прикладных научных исследованиях основное для исполнителя - запросы, требования, предпочтения, интересы заказчика. Основной результат таких исследований - сложная техническая система, стратегический план развития фирмы и т.п. - то, что нужно заказчику. Публикации по результатам прикладных научных исследований не являются обязательными, более того, иногда не допустимы из-за соображений государственной или коммерческой тайны. Напротив, фундаментальные научные исследования имеют целью получение нового знания, основной результат таких исследований - публикации в научных изданиях [2].

Конечно, нет непреодолимого барьера между фундаментальной наукой и прикладной наукой. Обсудим взаимосвязи между этими двумя областями человеческой деятельности.

Специалисты прикладной науки зачастую хотят проявить себя в фундаментальной. Прежде всего потому, что при выполнении прикладных работ попутно бывают получены научные результаты более широкого спектра применения, чем это нужно заказчику, т.е получено новое знание, как и при фундаментальных научных исследованиях. Это знание целесообразно отразить в публикациях. Примером является доклад [25], посвященный новым научным результатам в области теории принятия решений и экспертных оценок, полученным при выполнении прикладных научно-исследовательских работ в авиации и ракетно-космической промышленности. Важным для специалистов прикладной науки является также стремление к повышению статуса, конкурентоспособности на рынке труда, шансов на получение новых выгодных заказов и т.п.

Специалисты фундаментальной науки обычно заинтересованы в том, чтобы полученное ими новое знание нашло практическое применение, т.е. хотят сдвинуться в сторону прикладной науки. Кроме морального удовлетворения, этот сдвиг стимулирован стремлением к повышению статуса, конкурентоспособности на рынке труда, шансов на получение увеличенного финансирования и т.п..

В отношении взаимоотношения прикладной науки и фундаментальной науки известному науковеду Ю.В. Грановскому представляется перспективной классификация Организации экономического сотрудничества и развития: чистые фундаментальные исследования; ориентированные фундаментальные исследования; прикладные исследования вообще; стратегические прикладные исследования; конкретные прикладные исследования; экспериментальные разработки. Для целей настоящей главы достаточно ограничиться разделением фундаментальной науки и прикладной науки.

Ключевые показатели эффективности научной деятельности будем обсуждать применительно к фундаментальной науке. Это вполне естественно, поскольку применительно к прикладной науке следовало бы прежде всего рассмотреть особенности различных видов заказчиков.

2.1.3. Всеобщее невежество научных работников
и его следствия

Основная проблема современной науки состоит во всеобщем невежестве научных работников. Это утверждение становится очевидным, если хотя бы примерно оценить объем накопленных научных результатов, а тем более - научных трудов. Каждый специалист может познакомиться не более чем с 2 - 5 % публикаций в своей области.

Еще в 1980-х годах при наукометрическом анализе данных о Первом Всемирном конгрессе Общества математической статистики и теории вероятностей им. Бернулли [26 - 28] нами была дана оценка общего числа актуальных публикаций по тематике конгресса - 10⁶. Актуальными называем те статьи и книги, которые остались в списке после исключения устаревших и поглощенных более поздними. По конкретной области, например, по регрессионному анализу, актуальных публикаций на порядок меньше - 10⁵.

Посмотрим, на какое число публикаций ссылаются наиболее цитирующие авторы. В фундаментальном трехтомном издании [29 - 31] - около 2000 ссылок. Список литературы к семитомнику "Новая хронология" включает 1492 ссылки [32]. В монографии [6] - 843 ссылки. В монографии [57] - 1150 ссылок. Наблюдаем разрыв на два порядка - из порядка 10⁵ потенциальных источников ссылки даются лишь на порядка 10³.

Как же в реальной научной деятельности научные работники справляются со своим невежеством? Ответ хорошо известен - происходит разбиение (фрагментация) всей совокупности научных работников на группы (синонимы: научные коллективы, кланы, научные школы, сообщества). Группа часто состоит из сотрудников одной организации и примкнувших к ним отдельных исследователей из других организаций. Клан обычно обзаводится инфраструктурой (журнал, периодическая конференция, диссертационный совет, научное общество и т.п.), позволяющей его членам вести долговременную научную деятельность. Внутри клана его члены обычно достаточно осведомлены о работах друг друга, в то время как научная деятельность вне клана игнорируется.

Например, секция математики РАН формируется из членов клана, состоящего из сотрудников трех академических институтов математики - в Москве, Санкт-Петербурге и Новосибирске. Все остальные математики России игнорируются. По приблизительной оценке, в этот клан входит тысяча математиков, т.е. 10% от всех математиков России, а 9 тысяч, т.е. 90%, не входит.

Сказанное давно известно. В.В. Налимов писал о "незримых коллективах" [2]. С. Лем предсказывал распад единой науки на "науки районного масштаба", замкнувшиеся внутри отдельных регионов [34]. Предсказание С. Лема сбывается - к настоящему времени во многих региональных центрах на базе нескольких вузов и НИИ складывается "региональная наука" со всей необходимой инфраструктурой.

Конечно, нельзя не отметить наличия связей между "соседними" кланами и дружественными регионами. Действуют аналоги "матричной системы управления" [9, 35] - зачастую исследователь одновременно входит в две структуры: он работает в вузе или НИИ и при этом является членом "незримого коллектива". В вузе или НИИ он выполняет текущую работу среди тех, у кого другие научные специальности и/или интересы, а в "незримом коллективе" общается с "близкими по духу" специалистами.

Ситуация с накоплением знаний хорошо описана В.В. Налимовым и З.Б. Бариновой: «Стремление к разложению изучаемого явления на составные части и к тщательному изучению деталей еще продолжает давать необычайные результаты, но только в новых областях знаний, скажем, в молекулярной биологии. В старых областях знаний этот подход приводит к накоплению невероятного количества частных знаний, которые остаются неиспользованными: они не попадают в монографии, не оказывают влияния на последующие работы. Это, если хотите, старость науки. Здесь, в отличие от биологических организмов, при старении затрудняется не обмен веществ, а обмен идей. Из множества частных знаний не складывается знание о большой системе» [33].

Следующее поколение исследователей входит в свою область в процессе обучения. Следовательно, то, что не вошло в учебники, почти наверняка потеряно для следующих поколений.

В настоящее время происходит принципиально важный переход от бумажных носителей информации к электронным. Резко сократившиеся тиражи - до десятков и сотен экземпляров - ведут к смене роли бумажных изданий. Вместо распространения информации их роль становится престижной и подарочной. Впрочем, при использовании схемы "книга по требованию" само понятие тиража уходит в прошлое.

С одной стороны, публикации в электронных изданиях (при открытом доступе) значительно облегчают распространение научной информации (нет необходимости обращаться в центральные или другие библиотеки). С другой стороны, неоцифрованные публикации привлекают всё меньше внимания. Несколько огрубляя, можно сказать: то, чего нет в Интернете, почти наверняка потеряно.

Перейдем к обсуждению часто применяемых в настоящее время экспертных процедур оценки эффективности научной деятельности. Начнем с присвоения ученых степеней.

2.1.4. Необходимость изменения экспертных
процедур присуждения ученых степеней

В нашей стране достаточно давно обсуждается низкое качество значительного числа диссертаций, коррупция при их подготовке и защите. Число статей на эту тему в средствах массовой информации и в научных изданиях не поддается учету, поэтому приводит ссылки на какие-либо из них излишне.

Очевидно, пока есть желание обзавестись ученой степенью, будет и стремление достичь этого с минимальными трудозатратами. Например, купив готовую диссертацию. В настоящее время Интернет кишит предложениями "диссертаций на заказ". В противовес работает Диссернет, который характеризует самого себя как "вольное сетевое сообщество экспертов, исследователей _и репортеров, посвящающих свой труд разоблачениям мошенников, фальсификаторов и лжецов" [36]. Диссернет выявляет плагиат, прямое заимствование текста.

Но он не может дать защиту от "диссертаций на заказ". Нельзя, анализируя текст, установить, кто его на самом деле написал - диссертант или наемник. (Строго говоря, есть методы сравнения текстов, позволяющие проверить гипотезу о том, один и тот же человек написал два достаточно длинных текста или нет. Но их затруднительно применить в случае диссертаций. Можно выявить лишь заимствование текста.) Очевидно, для надежного выяснения авторства необходимо подробное тщательное обсуждение диссертации с ее автором. Но такого этапа в процедуре защиты нет. За традиционные 15 минут доклада по кандидатской дисертации нельзя глубоко вникнуть в содержание работы. К тому же по традиции "неудачные" ответы диссертанта интерпретируются в его пользу, "списываются" за счет волнения.

Можно посмотреть на ситуацию и с другой стороны - с позиций членов диссертационных советов и авторов отзывов на диссертации и авторефераты. Такая деятельность считается общественной. Доктора наук безвозмездно тратят свое время (оплата работы оппонентов - символическая). Возникает естественное желание уменьшить потерю времени, поручив составление основного содержания отзывов самим диссертантам. Как известно любому активному участнику процесса защиты диссертаций, подобная практика весьма распространена.

Во время защиты член диссертационного совета зачастую рассуждает так: "Раз работу допустили к защите, значит, она соответствует требованиям; надо поддержать". С точки зрения экономии усилий такая позиция вполне оправдана. Выступление против диссертации требует вложения энергии и умственных усилий, может привести к неприятностям.

Нужны ли ученые степени вообще? Их можно сопоставить с воинскими званиями. Как известно, после их отмены в Красной Армии в 1918 г. через некоторое время они они были введены вновь. Причина проста - лицу, принимающему решения, надо знать, с кем имеешь дело, не вникая в подробности биографии этого лица. В настоящее время о научной активности ученого можно получить информацию из РИНЦ, поэтому приведенный в предыдущей фразе аргумент во многом теряет свое значение - основную хорошо представленную информацию можно взять из РИНЦ или другой библиометрической базы.

Подведем предварительный итог обсуждения проблем защит диссертаций. В действующей процедуре доклад о большой научной работе занимает всего около 15 минут (кандидатская диссертация) или 30 минут (докторская). Нельзя надеяться, что члены диссертационного совета глубоко разберутся в работе за время защиты. Наблюдаем неразумную трату времени большого числа квалифицированных специалистов - членов диссертационного совета. Зафиксированная в нормативных документах невозможность доработки текста диссертации в соответствии с высказанными замечаниями лишает стимула обсуждение на защите, делает дискуссию во многом бесцельной. Зачем выявлять недостатки и формулировать предложения по их исправлению, если никакие изменения не будут вноситься в текст?

Из сказанного следует, что процедуры присуждения ученых степеней должны совершенствоваться. Например, можно предложить резкое увеличение времени на защиту (с перерывом на внесение исправлений в диссертацию) при адекватном уменьшении числа членов диссертационного совета, труд которых должен адекватно оплачиваться.

Можно предложить всеобщую аттестацию научных работников с целью подтверждения ученых степеней. Это связано не только с необходимостью разгребания "авгиевых конюшен" накопившихся последствий коррупции, но и с тем, что многие "остепенившиеся" по тем или иным причинам перестают заниматься наукой. Целесообразно отмечать учеными степенями только тех, кто реально работает в науке. Аттестацию целесообразно проводить регулярно, скажем, каждые пять лет. Эта процедура облегчается наличием наукометрических баз данных. Отметим, что в НИИ и вузах фактически такая процедура давно предусмотрена действующим законодательством. Она проводится в ходе периодических конкурсов на занятие должностей научных работников и профессорско-преподавательского состава. Но - часто проводится формально. Целесообразно перейти к аттестации по существу, причем во всех отраслях народного хозяйства. Несложная надстройка над РИНЦ позволит для каждого доктора и кандидата наук автоматически сформировать общедоступную сводку о работе за отчетный срок, к которой персонаж сводки сможет добавить свои комментарии.

2.1.5. Итоги применения экспертных процедур
при формировании и работе РАН
и при назначениях на научно-административные должности

Процедура избрания академиков и членов-корреспондентов РАН основана на применении экспертных технологий. Адекватность формирования РАН можно проверить по данным о цитируемости. Среди наиболее цитируемых ученых в соответствующие секции РАН входят значительно менее половины (наша экспертная оценка по результатам анализа по ряду выделенных РИНЦ тематик). С одной стороны, это говорит о том, что вклад в науку многих членов РАН велик. С другой стороны, значительно более половины наиболее эффективно работающих ученых не входит в РАН. Широко известные интриги, сопровождающие выборы (см., например, воспоминания одного из наиболее выдающихся математиков ХХ в. Л.С. Понтрягина [37], а также астронома И.С. Шкловского [58], механика В.Б. Баранова [59]) отталкивают многих выдающихся исследователей от самого участия в академических выборах.

В статье [60] сказанное было подкреплено анализом данных РИНЦ по математике и экономике. В настоящей главе мы не приводим конкретные данные, поскольку персоналии и численные показатели меняются со временем. Читатель может непосредственно обратиться к РИНЦ. Например, при анализе данных по математике поступаем так. В "Авторском указателе" РИНЦ выбираем тематику "математика". Сортировку проводим по числу цитирований (по убыванию). РИНЦ выдает на экран список исследователей в порядке убывания текущего числа цитирований с указанием (основных) мест работы, числа публикаций, числа цитирований, индекса Хирша. Можно перейти к анализу публикационной активности автора, кликнув на иконку гистограммы, стоящую между числом публикаций и числом цитирований.

Например, на 22.05.2017 первым указан А.А. Самарский (1919 - 2008), вторым - "А.Н. Тихонов", третьим - А.И. Орлов. Почему второе лицо в этом списке указано в кавычках? По той причине, что в списке публикаций автора "А.Н. Тихонов" имеются работы по крайней мере трех лиц:

Тихонов Андрей Николаевич (1906 - 1993), МГУ, факультет ВМК,

Тихонов Александр Николаевич (1947 - 2016), НИУ ВШЭ,

Тихонов Александр Николаевич, МГУ, физический факультет.

Надеемся, что РИНЦ исправит указанную ошибку. На 22.05.2017 можно констатировать, что среди ныне живущих российских математиков наиболее цитируемым является А.И. Орлов, один из авторов настоящей монографии.

Обсудим стратегии пополнения состава РАН, применяемые секциями математики и экономики [60].

Из 55 академиков и членов-корреспондентов секции математики (данные на 2015 г.) 21 работает в Математическом институте им. В.А. Стеклова РАН (Москва), 8 - в Институте математики Сибирского отделения РАН (Новосибирск), 6 - в Санкт-Петербургском отделении Математического института им. В.А. Стеклова РАН, 5 - в Московском государственном университете им. М.В. Ломоносова. В перечисленных 4 организациях работают 40 членов секции, т.е. 73%. Очевидна замкнутость этой группы и ее отрыв от основной массы отечественных математиков. Цитируемость почти всех членов секции математики РАН достаточно скромная.

Секция экономики (38 членов) привлекала в свои ряды представителей многих организаций, различных академических центров, разбросанных по стране. Число членов секции из одной организации не превышает 3 (Центральный экономико-математический институт (ЦЭМИ) РАН, Институт экономики РАН), максимум 4 (Институт экономики и организации промышленного производства Сибирского отделения РАН). Однако научная активность большинства членов секции явно проигрывает научной активности специалистов, не входящих в РАН, из ведущих институтов, например, ЦЭМИ, и вузов.

Обобщая, на основе данных РИНЦ можно констатировать, что среди ведущих (по числу цитирований) отечественных ученых лишь меньшая часть включена в состав секций математики и экономики РАН. Отсюда следует, во-первых, что в настоящее время РАН не является центром научной жизни, во-вторых, что экспертные процедуры пополнения состава РАН не справились с задачей отбора наиболее продуктивных ученых.

Впрочем, вспомним, что в XIX в. наибольший вклад в российскую науку внесли Д.И. Менделеев и Н.И. Лобачевский. Ни тот, ни другой не были членами Академии, причем Д.И. Менделеев был скандально забаллотирован.

В январе 2006 г. был создан Интернет-ресурс "Есть ли польза от академиков?" [38]. В начале первой публикации был поставлен вопрос: "Проведем мысленный эксперимент. Представим себе, что все перечисленные ниже математики, входящие в секцию математики РАН, 30 лет назад исчезли. Что изменилось бы? Конечно, изменились бы судьбы их семей, семей учеников и сотрудников. А вот для Вас, читатель, что изменилось бы в Вашей профессионапльной деятельности? Какие научные работы акажемиков Вам понадобились?" На 22.05.2017 указанный ресурс просмотрели более 25,6 тыс. раз. Но никто из читателей не привел ни одного примера пользы для своей профессиональной деятельности хотя бы одной научной публикации члена секции математики РАН. Учебники читали, в Интернет-ресурсе [38] речь идет об использовании результатов именно научной деятельности.

Эта ситуация является естественной. Академические НИИ уходят внутрь своих областей. Согласно "Закону Паркинсона" [39] достаточно большая организация может отгородиться от внешнего мира и работать сама на себя - одни отделы пишут документы для других отделов. В случае НИИ - печатают статьи.

Итог печален - есть Центральный экономико-математический институт РАН (ЦЭМИ), но полученные подавляющим большинством его сотрудников научные результаты автору настоящей главы, экономисту и математику, действующему исследователю и штатному преподавателю, увы, неизвестны, а потому и не используются. Если, конечно, они (реальные научные результаты, а не статьи и книги) есть. Впрочем, нет оснований для обвинения ЦЭМИ в имитации научной деятельности. Конечно, есть результаты научной деятельности, интересные для сотрудников ЦЭМИ. Но, увы, не для широких масс специалистов - исследователей и преподавателей.

Аналогично для Математического института РАН. Или возьмем Институт проблем управления РАН. Управление в социально-экономической области и менеджмент - практически синонимы. Но взаимного оплодотворения идеями уже десятилетия нет. Институт проблем управления сам по себе, менеджмент как одна из экономических наук - сам по себе. Конечно, отдельные контпкты осуществляются, но не более того.

Организация и задачи РАН и ее предшественников менялись с течением времени [40]. Целесообразность выполнения фундаментальных научных исследований в специально созданных академических институтах с десятками тысяч сотрудников (суммарно) требует обсуждения. Может быть, их надо включить в состав вузов? Стихийная практика состоит в том, что сотрудники академических НИИ по совместительству занимаются преподаванием.

Нужны ли академические НИИ как отдельные организации? Естественнее, чтобы науку двигали преподаватели вузов. Можно спорить, является ли конкретный научный сотрудник паразитом в социальном смысле (автор настоящей главы писал в 1993 г., что в академических НИИ реально работает один из трех числящихся, а в прикладных - один из десяти [41]), но преподаватель заведомо им не является, поскольку учит студентов.

Итоги применения экспертных процедур при назначениях (выборах) на должности заслуживают подробного обсуждения.

Директор НИИ и - особенно - ректор вуза является прежде всего управленцем, хозяйственником. Его увлеченность собственными научными исследованиями скорее вредна для большинства сотрудников организации (НИИ, вуза), чем полезна, поскольку увлеченный научными исследованиями руководитель будет оттягивать общие ресурсы на свою личную тематику. Сказанное подтверждают результаты Диссернета [61] - некорректные заимствования (проще говоря, плагиат) обнаружен в диссертациях 21% ректоров - у каждого пятого!

Однако в массовом сознании закреплена ложная мысль, что директор НИИ и ректор вуза - обязательно ученые. Поддерживается она и тем, что у администраторов имеются управленческие возможности продвигаться дальше - например, избираться в РАН. В результате РАН наполнена управленцами от науки. Последствия ясны - как уже отмечалось, в настоящее время РАН не является центром научной жизни, вопреки предрассудкам массового сознания.

Есть и другая отрицательная сторона связки "ученый - администратор". Управленец - это профессия, она требует специальных знаний и забирает массу времени. Время, которое директор НИИ или ректор вуза тратит на управление своей организацией, он отнимает от научной деятельности. Фактически он работает сразу на двух работах - как управленец и как ученый. Приходится либо выбирать, либо на обеих должностях работать вполсилы.

Видимо, целесообразно перейти на зарубежную схему - президент университета управляет (не будучи учёным), а профессор преподает и ведет научные исследования.

Проблема рациональной организации науки требует отдельного обсуждения. В настоящей главе ограничимся сделанными замечаниями.

2.1.6. Наукометрические показатели и догмы,
связанные с их использованием

Число цитирований работ исследователя - это объективная оценка его вклада в науку. Если работа процитирована - значит, она понадобилась, была использована при получении новых научных результатов. А вот число публикаций и индекс Хирша - условные показатели. Это утверждение становится очевидным, если проанализировать работу РИНЦ, технологию формирования этих показателей.

РИНЦ учитывает ссылки так, как они приведены в списках литературных источников в публикациях. Если статья конкретного автора описана разными способами - она попадает в список его трудов несколько раз. Открыв этот список, нетрудно увидеть дубликаты. Поэтому число публикаций преувеличивается. В РИНЦ есть система "внутренних публикаций" - тех, которые имеются в электронной библиотеке РИНЦ. Именно по ним рассчитывается число цитирований определенных статей и индекс Хирша. При этом игнорируется неточные библиографические описания. Как следствие, цитируемость отдельных публикаций и индекс Хирша занижаются.

Согласно сказанному ключевым показателем эффективности научной деятельности является число цитирований. А не другие наукометрические (число публикаций, индекс Хирша) или экспертные (ученые степени, звания, должности, членство в академиях) показатели.

Сильно влияет на наукометрические показатели неполнота библиометрических баз. Особенно это касается научных трудов, размещенных на бумажных носителях. Они не оцифрованы - а потому как бы не существуют.

Пожелание или требование об использовании западных индексов цитирования (SCOPUS, WOS) заставляет вспомнить слова "Что это — глупость или измена?" (известное выражение П.Н. Милюкова из его речи на заседании Государственной Думы Российской империи 1 ноября 1916 г., посвященной оценке деятельности правительства). (Как справедливо отметил А.С. Чуев, эти слова можно отнести также к ЕГЭ, к требованию об обязательном сопровождении статей аннотацией на английском языке, Хиршамании и еще ко многому, творимому в наше время.) Процитируем сводку от 10 февраля 2015 г. [42]: "Согласно наиболее полному каталогу периодических изданий Ulrichsweb, в мире сейчас издается 34 585 рецензируемых научных журналов, из них более 80% (28 134) — на английском языке... База данных SCOPUS отбирает для индексирования более 21 тыс. научных журналов из всего списка, из них около 21% — публикации не на английском языке, а 406 — российские. База данных Web of Science (WOS) подходит к отбору своих источников более избирательно и индексирует всего 8539 журналов по естественным наукам (из них 149, то есть менее 2%, — российские) и 3080 журналов по общественным наукам (из них только 3, то есть менее 0,1%, — российские). База данных РИНЦ охватывает 10 343 российских научных журнала, однако индексирует из них менее половины (4879). Но даже из этого количества в список ВАК входят всего 2269 журналов... Всего 394 российских журнала из списка ВАК (17%) индексируются в международных базах данных".

Таким образом, SCOPUS и WOS индексируют лишь весьма малую часть российских журналов.

Многие направления науки, например педагогика и психология, вообще не представлены отечественными журналами в этих базах данных. Журнал по электротехнике представлен только 1. Поэтому является практически невыполнимым новое требование ВАК РФ к членам диссертационных советов по этим направлениям науки иметь в год не менее 1 публикации в изданиях, входящих в эти базы данных, по профилю совета. Такие надуманные и непродуманные требования могут привести просто к закрытию этих диссертационных советов по формальным признакам. Решение задачи: что это – глупость, измена или может быть просто вредительство мы оставляем читателям.

Возможно, те, кто агитирует за использование индексов SCOPUS и WOS, незнакомы с приведенными фактами. Тогда их выступления не являются квалифицированными, не соответствуют нормам научной этики, требующей исходить из проверенных фактов. Если же приведенные выше статистические данные знакомы подобному агитатору, то его действия сознательно направлены на причинение вреда отечественной науке.

"Мировая наука" - это миф. Как убедительно показал С.Н. Гринченко [43], мировая наука не является «организмом». Отечественная наука (как и отечественное народное хозяйство) является самодостаточной. Нет необходимости в тесных контактах с зарубежьем, достаточно иметь информацию о продвижениях конкурентов. Впрочем, каждому самостоятельному научному работнику хорошо известно, что исследование можно (а зачастую и наиболее целесообразно) начинать до знакомства с работами предшественников. Подробнее эта тема раскрыта в [1, 43] и статье "О строительстве науки в отдельно взятой стране" [19], основная идея которой выражена в названии - науку можно успешно развивать без контактов с зарубежьем, особенно в такой богатой талантами и идеями стране, как Россия.

Мировую (глобальную) науку как «орган» единой системы Человечества С.Н. Гринченко сопоставляет с другими такими «органами» - «мировым производством», «мировым образованием» и др. [43]. Организации будущего управления хозяйством (т.е. будущей глобальной и региональной экономики, экономики и организации производства на предприятиях и их объединениях) посвящена функционалистско-органическая информационная экономика, опирающаяся на взгляды Аристотеля (ее называют также солидарной информационной экономикой или неформальной информационной экономикой будущего) [44 - 47]. В ней разрабатываются процедуры принятия согласованных решений. Аналогичные процедуры могут использованы, апробированы и внедрены для решения различных задач управления наукой. Исходя из основных идей солидарной информационной экономикой заключаем, что глобализация не может быть первоочередной целью отечественной экономики и отечественной науки. В современных условиях глобализация является лозунгом паразитических англосаксонских структур. Подчеркнем, что глобализация вредит интересам нашей страны.

Кому выгодно, чтобы отечественные исследователи публиковали статьи в зарубежных журналах? Деятелям этих стран, кратко, Западу. Они получают информацию о наших исследованиях. В переводе - на английском языке. Хорошо подготовленную (по правилам зарубежных журналов). Бесплатно. Более того: берут с наших не слишком богатых исследователей плату за публикацию и за подготовку рукописей к печати. При этом значительно сокращая доступность отечественных результатов для отечественных ученых. Например, зачем автору настоящей главы знакомиться с зарубежными журналами, когда и на отечественные издания времени не хватает?

Как подробно показано в [10, 11], нельзя ограничиваться только анализом статей в научных журналах. Другие виды публикаций не менее важны, в РИНЦ они сейчас индексируются, но отдельные администраторы науки и образования пока еще упирают именно на статьи в журналах.

В настоящее время идет борьба между двумя типами журналов. Одни полностью или на время закрывают доступ к научным материалам, стараясь получить плату за подписку. Другие, прежде всего электронные журналы, свободно размещают статьи в сети. Есть и внежурнальные сервисы, на которых сам автор может разместить свои работы. Именно так поступил наиболее известный широким массам математик XXI в. Г.Я. Перельман. Отметим, что в РИНЦ зафиксировано 379 цитирований его трудов (на 23.05.2017). Таким образом, решение трудных задач может не оказывать заметного влияния на развитие науки.

Бумажные журналы теряют тираж. Так, тираж журнала "Успехи математических наук" - 232 экз., т.е. на 38 зарегистрированных в РИНЦ математиков (на 01.08.2015 всего 8844, на 23.05.2017 - уже 10720) приходится 1 экземпляр журнала. Аналогична ситуация с бумажными книгами. Их функция меняется - они становятся не средством распространения научной информации, а "научными подарками", которыми ученые обмениваются при встречах.

В перспективе ожидаем отмирания бумажных научных изданий. Останутся только публикации в Интернете. Каждый может распечатать нужные ему материалы и - при желании -переплести их. В настоящее время уже есть услуга "книга по требованию" (книга печатается для конкретного заказчика в одном экземпляре).

Каковы будут функции журналов? Во-первых, журнал - средство группировки связанных между собой лиц (единомышленников, занимающихся близкой тематикой, или работающих в одной организации, и т.п.). Примерно соответствует форуму в Интернете и группе в социальных сетях. Во-вторых, журнал - инструмент для рецензирования материалов. И то, и другое не требует существования журналов как самостоятельных структур. Сгруппировать (выбрать) работы в Интернете может любой пользователь по интересующему его основанию. Как и обратиться за рецензией.

На рецензировании надо остановиться особо. Часто упирают на слова "рецензируемые журналы". При этом всем известно, что зачастую рецензии пишет сам автор. А "рецензент" подписывает, его роль сводится к одобрению статьи. Всё это напоминает ситуацию при защите диссертаций (см. выше обсуждение проблем присуждения ученых степеней в настоящей главе), но в малых масштабах.

Конечно, добросовестное рецензирование необходимо. Каждую работу должен прочесть хотя бы один специалист. Отметить недостатки, которые автор может исправить. Но есть и опасность - бойкие редактора могут внести ошибки. В результате вмешательства технического редактора в 2 статьи (из 80) автора настоящей главы в журнале "Заводская лаборатория. Диагностика материалов" были внесены ошибки, причем в одном из случаев смысл основного утверждения статьи изменился на противоположный.

Основная функция рецензента - поддержка автора. Продвинутые издания дают сведения о рецензентах. Например, на обороте титульного листа книги. Целесообразно сделать обязательной нормой публикацию сведений о рецензентах вместе со статьей. О рецензировании А.С Чуев написал автору настоящей статьи: "... двумя руками голосую за ликвидацию анонимного рецензирования. По сути, это незаконная цензура (цензура запрещена Конституцией РФ). Кроме того, у редакций должна быть в широком пользовании практика совместной публикации статей и отрицательных рецензий".

Есть проблемы с подбором рецензентов (а у рецензентов - с выделением времени на рецензирование) и оплатой рецензирования.

Странным является отрицательное отношение к самоцитированию, высказываемое отдельными авторами, публикующимися по вопросам оценки эффективности научной деятельности. Анализ предшественников может быть нужен в начале цикла исследований, когда нет собственных публикаций и, как следствие, самоцитирование невозможно. После получения новых самостоятельных результатов исследователь (или исследовательский коллектив) опережает других, и его новые работы опираются на ранее созданную им базу, а не на работы со стороны. Другими словами, для дальнейших статей «посторонних предшественников» попросту нет. А вот ссылок на собственные предыдущие работы объективно становится много. Необходимо указать связи новых результатов с ранее полученными тем же автором.

Таким образом, самоцитирование - это хорошо. Это значит, что ученый строит свою область. А отсутствие самоцитирования означает, что для автора эта статья - первая по новой для него тематике. Либо он - начинающий, либо "срывает яблоки из чужих садов". Типовая ситуация - берет чужую работу и изучает, конспектирует ее - получается собственное произведение.

В качестве примера можно рассмотреть статью [48] по выбору средних в соответствии со шкалами измерения. В ней систематизированы публикации, порожденные нашими работами 70-х годов. Но из обзора [48] было неясно, в каких работах получены основополагающие результаты, а какие публикации являются всего лишь комментариями к ранее вышедшим статьям. Пришлось опубликовать отдельную статью на эту тему [49]. Второй пример - статья [50]. Ее авторы взяли статью [51], заменили условие дифференцируемости на условие непрерывности - и получили новый научный результат. Поясним сложившуюся традицию в простых и понятных терминах: один человек построил дом, другой покрасил дверь в нем. И теперь надо ссылаться на второго из них, в лучшем случае добавляя "который развил (или улучшил) первоначальные соображения первого".

Критика научного журнала за самоцитирование выглядит особенно нелепо, поскольку противоречит вполне обоснованной практике научных исследований. Вполне естественно, что авторы, работающие по одной и той же тематике, имеют тенденцию публиковаться в одном и том же журнале и, разумеется, ссылаться друг на друга. Совершенно нелепо было бы отправлять статьи в другие журналы, в которых не было публикаций по рассматриваемой тематике. Кто прочтет такие статьи? Очевидно, каждый исследователь может познакомиться лишь с небольшим числом журналов. Поэтому естественным образом происходит кластеризация научных журналов - публикации по определенной тематике идут в одном или нескольких журналах.

Поражает число ссылок на различные рейтинги. Не надо смотреть на рейтинги. Надо их создавать [52], исходя из интересов нашей страны.

Важная проблема - классификация наук и научных специальностей. Нет в перечнях "Статистических наук" на верхнем уровне иерархии, в одном ряду с математикой и экономическими науками, - и работам автора настоящей главы нет места в официальных научных структурах (подробнее см. [12, 14, 15]). Секция математики РАН состоит из сотрудников всего нескольких организаций - академических институтов математики в Москве, Питере и Новосибирске и МГУ им. М.В. Ломоносова, и математика в РАН, как следствие, представлена однобоко. Работы математиков из других организаций и/или из других направлений секция математики РАН игнорирует. Экономические науки также представлены однобоко - наблюдаем неоправданный уклон в сторону макроэкономики, а роль экономики предприятий принижена.

Продвижение научного результата можно сравнить с завоеванием рынка, причем рынка капиталистического типа. Маркетинг на этом рынке могут осуществлять специальные структуры, отделенные от исследователя, как это предлагается в [53].

Очевидна коммерческая основа многих популярных лозунгов и принятых под их влиянием решений. Бесспорно требование о первоначальной публикации в российских журналах результатов исследований, выполненных на деньги российских налогоплательщиков. Тот, кто делает первую публикацию за рубежом, наносит экономический ущерб нашей стране.

Большой вред эффективному управлению научной деятельностью наносят недостатки официальной статистики и бухгалтерского учета [54]. Согласно подходу Росстата профессор университета не является научным работником, поскольку занимает не научную, а педагогическую ставку. В результате в сводках Росстата многократно принижается научная активность вузов. В России расходы на НИР не разрешается включать в себестоимость продукции, а в Германии - можно, в результате отечественные предприятия проводят расходы на НИР по другим статьям, а в сводках Росстата резко занижается объем отечественных научных исследований. Следствием являются спекулятивные рассуждения о малой доле инновационной продукцтт в нащей стране. И т.д.

Науковедение, наукометрия, вопросы оценки эффективности и управления научной деятельностью требуют дальнейшего развития. Укажем один из перспективных подходов. Как пишет К.С. Хруцкий [55], в целом Триадологический подход как раз и утверждает равенство (значит – Триединство) всех Трех основных (супер)систем познания: противоположных Позитивизма (математического физикализма) и Органицизма (функционалистского антропокосмизма); и промежуточного (и аксиального) Интегрализма (системного и холистического знания). Применительно к обсуждаемой теме наблюдаем триединство, в котором противостоят друг другу Глобальная наука и Ученый, творящий новое знание, а промежуточная Интегральная система соответствует их взаимодействию. Эта метафора (словесная модель) заслуживает подробного развития.

Науковедение, наукометрия, вопросы оценки эффективности и управления научной деятельностью требуют дальнейшего развития.

Настоящая глава подготовлена на основе статей [60, 62]. Многие её положения близки к позиции академика РАН, генерального директора ВИАМ Е.Н. Каблова [43]. Например, ориентация на использование РИНЦ, а не зарубежных библиометрических баз данных и индексов.

В последнее время разработаны новые инструменты анализа наукометрических данных. Удалось дать количественную оценку степени манипулирования индексом Хирша и разработать его модификацию, устойчивую к манипулированию [63]. Создана и успешно применена наукометрическая интеллектуальная измерительная система по данным Российского индекса научного цитирования на основе автоматизированного системно-когнитивного анализа и программной системы "Эйдос" [64]. Рассмотрения настоящей главы проведены на основе более простых средств - методологического анализа проблемы измерения эффективности научной деятельности. Однако эти простые средства позволили провести выбор наиболее адекватного показателя среди всех известных наукометрических и экспертных показателей. Установлено, что используемые в настоящее время в нашей стране экспертные процедуры (защиты диссертаций, выборы в РАН, назначения на должности) не дают возможности адекватно оценить эффективность научной деятельности исследователей и организаций. Среди наукометрических показателей следует выделить и предложить для приоритетного использования такой ключевой показатель, как число цитирований. Этот показатель показывает востребованность работы в научном сообществе. Другие показатели, такие, как индекс Хирша [63], импакт-фактор (для научных журналов) и др., сами по себе не позволяют дать объективную оценку научной деятельности. Конечно, можно отметить коррелированность наукометрических показателей - активно и плодотворно работающий исследователь обычно имеет высокие значения всех наукометрических показателей, таких, как число цитирований, число публикаций, индекс Хирша.

2.2. Научно-обоснованный подход к измерению
результатов педагогической деятельности

Стремительно развивающиеся процессы глобальной информатизации общества оказали существенное влияние и на сферу образования. В последнее время в вузах резко возросли объемы генерируемой и обрабатываемой педагогической информации. Стихийно и целенаправленно создаются электронные банки данных педагогической информации, образовательные порталы. Все эти работы требуют значительных затрат труда и времени профессорско-преподавательского состава (ППС) вузов и большого количества технических специалистов в области информационных технологий, а также предполагают наличие соответствующего компьютерного и коммуникационного оборудования. Все это – это уже свершившийся факт. С другой стороны, возникает закономерный вопрос о степени осмысленности и целесообразности отдельных аспектов этого процесса в том виде, в каком он фактически осуществляется, и оценки его влияния на выполнение миссии ВУЗа вообще: «Подготовки качественных специалистов», в частности для регионального агропромышленного комплекса (АПК). По всей видимости, в настоящее время этот процесс развивается стихийно, и никем не спланирован, с учетом с одной стороны затрат различного рода на его осуществление, а с другой стороны - обеспечения его эффективности с точки зрения достижения поставленных целей и получения заданных желаемых результатов, как в натуральном, так и в стоимостном выражении. Осмысленность и оправданность же этому процессу может придать только его существенное положительное влияние на повышение качества образования, причем только при разумных адекватных затратах. Для аргументированного ответа на эти актуальные вопросы авторы предлагают применить теорию рефлексивного управления активными объектами, автоматизированный системно-когнитивный анализ (АСК-анализ), функционально-стоимостной анализ (ФСА) и метод «Директ-костинг». Имеется задел для решения поставленной проблемы: это большой опыт преподавательской и научной деятельности, успешный опыт применения АСК-анализа и ФСА для управления персоналом; программный инструментарий АСК-анализа – интеллектуальная система «Эйдос», находящаяся в полном открытом бесплатном доступе [14].

СОДЕРЖАНИЕ

1. Введение.. 102

2. Постановка проблемы... 105

3. Подходы к решению проблемы... 105

3.1. Количественное определение степени и направления влияния значений факторов на результат.. 105

3.2. Рациональная технология и инфраструктура проведения работ.. 106

3.3. Условия, необходимые для выполнения работ.. 107

3.3.1. Технология разработки педагогических измерительных инструментов (тестов уровней предметной обученности) 108

3.3.2. Компетентность кадров выполняющих работу. 113

3.3.3. Объем исходных данных, необходимый для разработки педагогических измерительных систем и тестов уровней предметной обученности по одной дисциплине. 115

3.3.4. Программные инструментальные средства, необходимые для разработки педагогических измерительных систем и тестов уровней предметной обученности по одной дисциплине. 116

4. Оценки сроков и трудоемкости работ, необходимых затрат для их выполнения и эффекта от полученного результата.. 117

5. Выводы и рекомендации.. 118

2.2.1. Введение

Стремительно развивающиеся процессы глобальной информатизации общества оказали существенное влияние и на сферу образования. В последнее время в аграрных и других вузах резко возросли объемы генерируемой и обрабатываемой педагогической информации, возросло и количество самих документов. В таблице ниже приведен перечень некоторых педагогических материалов:

Перечень

учебно-методической и нормативной документации к государственной аккредитации для кафедр университета, осуществляющих подготовку кадров по программам подготовки научно-педагогических кадров в аспирантуре

№ п/п	Наименование документов
1	Учебные планы по очной и заочной формам обучения по профилю
2	График учебного процесса
3	Федеральный государственный стандарт по направлению подготовки
4	Рабочие программы дисциплин подготовки аспирантов
5	Учебные и учебно-методические пособия по дисциплинам: Ø Курс лекций; Ø Методические указания по проведению практических занятий; Ø Методические задания для самостоятельной работы
6	Фонды оценочных средств по дисциплинам по профилю
7	Программы кандидатских экзаменов по профилю
8	Сведения об обеспеченности обучающихся учебной, учебно-методической литературой
9	Договоры о проведении практик
10	Программы практик
11	Фонды оценочных средств для практик
12	Приказы о прохождения практики
13	График защиты отчетов по практике
14	Отчеты по практикам
15	Журнал инструктажа по прохождении практики по техники БЖД
16	Методические указания для проведения итоговой аттестации
17	Фонды оценочных средств для промежуточной и итоговой аттестации.
18	Критерии оценки различных форм текущего контроля успеваемости
19	Перечень примерных тем выпускных квалификационных работ аспирантов, утвержденные на ученом совете факультета (Утвердить ученым Советом факультета в сентябре 2014г.)
20	Планы НИР кафедр и отчеты о выполнении за 5 лет
21	Документация, подтверждающая наличие современной научной базы (характеристика современного оборудования, сертифицированные специалисты, экспериментальная база вуза и возможности аспирантов)
22	Индивидуальный план аспиранта
23	Сведения о публикации преподавателей, обеспечивающих образовательный процесс по дисциплинам
24	Индивидуальные планы преподавателей кафедр
25	Копии документов, подтверждающие повышение квалификации ППС за 5 лет
26	Отчеты обучающихся по НИР
27	Индивидуальные планы научно-исследовательской работы обучающихся,
28	Протоколы кафедры по обоснованию темы НИР, обсуждение плана и промежуточных результатов исследования
29	Сборники конференций и т.д.
30	Журнал индивидуальных консультаций с научным руководителем (отметка не реже 1 раза в месяц, на каждого руководителя)
31	Папка научных достижений аспиранта (копии статей, грамот и т.д.)

Эти документы касаются аспирантуры и разрабатываются по всем специальностям. Но аналогично обстоит дело и по бакалавриату, и по магистратуре.

В 2015 году летом во время отпуска один из авторов (проф.Е.В.Луценко) разработал 58 комплектов таких учебных материалов по всем специальностям аспирантуры университета, по 18 научным направлениям, а также написал 4 полнотекстовых учебных пособия [85, 86, 87], одно из которых издано [24] и монографию [23]. При этом шаблоны многих материалов за это время многократно менялись (2 раза в неделю) и приходилось их переделывать. За время разработки этих материалов 6 раз были внутренние аудиторские проверки и 2 раза в неделю совещания с участием проректоров. Чтобы выполнить этот огромный объем работ пришлось в отпуск работать даже в субботу и воскресенье с утра и до позднего вечера. Никакой компенсации этого труда не последовало, ни в финансовом выражении, ни временем, т.к. автор работает на 1.5 ставки и нужно было непрерывно вести занятия[1]. Точно также работали все преподаватели, руководители и обслуживающий персонал, Рабочие материалы в rar-архиве имели объем 6 Гб, а чистовые около 700 Мб.

Затем некоторые из этих материалов размещаются в полном открытом бесплатном доступе на сайте университета и на образовательных порталах университета. Таким образом, стихийно и целенаправленно создаются электронные банки данных педагогической информации.

Все эти работы продолжаются уже много лет[2] и требуют очень значительных затрат высококвалифицированного труда и времени профессорско-преподавательского состава (ППС) вузов, большого количества вспомогательных специалистов (лаборантов, учебных мастеров) и технических специалистов в области информационных технологий, а также предполагает наличие соответствующего компьютерного и коммуникационного оборудования.

Более того, сами шаблоны этих материалов, включая и содержательную часть, постоянно меняются, иногда даже по нескольку раз в месяц, что влечет за собой необходимость их изменения. А ведь преподаватели ведут по несколько дисциплин, чтобы набрать нагрузку на ставку.

Все вышеописанное – это уже свершившийся факт.

2.2.2. Постановка проблемы

В этой связи у специалистов, имеющих отношение к этим процессам и работам, возникают закономерные вопросы.

1-й вопрос о том, в какой степени все эти работы по реализации решений об изменении номенклатуры, шаблонов и содержания педагогических материалов способствует повышению качества образования и реализации миссии образования?

2-й вопрос о том, какова наиболее рациональная технология и инфраструктура проведения этих работ?

3-й вопрос о том, какие условия необходимы для выполнения этих работ?

4-й вопрос о том, какие сроки и трудоемкость этих работ, каковы необходимые затраты для их выполнения и на сколько эффект от полученного результата превышает эти затраты (или эти затраты убыточны)?

У авторов тоже возникают эти вопросы, и данная статья является попыткой найти научные подходы к аргументированным ответам на них.

Итак, налицо проблемная ситуация: с одной стороны, система высшего образования сталкивается с необходимостью разработки все большего количества и все больших объемов различных видов педагогических материалов, а с другой стороны непонятно, в какой степени это способствует достижению миссии образования.

2.2.3. Подходы к решению проблемы

Рассмотрим авторский вариант ответа на поставленные вопросы.

2.2.3.1. Количественное определение степени
и направления влияния значений факторов
на результат

Ответ на 1-й вопрос о том, в какой степени все эти работы по реализации решений об изменении номенклатуры, шаблонов и содержания педагогических материалов способствует повышению качества образования и реализации миссии образования? По мнению авторов решения об изменении номенклатуры, шаблонов или содержательной части педагогических материалов можно принимать только в том случае, если убедительно научно доказано, что это окажет существенное положительное влияние на повышение качества образования и реализацию миссии образования и вуза. При этом необходимо, чтобы при принятии подобных решений были даны конкретные ответы (в т.ч. с указанием источников, сроков и объемов ресурсного обеспечением) и на остальные вопросы о том, какая технология, инфраструктура и другие условия, необходимы для выполнения этих решений, и о том каковы сроки и трудоемкость их выполнения, какова натуральная и финансово-экономическая эффективность затрат на выполнение этих решений.

Само количественное определение степени и направления влияния значений факторов на результаты обучения предлагается осуществлять на основе системно-когнитивных моделей [11, 13]. Подробнее в данной статье эти вопросы рассматривать нецелесообразно, т.к. они подробно освещены в других работах [1-13].

2.2.3.2. Рациональная технология и инфраструктура проведения работ

Ответ на 2-й вопрос о том, какова наиболее рациональная технология и инфраструктура проведения этих работ? В настоящее время сотни тысяч профессоров, доцентов и просто преподавателей делают новые варианты педагогических материалов из внезапно устаревших, используя в основном сочетания клавиш Ctrl+C, Ctrl+V. Спрашивается, неужели в век научно-технического прогресса и информационных технологий, иногда даже говорят «информационного общества» и «общества, основанного на знаниях», невозможно придумать и разработать какую-то более рациональную форму или технологию проведения этих работ, если уж они так уж необходимы (хотя в их необходимости тоже есть некоторое сомнение и об этом был первый вопрос)? Развернутый аргументированный ответ на этот вопрос был дан 4 год назад в работе [1]. Здесь же отметим лишь, что, на взгляд авторов, необходимо отделить форму (шаблон) педагогических материалов от их содержания, обязав ППС заниматься только содержательной частью полностью освободив их от оформительской работы и многочисленных ручных выборок из различных документов. Спрашивается, какой смысл в этом копировании, если вся необходимая информация и так есть в первичных документах? Но если все же это необходимо, то эти многочисленные выборки технически могут и должны осуществляться автоматически в технологии распределенных баз данных с on-line доступом уровневыми правами доступа со всеми визирующими, согласующими и утверждающими подписями. При необходимости распечатки педагогических материалов может быть выбран нужный шаблон, в котором и она и будет сделана. Для выполнения подобных работ должна быть создана определенная иерархическая инфраструктура, имеющая и федеральный и региональный уровни, и уровень вузов, факультетов, кафедр и конкретных преподавателей. Существующая в настоящее время инфраструктура вузов для этого малопригодна.

2.2.3.3. Условия, необходимые для выполнения работ

Ответ на 3-й вопрос о том, какие условия необходимы для выполнения этих работ? Это вопрос о том, что необходимо, чтобы выполнить решения об изменении номенклатуры, шаблонов и содержания педагогических материалов.

Рассмотрим ответ на этот вопрос на небольшом примере разработки части фонда оценочных средств (ФОС). ФОС включает в себя кроме других материалов также тесты учебных достижений или педагогические измерительные материалы, предназначенные для измерения уровня предметной обученности учащихся. В настоящее время считается, что разрабатывать эти тесты и измерительные материалы должны профессора и доценты вузов, т.к. именно их обязывают выполнять эту работу.

Какая необходима компетентность кадров, выполняющих эту работу (3.1), какой объем исходных данных (3.2) и какие программные инструментальные средства (3.3) необходимы для ее выполнения, и, самое главное, когда все это делать (3.4) и как эта дополнительная высококвалифицированная объемная работа будет оплачиваться (3.5)?

3.3.1. Технология разработки педагогических
измерительных инструментов
(тестов уровней предметной обученности)

Для предметного, конкретного и научно аргументированного ответа на эти вопросы кратко рассмотрим порядок разработки педагогических измерительных инструментов (тестов уровней предметной обученности). Прежде всего, отметим, что такие материалы разрабатываются по каждой преподаваемой дисциплине для всех специальностей.

Должны быть разработаны вопросы (или другой стимульный материал) для тестов с несколькими вариантами ответов на каждый из них.

Это не только очень не простая в научном отношении, но и просто очень трудоемкая задача, т.к. вопросы должны удовлетворять определенным жестким требованиям и критериям.

Прежде всего, вопросы должны перекрывать (охватывать) все разделы учебного плана и по каждой теме и учебному вопросу должно быть определенное количество тестовых вопросов. Самих вопросов должно быть очень много. Например, в распространенной сейчас системе Имаго в окончательном варианте теста должно быть по 300 вопросов по каждой дисциплине. Кто пробовал просто написать такое количество вопросов с вариантами ответов на них, тот знает, как это тяжело. Но и это еще не самое сложное.

Затем необходимо определить ценность вопросов для решения задачи классификации учащихся по уровням предметной обученности и выбросить все бесполезные и малоценные вопросы, оставив, например, 300. Ясно, что если чтобы в окончательном варианте теста оставить 300 вопросив, в исходном варианте теста их должно быть значительно больше (как показывает опыт авторов – в несколько раз). Такой первоначальный вариант теста, в котором вопросов в несколько раз больше, чем необходимо в окончательном, называют пилотным вариантом теста.

Но, самое главное, что для того, чтобы выполнить этот этап, необходимо провести реальное[3] тестирование учащихся с помощью пилотного варианта теста и потом математически обработать результаты тестирования. Ясно, что тестировать надо учащихся, изучивших уже весь учебный курс. Уже одно это означает, что разработка теста педагогических достижений никак не может занимать меньше года, а преподавателям отводят на это несколько дней. Это можно объяснить только тем, что те, кто это требует, вообще не представляют себе, чего именно они требуют или они тоже вынуждены делать вид, что это нормально. Кроме того, для проведения пилотного тестирования необходимы соответствующие полномочия и время, которые простые преподаватели, включая профессоров и доцентов, не имеют. Значит необходимо соответствующие организационные решения, планирование и юридическое обеспечение, которые должны быть разработаны и в настоящее время полностью отсутствуют.

Для математической обработки результатов тестирования необходимо соответствующее программное обеспечение, которое должны быть типовым для все вузов, решение о чем должно быть приято на федеральном уровне. Это программное обеспечение еще только должно быть разработано, т.е. в настоящее время его нет. Хотя как его прототип есть основания рассматривать универсальную когнитивную аналитическую систему «Эйдос», разработки автора [2, 3]. Это одна из немногих систем, которая одновременно является и инструментарием для разработки тестов, и средой для их применения в адаптивном режиме, и, по-видимому, единственная подобная система, находящаяся в полном открытом бесплатном доступе на сайте автора [3].

Для количественной оценки ценности вопросов для разделения учащихся по группам уровней предметной обученности авторы предлагают применить подход, описанный в статях [4, 5, 6]. Суть этого подхода состоит в том, что сначала рассчитывается матрица абсолютных частот встречи разных ответов на вопросы в разных группах учащихся, отличающихся уровнем предметной обученности. Кстати, для построения измерительной системы всегда необходимо как минимум два независимых истопника (канала) информации об объектах измерения (в данном случае учащихся). Первый канал – это ответы учащихся на вопросы пилотного теста, а второй канал – это экспертная оценка уровня предметной обученности данного учащегося, т.е. по сути его оценка преподавателем, ведущим дисциплину. Затем на основе матрицы абсолютных частот рассчитывается матрица -квадрат и матрица условных и безусловных процентных распределений ответов по группам учащихся (классам) и по всей выборке, и, на основе последней, матрицы системно-когнитивных моделей, в частности, матрица информативностей. В этой матрице информативностей строками являются варианты ответов на вопросы, колонками – группы учащихся по уровням предметной обученности (классы), а в клетках находится количество информации в битах о том, что учащийся относится к той или иной группе по уровню предметной обученности, содержащееся в его определенном ответе на тот или иной вопрос (это частный критерий). Считается, что учащийся относится к той группе по уровню предметной обученности, о принадлежности к которой во всех его ответах содержится больше всего информации (это аддитивный интегральный критерий).

По сути в предлагаемом варианте идет речь о применении нормативного подхода к тестированию, при котором индивидуальные результаты тестирования сравнивается не с критериями, а с определенной базой сравнения, в качестве которой выступает «норма», т.е. в данном случае среднее или картина по всей выборке. Критериальные тесты могут быть при необходимости разработаны на основе тестов, созданных на базе нормативного подхода, т.к. по сути, критериальные тесты являются ключами или измерительными шкалами, созданными на основе нормативных тестов.

Анализ матриц условных и безусловных вероятностей, -квадрат, информативностей и других системно-когнитивных моделей [5] показывает, что все варианты ответов на вопросы могут быть разделены на три основные категории:

– к 1-й категории относятся варианты ответов, которые встречаются только в одной группе учащихся по уровню предметной обученности, а в других не встречаются (это так называемые детерминистские признаки, которые позволяют однозначно определить принадлежность учащегося к обобщенной группе или классу);

– ко 2-й категории относятся варианты ответов, которые никогда не встречаются ни в одной группе учащихся по уровню предметной обученности или встречаются во всех группах с равной вероятностью (это так называемые бесполезные признаки, которые вообще не играют никакой роли для разделения учащихся по классам);

– к 3-й категории относятся варианты ответов, которые встречаются в разных группе учащихся по уровням предметной обученности с разными вероятностями (это так называемые статистические признаки, которые могут оказаться более или менее полезными для разделения учащихся по классам, т.е. могут быть полезными почти как детерминистские признаки, а могут быть и почти бесполезными, но чаще всего занимают промежуточное положение между этими полюсами).

Наиболее ценными для разделения учащихся по классам являются детерминистские признаки (т.е. варианты ответов на вопросы).

Бесполезными для разделения учащихся по классам являются очень простые вопросы, на которые все учащиеся без труда отвечают правильно, и очень сложные, на которые не могут правильно ответить не только учащиеся, но и их преподаватели.

Статистические признаки могут иметь различную ценность для разделения учащихся по классам: от ценности детерминистских признаков, до ценности бесполезных признаков, т.е. до 0.

Авторы предлагают в качестве количественной меры ценности признака для разделения учащихся по классам использовать вариабельность значений в строке, соответствующей признаку, в матрицах условных и безусловных вероятностей, -квадрат, информативностей и других системно-когнитивных моделей [5].

По матрице условных и безусловных вероятностей мы можем определить ценность признаков следующим образом. Если условные вероятности встречи признака в разных группах сильно отличаются, то признак является ценным, если же они отличаются незначительно – то почти бесполезным.

Например, если у учащегося за дверью, длинные волосы, то скорее всего это студентка, т.к. условная вероятность встретить длинные волосы в группе «студентки» значительно выше, чем в среднем по выборке, если же у него брюки, то это не меняет результата классификации, т.к. условная вероятность встретить брюки очень незначительно отличается в группах «студентки», «студенты» и по всей выборке. Таким образом, признак: «длинные волосы» имеет высокую ценность для классификации учащихся по группам «студентки» и «студенты», а «брюки» – низкую. Знание того, есть ли учащегося мобильный телефон является совершенно бесполезным для определения того, студент он или студентка.

По матрице информативностей мы можем определить ценность признаков в терминах количества информации. Если признак содержит много информации о принадлежности к одним группам по уровню предметной обученности и много информации о не принадлежности к другим группам, т.е. если количество информации в признаке о принадлежности и не принадлежности к разным группам сильно отличается, то признак является ценным, если же количество информации в признаке о принадлежности и не принадлежности к разным группам отличается незначительно – то признак почти бесполезный (малоинформативный или неинформативный).

Если продолжить пример с классификацией учащихся по группам «студентки» и «студенты», то можно сказать, что в признаке «длинные волосы» содержится много информации о том, что это студентка, а в признаке «брюки» мало информации о том, что это студент. В признаке «есть телефон» будет ноль информации об этом. Ясно, что в обоих признаках «длинные волосы» и «брюки» суммарно[4] будет много информации о принадлежности учащегося с этими признаками к группе «студентки» и много информации о непринадлежности к группе «студенты».

Теперь, когда мы рассмотрели основные этапы разработки тестов уровня предметной обученности (педагогических измерительных систем), мы можем более предметно, конкретно и аргументировано ответить на вопросы, поставленные выше: какая необходима компетентность кадров, выполняющих эту работу (3.1), какой объем исходных данных (3.2) и какие программные инструментальные средства (3.3) необходимы для ее выполнения, и, самое главное, когда все это делать (3.4) и как эта дополнительная высококвалифицированная объемная работа будет оплачиваться (3.5)?

3.3.2. Компетентность кадров выполняющих работу

Итак, ответим на вопрос 3.1. «Какая необходима компетентность кадров, выполняющих эту работу?» Если кратко, то она должна быть высокой, на столько высокой, что в настоящее время ею обладают лишь единицы: профессиональные разработчики педагогических измерительных систем и тестов уровней предметной обученности[5] (и судя по всему среди тех, кто все это придумал и обязывает ППС разрабатывать эти тесты, таких вообще нет). Проще говоря того, что описано в данной статье, т.е. того, как это вообще делается профессионально, практически никто просто не знает (включая руководство). Но все разрабатывают такие тесты, вернее то, что неоправданно называется такими тестами, а по сути является профанацией и дискредитирует, компрометирует саму идею тестирования в педагогике.

Таким образом на лицо проблема[6]: фактически сложилась нежелательная ситуация с разработкой и применением педагогических измерительных систем и тестов уровней предметной обученности: эти тесты разрабатываются с нарушением соответствующей технологии и результаты их применения не корректны и несопоставимы, и желательно решить этот вопрос на профессиональном уровне, быстро, но на длительную перспективу.

Как решить сформулированную проблему, т.е. как исправить эту нежелательную ситуацию? Авторы видят два варианта: малореальный, основанный на незначительном улучшении фактически имеющейся ситуации, и более реальный, представляющий собой кардинальное предложение по полному решению поставленной проблемы.

Малореальный вариант:

– ввести в учебные планы по всем специальностям новую учебную дисциплину (базовой части) «Разработка и применение в адаптивном режиме педагогических измерительных систем и тестов уровней предметной обученности»;

– разработать научное обоснование и комплекс учебно-методических материалов (УМК) по этой новой дисциплине, включая полноценное учебное пособие и комплект материалов юридического и программного (инструментального) обеспечения;

– ввести преподавание этой дисциплины на всех специальностях;

– организовать обязательное повышение квалификации ППС по этой дисциплине;

– обязать ППС разрабатывать педагогические измерительные системы и тесты уровней предметной обученности с соблюдением технологии;

– ввести сертификацию педагогических измерительных систем и тесты уровней предметной обученности с соблюдением технологии;

– решить вопрос с оформлением авторских прав ППС на разработанные педагогические измерительные системы и тесты уровней предметной обученности;

– решить вопрос с доплатой ППС за разработку педагогических измерительных систем и тестов уровней предметной обученности (можно в форме часов учебной нагрузки).

Основную причину нереальности этого предложения авторы видят в том, что даже при выполнении всех вышеперечисленных пунктов все равно трудно себе представить, чтобы профессора и доценты разрабатывали пилотные тесты, апробировали их на учащихся, математически обрабатывали результаты апробации в какой-либо программной системе, пусть даже готовой и предназначенной для этого, выделяли наиболее ценные для классификации учащихся по уровням обученности варианты вопросов и ответов, и создавали на их основе уже реальный тест для его применения. Кстати сказать, система Имаго, сейчас не позволяет использовать тесты, разработанные по предлагаемой технологии, т.к. в ней просто подсчитывается процент правильных ответов и все вопросы считаются имеющими одинаковую ценность, а в предлагаемой технологии ответы на вопросы рассматриваются как несущие то или иное количество информации о принадлежности или не принадлежности учащегося к тем или иным уровням предметной обученности.

Поэтому предлагается более реальный вариант решения проблемы, который состоит в том, чтобы создать в системе Федерального Министерства образования и науки Всероссийский Научно-исследовательский и проектно-технологический институт педагогических измерительных систем и тестов уровней предметной обученности и возложить на него обязанности:

– разработки этих систем и тестов для всей системы МОН и ведомственных учебных заведений, как высших, так и средних, по всем специальностям и дисциплинам;

– подготовки новых и повышения квалификации имеющихся кадров по применению этих систем и тестов в самих учебных заведениях (для этого у федерального института должна быть сеть региональных филиалов);

– управления применением этих систем и тестов (не надзор, как обычно, и не мониторинг, а именно управление).

Отметим, что все эти функции вместе включает «Контроллинг» [9].

При этом этот институт мог бы и привлекать ППС вузов на отельных этапах работ на договорной основе.

Этот вариант представляется более реалистичным, т.к. разработка педагогических измерительных систем и тестов уровней предметной обученности – это специальная работа, которой надо заниматься специально и профессионально, имея на это соответствующие полномочия и выполняя государственный заказ.

3.3.3. Объем исходных данных, необходимый для
разработки педагогических измерительных
систем и тестов уровней предметной
обученности по одной дисциплине

Ответим на вопрос о том, 3.2. какой объем исходных данных необходим для разработка педагогических измерительных систем и тестов уровней предметной обученности по одной дисциплине? Критерий простой: если при увеличении объема исходных данных результатов апробации пилотных тестов при определении ценности вариантов ответов на вопросы эта ценность перестают изменяться в такой степени, что изменяется рейтинг ответов в порядке убывания ценности, то процесс дальнейшего накопления данных апробации есть основания прекратить, т.к. они новые данные уже не приводят к изменению рейтинга. Авторы очень сомневаются, что апробации пилотных тестов в течение года в одном вузе окажется достаточно по этому критерию. Предлагается использовать апробацию во многих вузах. Для этого необходим федеральный уровень. На региональном уровне может быть разработано только большое количество несопоставимых тестов, не образующих единой системы и при этом с огромным дублированием работ, т.е. с большими неэффективными затратами.

3.3.4. Программные инструментальные средства,
необходимые для разработки педагогических
измерительных систем и тестов уровней
предметной обученности
по одной дисциплине

Ответим на вопрос о том, 3.3. какие программные инструментальные средства необходимы для разработка педагогических измерительных систем и тестов уровней предметной обученности? По мнению авторов для этого необходима разработка новых программных средств, к которым бы авторизованные пользователи по всей России имели on-line доступ в соответствии со своими правами доступа. В качестве локального (и частично on-line) прототипа можно было бы использовать систему «Эйдос» [1, 2, 3], которая обеспечивает и разработку педагогических измерительных систем и тестов уровней предметной обученности, и их эксплуатацию в адаптивном режиме, причем с учетом рекомендаций функционально-стоимостного анализа (ФСА) и метода «Директ-костинг» [6].

На вопросы 3.4. «когда все это делать» и 3.5 «как эта дополнительная высококвалифицированная объемная работа будет оплачиваться», у авторов ответов нет, т.к. эти вопросы относятся к компетенции вышестоящих инстанций. Но, на сколько известно, сейчас ответов на эти вопросы нет не только у авторов, а их вообще нет.

2.2.4. Оценки сроков и трудоемкости работ,
необходимых затрат для их выполнения
и эффекта от полученного результата

4-й вопрос это скорее не вопрос, а целая группа взаимосвязанных вопросов о том, какие сроки и трудоемкость этих работ, каковы необходимые затраты для их выполнения и на сколько эффект от полученного результата превышает эти затраты (или может быть эти затраты убыточны)?

Смысл этого вопроса можно сформулировать и проще: «стоит ли овчинка выделки», т.е. оправданы ли все эти довольно большие затраты труда и времени сотен тысяч профессоров и доцентов из всех вузов по всей России на разработку все больших и больших объемов и номенклатуры постоянно меняющихся педагогических материалов, дают ли эти без преувеличения сказать колоссальные затраты (авторы знают это «не понаслышке») соразмерное этим затратам, т.е. столь же колоссальное, повышение качества образования и соразмерное затратам положительное влияние на реализацию миссии образования вообще и вузов в частности?

Итак, мы имеем все основания задать вопрос[7]: «На сколько оправданы затраты на разработку все возрастающих объемов бесконечно меняющихся по своим шаблонам и содержанию педагогических материалов?».

Мы считаем, что этот вопрос давно назрел и знаем, что практически все коллеги, которых знают авторы, однозначно и уверенно отвечают на этот вопрос отрицательно. А значит обоснованно и закономерно возникают вопросы об эффективности и целесообразности этих затрат и о необходимости пересмотра положения дел в этой чувствительной области одно упоминание о которой способно сразу ввести ППС в депрессию [7].

По всей видимости в настоящее время этот процесс развивается стихийно и никем не спланирован с учетом с одной стороны затрат различного рода на его осуществление, а с другой стороны, обеспечения его эффективности с точки зрения достижения поставленных целей и получения заданных желаемых результатов, соразмерным затратам, как в натуральном, так и в стоимостном выражении.

Осмысленность и оправданность же этому процессу может придать только его существенное положительное влияние на повышение качества образования, причем только при разумных адекватных затратах на это.

Любые решения в области изменения оформительских или содержательных требований к учебно-методическим материалам или введение в практику новых педагогических материалов допустимы только в том случае, если до этого убедительно научно обосновано их существенное влияние на повышение качества образования, а затраты труда и времени ППС и технических специалистов, необходимые для этого, соизмеримы с эффектом от полученного результата и есть соответствующее обеспечение.

Для аргументированного ответа на эти актуальные вопросы авторы предлагают применить теорию рефлексивного управления активными объектами, автоматизированный системно-когнитивный анализ (АСК-анализ), функционально-стоимостной анализ (ФСА) и метод «Директ-костинг» [8, 9, 10, 11].

Кратко АСК-анализ кратко описан в работе [11], а подробно в [12].

Имеется задел для решения поставленной проблемы: это большой опыт преподавательской и научной деятельности, успешный опыт применения АСК-анализа и ФСА для управления персоналом; программный инструментарий АСК-анализа – интеллектуальная система «Эйдос», находящаяся в полном открытом бесплатном доступе на сайте автора [4].

2.2.5. Выводы и рекомендации

Считаем, что на основании вышеизложенного в данной работе есть все основания сделать следующие предложения:

1. Рекомендовать не изменять требования к содержанию и оформлению педагогических материалов (шаблоны) чаще, чем один раз в 5 лет (сейчас это может происходить несколько раз в месяц). Чаще (раз в год) имеет смысл менять только список рекомендуемой литературы.

2. Сократить количество различных педагогических материалов с 31 (см. табл. 1, а иногда и более) до 5, не объединяя их, и рекомендовать впредь не увеличивать их количество.

3. Вести ограничение на суммарный объем педагогических материалов не более 10 страниц на одну дисциплину.

4. Принять все меры к тому, чтобы в перспективе учебные дисциплины, меньшие по объему, чем 4 з.е.[8] и сходные или тесно связанные по содержанию были объединены в одну дисциплину (укрупнить дисциплины), чтобы ограничить количество дисциплин и педагогических материалов по ним.

2.3. Хиршамания при оценке результатов научной
деятельности, ее негативные последствия
и попытка их преодоления с применением
многокритериального подхода и теории
информации

Недавно был начат процесс монетизации оценки результатов научной деятельности, и возникла потребность в методиках количественной и сопоставимой оценки эффективности и качества работы ученого. Появились многочисленные методики материального поощрения за эти результаты. Общим для всех этих методик является завешенная роль индекса Хирша. Сам по себе этот индекс вполне обоснован. Однако в связи с практикой применения индекса Хирша в наших условиях в сознании научного сообщества возникла своеобразная мания, которую автор предлагает называть «Хиршамания». Эта мания характеризуется повышенным нездоровым интересом к самому значению индекса Хирша, особенно к искусственному неадекватному преувеличению этого значения, а также рядом негативных последствий этого интереса. В данной работе делается попытка кратко описать некоторые негативные последствия этой новой психической инфекции, поразившей общественное сознание научного сообщества. А также наметить пути преодоления хотя бы некоторых причин их возникновения. В этом и состоит проблема, решаемая в данной работе. Для решения сформулированной проблемы предлагается применить многокритериальный подход, основанный на теории информации, а именно тот его вариант, который реализован в автоматизированном системно-когнитивном анализе (АСК-анализ) и его программном инструментарии – интеллектуальной системе «Эйдос»

2.3.1. Проблема, или о том какой урон уже нанес
джин Хирша, выпущенный из бутылки

Недавно научное сообщество лишилось надбавок за ученые степени и звания. Был начат процесс монетизации оценки результатов научной деятельности. Возникла потребность в соответствующих методиках количественной и сопоставимой оценки эффективности и качества работы ученого. Появились многочисленные методики материального поощрения за эти результаты. Эти методики отличаются в разных вузах. Но общим для всех этих методик является большая роль, которая отводится в них так называемому индексу Хирша. Сам по себе этот индекс вполне обоснован[9].

Однако в связи с практикой применения индекса Хирша в наших условиях в сознании научного сообщества возникла своеобразная мания, которую автор предлагает называть «Хиршамания». Эта мания характеризуется повышенным нездоровым интересом к самому значению индекса Хирша, особенно к искусственному неадекватному преувеличению этого значения, а также рядом негативных последствий этого интереса. В данной работе мы попытаемся кратко описать некоторые негативные последствия этой новой психической инфекции, поразившей общественное сознание научного сообщества. А также наметить пути преодоления хотя бы некоторых причин их возникновения. В этом и состоит проблема, решаемая в данной работе.

Чтобы наметить удачный план лечения, прежде всего надо поставить правильный диагноз. Мы квалифицируем Хиршаманию как психический вирус, о которых блестяще писал Ричард Броди [1]. Этот психический вирус может рассматриваться как инструмент манипуляции общественным сознанием научного сообщества, что очень хорошо описал в своем бестселлере С.Г. Кара-Мурза [2]. Подобного рода манипуляции, которые особенно облегчились в связи с появлением глобальной информационной среды распространения и адресной доставки агента действия, могут использоваться также для нанесения урона противнику и, по сути, являются информационным оружием [3]. Так что Хиршамания в принципе может быть не таким уж и безобидным явлением.

Так что же собственно произошло? Ученым стали платить надбавки (материальные поощрения) за те или иные значения индекса Хирша. Ученые народ неглупый и быстро сообразил, что имеет прямой смысл эти значения увеличивать. А для этого надо писать научные статьи, монографии, научно-методические работы и т.д., и т.п., размешать их в Российском индексе научного цитирования (РИНЦ)[10], и ссылаться на них. Это ясно из самой природы индекса Хирша. Причем не просто писать и ссылаться, а писать как можно больше и ссылаться тоже как можно больше.

Тривиальным является утверждение о том, что статья должна отражать основные результаты какого-то научного исследования, решение той или иной научной или прагматической задачи. Но откуда взять столько научных результатов? Ведь научные исследования требуют инвестиций и имеют длительный цикл проведения. Так возникает 1-я проблема, состоящая в том, что писать то, в общем-то, и не о чем, по крайней мере, в желаемом количестве, а писать очень надо. В век интернета решение этой проблемы элементарно. Проводим поиск по ключевым словам, находим источники, в которых об этом уже кем-то написано, и вставляем тексты из этих источников в свои статьи. Если мы корректно ссылаемся на эти заимствования, то они называются «цитированиями», а если нет, то «плагиат». Если ссылаться на все эти заимствования, то может оказаться, что автор не внес никого личного вклада в работу, поэтому часто на них не ссылаются. Таким образом, материально простимулированное применением индекса Хирша для оценки результативности научной деятельности неоправданное стремление много писать, но не для того, чтобы отразить результаты реальных исследований, которых или вообще нет, или недостаточно для удовлетворения амбиций, приводит к распространению плагиата. Что же такое плагиат с правовой точки зрения? Наверное, это просто воровство, в частности воровство авторских текстов и идей, нарушение авторских прав на результаты научной деятельности.

Если есть спрос, то есть и предложение, и вот появляется система «Антиплагиат»[11] и много других подобных систем[12]. Подобные системы представляют свои услуги on-line, есть и бесплатные с ограниченными возможностями, и профессиональные, которые, естественно, платные. Практически все вузы уже купили профессиональные системы проверки на антиплагиат, и эта проверка стала нормой. Таким образом, первым отрицательным последствием Хиршамании является небывалое распространение плагиата в научной среде и как реакция на это – борьба с плагиатом (а не с его причинами, т.е. как обычно), причем за деньги самих научных организаций, т.е. косвенно – самих ученых и с большими затратами труда и времени самих ученых.

Началась борьба с плагиатом, началась и борьба с этой борьбой. Как грибы после дождя в информационном пространстве вдруг появились многочисленные ухищрения и «научные рекомендации» для того, чтобы обойти эти системы, т.е. добиться высокого уровня оригинальности некорректно заимствованного текста[13]. Прежде всего это различные синонимайзеры[14]. Однако системы антиплагиата работают просто с текстами, поэтому можно их обойти, если заимствовать не текст, а идеи, т.е. несколько перефразировать текст, чтобы сам текст стал другим, а его смысл сохранился. Эта процедура называется «Рерайтинг (rewriting)»[15], т.е. переписывание и изложение чужих мыслей своими словами. Еще для подобных целей могут быть использованы программы машинного перевода, т.к. они тоже подбирают синонимы и перефразируют[16]. Конечно, разработчики систем антиплагиата также принимают меры для обнаружения признаков борьбы с ними, т.е. признаков искусственного завышения оригинальности текста (это уже борьба систем антиплагиата с борьбой против них), и т.д., и т.д. почти до бесконечности.

Автор тоже столкнулся с этим явлением (как поставщик текстов и идей для плагиаторов, как высокопоставленных, так и не очень). Лучше всего об этом написано в статье «Групповой плагиат: от студента до министра»[17]. Чтобы найти многочисленные «труды» плагиаторов, включая диссертации, достаточно в Internet в любой поисковой системе сделать запрос, например: «Коэффициенты эмерджентности Хартли, Харкевича, Шеннона», которые автор системной теории информации (СТИ) проф. Е.В.Луценко назвал так в честь этих выдающихся ученых в области теории информации. При этом автор следовал сложившейся научной традиции называть единицы измерения и математические выражения в честь известных ученых. Причем часто плагиаторы даже не понимают, что сами основоположники и классики теории информации не предлагали этих коэффициентов, а предложены они были в работах автора. Наверное, поэтому они и не считают нужным делать ссылки и пишут, например:

1. «По Харкевичу коэффициент эмерджентности определяет степень детерменированности ситемы…» (подчеркнуто нами, авт., в цитате сохранены орфографические ошибки плагиатора, авт.).

2. «Отсюда строится системная численная мера количества информации в ИС на основе оценки эмерджентности системы (по Хартли и Харкевичу)» (выделено плагиатором, а на самом деле «по Луценко», – авт.).

Эти фразы легко найти в Internet. Так что плагиаторская активность не только продолжается, но и набирает обороты.

Однако индекс Хирша отражает не только число статей, но и число их цитирований. Поэтому самих статей для повышения значения индекса Хирша недостаточно, т.е. еще надо, чтобы на них были ссылки. А откуда их взять, если на твои статьи сам, т.е. по собственной инициативе, никто или почти никто не ссылается? Так возникает 2-я проблема, т.е. проблема увеличения количества ссылок на свои статьи. Но и эту проблему можно решить. Во-первых, можно самому ссылаться на собственные статьи, т.е. заниматься самоцитированием. С правовой точки зрения это, конечно, не плагиат, т.к. нет потерпевшей стороны, т.е. в принципе автор имеет все авторские права на свой текст и свои идеи и может распоряжаться ими по своему усмотрению. Но с этической точки зрения чтобы ссылаться на себя, надо иметь на это моральное право и необходимо, чтобы эта ссылка была оправдана и обоснованна, а не являлась искусственной, т.е. ссылки ради ссылки, часто даже без сноски на нее из текста. По мнению автора, такое обоснование может состоять в том, что ряд статей образует цикл или систему, т.к. они посвящены описанию различных этапов решения одной проблемы или развитию определенного научного направления, т.е. по сути, являются продолжением друг друга и взаимосвязаны по своему содержанию[18]. Однако часто у авторов нет возможности для таких обоснованных самоцитирований, то тогда они занимаются неоправданными (некорректными) самоцитированиями. Иногда авторов с высоким уровнем самоцитирования обвиняют в том, что они засоряют информационное пространство дублирующей информацией и как бы продают многократно один и тот же информационный продукт. Автор не согласен с этой точкой зрения потому, что если бы она была правильной, то во всем интернет должно бы быть одно место для харания каждого информационного объекта, а все остальные просто должны были бы на него ссылаться. Но что мы видим на практике? Мы видим огромное количество размещений одного и того информационного объекта на различных сайтах. Кстати, этим занимаются и различные интеграторы – библиографические базы данных, например НЭИКОН, КиберЛенинка, Agris, Ulrich’s Periodicals Directory, DOAJ, OALIB (Open Access Library), Scopus, Web of Science, и даже сам РИНЦ. Смысл таких размещений в новых возможностях в появлении для читателей новых дополнительных возможностей прочтения публикаций, а также возможность их статистической обработки и углубленного анализа в базах интегратора.

Но все же как-то неудобно ссылаться только на самого себя, как будто у тебя и не было предшественников или соавторов. Понятно, что цитирование соавторами это «почти самоцитирование» и также уязвимо для критики. Поэтому авторы, не являющиеся соавторами, часто договариваются о взаимных цитированиях, т.е. я тебя цитирую тебя, а за это – ты меня, что неблаговидно и с правовой точки зрения является сговором для извлечения дополнительной необоснованной созданием продукта или услуг прибыли, а этической точки зрения достойно морального порицания. В век глобальных коммуникаций и эти вопросы легко решаемы.

И, как всегда, раз наблюдаются искусственные и необоснованные цитирования, то появляются и средства борьбы с этим неблаговидным явлением (естественно, как всегда только с самим явлением, а не с его причинами). В частности появляется идея использовать для количественного измерения самоцитирований и цитирований соавторами индекс, взятый из экономики, который в ней используется для количественной оценки степени монополизации отрасли, – это индекс Херфиндаля[19] и различные его модификации.

Как же научное сообщество среагировало на установленные Минобрнауки РФ «правила игры». Да очень просто: все, даже те, кто уже давно ничего не писал, с готовностью принялись писать научные работы и цитировать их, можно сказать с энтузиазмом принялись повышать свои индексы цитирования и индексы Хирша. Правда это не сопровождалось сколь-нибудь заметным или значительным повышением активности самих научных исследований и инновационных разработок. А это означает, что народ вполне понял, что от него требуется: не сама работа, а лишь показатели отчетности о работе. По сути, речь идет о фальсификации деятельности: вместо самой деятельности и ее результатов учитываются и идут в зачет отчеты с растущими показателями о якобы имевшей место деятельности и результатах, и эти отчеты и показатели фактически и принимаются за результаты, а было ли все это на самом деле о что на сомом деле они отражают, фактически никого особенно не интересует[20]. Налицо явление, которое, в работе [4], названо «виртуализация общества». Фактическая деятельность в реальной области заменяется, замещается информацией о ней, а потом выясняется, что информация начинает жить собственной жизнью и замещает реальную область, при этом она в принципе может и не отражать процессы в реальной области. В результате масштабной, может быть даже глобальной фальсификации и виртуализации сама деятельность заменяется отчетностью о ней, содержащей различные показатели. И народ быстро сообразил, что нет необходимости в самой деятельности и нет никакого смысла достигать самого результата деятельности в реальной области: вполне достаточно обеспечить достижение не самого результата деятельности, а нужных показателей отчетности. Повышения этих показателей все и добиваются.

Но наука в этом плане не оригинальна. В экономике подобная подмена давно стала нормой: практически все осознают как цель своей экономической деятельности не создание благ и услуг для потребления их другими людьми, во что крайне наивно верил Адам Смит и что было беспощадно развенчано Карлом Марксом, а всего лишь личное обогащение (получение прибыли). В экономике давно считается нормой, вполне допустимой и не осуждаемой с морально-этической точки зрения, обогащение без создания реальных благ, например за счет осуществления спекулятивных операций на фондовом и валютном рынке. В результате подобных операций создается ничем реально не обеспеченный чисто инфляционный капитал. И в этом никто не видит ничего аморального или неэтичного. А между тем это прямой и ничем неприкрытый откровенный грабеж огромных масс людей во всем мире, покупательная способность которых падает за счет инфляции. Деньги вообще все замещают и все опошляют и не только в экономике, а вообще везде. Так, например, любовь они превращают в проституцию. А науку, которая является общественным институтом и общественной и индивидуальной деятельностью по познанию человека, общества и природы с целью познания истины (фундаментальная наука) и повышения эффективности деятельности человека (прикладная наука), – в искусственное увеличение индекса Хирша путем увеличения потока бессодержательных, переписанных друг у друга, но при этом широко цитируемых публикаций. В традициях Хиршамании цель достижения высоких результатов научной деятельности подменяется целью достижения высоких значений наукометрических показателей, отражающих эти результаты. При этом в информационном обществе отражение может быть создано и существовать и без достижения каких-либо реальных результатов и достижений. Таким образом, фальсификация и виртуализация науки, обусловленная Хиршаманией, по сути, приводят к ее профанации. Это настолько очевидно, что можно было бы об этом и не говорить, если бы практически все научное сообщество снизу до верху дружно бы не занималось именно этим, безропотно приняв правила игры, предложенные Минобрнауки, причем не просто занималось, но и делало при этом вид, что процесс идет нормально, т.е. делая хорошую мину при плохой игре[21].

Однако, в отличие от экономики, в науке в соответствии этикой научных публикаций[22] подобные действия считаются аморальными, и журналам, допускающим подобные статьи к публикации практически закрыт путь в такие престижные международные библиографические базы данных, как Scopus и Web of Science. Из-за действия подобных этических норм воровать в науке стало так сложно, что иногда начинает казаться, что ты работаешь. Это звучит как юмор, но им не является, т.е. было бы смешно, если бы не было грустно. Так, например, рерайтинг – это действительно сложная и трудоемкая работа, требующая не только профессиональной компетенции в той предметной области, в которой осуществляется плагиат идей, но и определенной филологической подготовки: умения быстро и много писать на правильном русском языке. В работе рерайтера есть почти все, что есть в научной работе, кроме одного: у рерайтера нет своих новых идей и ему негде их брать, кроме как заимствовать их у того, у кого они есть. Но у рерайтера не просто нет своих новых идей, но он и не имеет ни малейшего представления о том, откуда они вообще берутся. Здесь я не могу отказать себе в удовольствии еще раз сослаться на статью В.Б.Вяткина [5], хотя плагиаторы-персонажи этой статьи не удосужились даже переписать мой текст своими словами, т.е. не дотянули до рерайтеров, а просто привели весь текст целиком, включая «авторскую пунктуацию», т.е. изложив все от первого лица, «как было», включая даже мои орфографические и грамматические ошибки.

Таким образом, можно обоснованно констатировать факт, состоящий в том, что решение Минобрнауки РФ о монетизации оценки результатов научной деятельности, в частности придание неоправданно высокой роли в этом процессе индексам публикационной активности (само по себе это вчерашний и даже позавчерашний день), а также индексам цитирования и Хирша, явилось причиной, породившей целый каскад или снежный ком различных негативных последствий, многие из которых имеют криминальный характер, а некоторые «всего лишь» аморальны (рисунок 1).

Эти последствия можно сравнить с порождением целой системы вложенных миров, подобных «Зазеркалью» Льюиса Кэррола, в которое попала Алиса, но эти миры являются не сказкой, а искаженной реальностью, так как порождаются отражениями в кривых зеркалах современной наукометрии, и находится в них не Алиса, а все авторы научных публикаций.

Подобное в новейшей Российской истории было уже не раз, и, по-видимому, уже есть основания говорить об определенной наметившейся тенденции или даже закономерности. Достаточно упомянуть про позорную эпопею с ЕГЭ, которая начиналась за здравие, а закончилась за упокой и подобную же историю с оценкой эффективности вузов [4]. Очень бы не хотелось, чтобы тоже самое, что случилось с ЕГЭ и с методикой оценки эффективности вузов случилось бы и с РИНЦ. Однако, к большому сожалению и объективно говоря пока все идет к тому, что так и получится, т.е. идея количественной сопоставимой оценки результатов (качества и эффективности) научной деятельности в наших условиях не реализуема. Может быть, это не дело только РИНЦ, а дело всего российского научного сообщества, включая Минобрнауки?

Рисунок 1. Негативные последствия решения о монетизации оценки результатов научной деятельности (Хиршамании)

Выше уже упоминалось, что в этой новой истории с индексом Итак, мы сталкиваемся с ситуацией, когда хорошая идея плохо реализуется, т.к. мы опять впадаем в крайности, относимся к новой (для нас) идее, как панацее от всех проблем. Но такого, к сожалению, не бывает. А, как известно, нет лучшего способа дискредитировать хорошую идею, чем довести ее до абсурда, до крайности, т.к. тогда она становится своей противоположностью. Получается уже в который раз, что за что боролись, на то и напоролись. В этой ситуации перефразируя, похоже, что бессмертные слова В.С.Черномырдина, Минобрнауки может только сказать, что «мы хотели как лучше», а мы уже имеем все фактические основания констатировать, что опять «получилось как всегда».

Хирша, ключевая роль принадлежит Российскому индексу научного цитирования (РИНЦ)[23]. Что такое РИНЦ сегодня? На сегодня это безусловно самая большая в России электронная научная библиотека общего доступа. На момент написания данной статьи в базах РИНЦ содержалось: журналов: 32991, выпусков журналов: 1193672, полнотекстовых статей: 20325344, издательств: 14976[24]. Данные РИНЦ используются сегодня для оценки рейтингов научных журналов и результатов научной деятельности, как отдельных ученых, так и вузов и научных институтов. Безусловно, у РИНЦ много достоинств и в настоящее время ему в России нет альтернативы. Но и у РИНЦ есть свои недостатки, которые вызывают совершенно обоснованный и все более громкий ропот в среде научного сообщества. Перечислим наиболее важные них в контексте проблематики данной статьи.

РИНЦ чрезвычайно инерционная система. Обновление его баз данных происходит раз в неделю, а некоторые базы данных, например системы SCIENCE INDEX, обновляются раз в 2 месяца. Это означает, что в РИНЦ не выполняется одно из важнейших требований к базам данных: их актуальность. Проще говоря, если Вы обращаетесь в РИНЦ для получения тех или иных показателей по отдельным ученым или по вузам научным организациям, то нужно иметь в виду, что эта информация может быть сильно устаревшей.

В РИНЦ отсутствует целостность баз данных, т.е. данные в одних графах не подтверждаются данными в других графах. Как профессор по кафедре компьютерных технологий и систем с 2005 года и программист с почти 40-летним стажем автор может предположить, что эта особенность РИНЦ обусловлена тем, что разработчики даталогической и инфологической моделей его баз данных не везде нормализовали его базы данных. Это означает, что информация РИНЦ нет очень достоверна или, проще говоря, просто недостоверна.

Программное обеспечение РИНЦ не может идентифицировать авторов и публикации по их некорректным, неполным и нестандартным описаниям в списках литературы. Между тем эта задача решена в общем виде [6]. В результате число работ авторов, число цитирований этих работ и индекс Хирша авторов в системе РИНЦ оказываются систематически заниженными[25]. В качестве выхода из этой проблемной ситуации РИНЦ предлагает нам регистрироваться в системе SCIENCE INDEX и самим привязывать к себе свои работы и ссылки на свои работы из списка, предложенного системой РИНЦ. Иначе говоря, авторам предлагается самим вручную делать работу, которая должна выполняться полностью автоматически или с участием модератора, т.е. автоматизировано, самим РИНЦ.

Но и это еще не все. Дело в том, что список работ и ссылок на них, которые могут принадлежать данному автору, предлагаемый системой РИНЦ неполон, т.е. иначе говоря, некоторые работы, имея права пользователя системы SCIENCE INDEX, привязать вообще невозможно. Но это возможно имея права доступа администратора этой системы. И тут начинается самое интересное. Права администратора системы SCIENCE INDEX продаются РИНЦ вузам и научным организациям, причем продаются не дешево. Понятно, что практически все вузы и научные организации фактически были вынуждены купить эту систему, как, кстати, немного ранее и доступ к профессиональной версии системы Антиплагиат (которая, кстати, сейчас интегрируется с системой РИНЦ).

Интересно получается. Ученые должны провести научные исследования и разработки, написать об этом монографии и статьи, получить авторские свидетельства, разместить их в РИНЦ, привязать их к себе, как авторам, привязать к себе ссылки на них, причем должны сделать это все это сами и еще заплатив журналам, Роспатенту и РИНЦ, за право самим это все сделать. Получается к примеру 5% бюджета времени ученого уходит на проведение самих научных исследований и разработок, еще 5% – на их оформление в виде монографий, статей и патентов, и еще 90% на их размещение в РИНЦ, а также привязку публикаций и ссылок на них к себе, как автору. Разве так мы представляли себе, на что должен тратить свое творческое время ученый? Причем, как правило, после ненормированного рабочего дня, потраченного на голосовую нагрузку – преподавание? Ну то, что журналам за публикацию статей нужно платить, это еще понять можно. Но почему надо платить еще и РИНЦ за работу, которую мы выполняем сами за его программную систему, это уже не очень понятно.

Понятно, что покупая (и не дешево) права доступа администратора системы SCIENCE INDEX, вузы и научные организации справедливо надеются, что имея эти права, они смогут в комфортной и дружественной информационной среде полностью решить проблемы с привязкой статей и ссылок на них, описанные выше. Однако оказывается, что и это не так.

Прежде всего, надо сказать, что среда далека от комфортной, переходы из режима в режим плохо продуманы и сделаны неудобно. Постоянно надо переходить из одного окна в другое, удобнее бывает открыть два или более окон на большом мониторе, но они мало у кого есть. Реакция системы на клик является чрезвычайно замедленной: иногда несколько минут. При большом объеме работ это резко увеличивает общее время работы. Когда администратор системы SCIENCE INDEX видит список ссылок на работы автора, то те, над которыми ему надо работать, не отмечены двумя красными треугольниками, и таких довольно много, но приходится их искать вручную среды отмеченных. При этом ссылки на непривязанные работы и на привязанные работы, находящиеся на проверке модератора, на экране выглядят одинаково. Это крайне неудобно. О том, что работа находится на проверке, можно догадаться потому, что нет ссылки на возможность корректировки ее описания. Но чтобы узнать есть эта ссылка или нет, надо кликнуть по ссылке на саму ссылающуюся работу, а потом, если ее нет, вернуться назад в список ссылок, возможность чего разработчиками не предусмотрена и приходится возвращаться через авторский указатель. Все это занимает время и раздражает своей непродуманностью, т.к. решение ведь простое. Надо просто отмечать все ссылки в специальной отведенной для этого колонке иконками тер типов, отличающимися по цвету, как сделано с инками, отражающим возможность доступа простого посетителя РИНЦ к полным текстам публикаций.

Есть всего три состояния ссылки на публикацию автора:

1) привязанная (неважно кем),

2) привязанная администратором SCIENCE INDEX от организации и находящаяся на проверке у модератора РИНЦ,

3) непривязанная. Я предложил бы непривязанные ссылки отметить красным цветом, находящиеся на проверке – желтым, а привязанные – зеленым.

Это интуитивно естественно. Желательно было бы иметь возможность сортировки и фильтрации ссылок по стадии обработки, чтобы было видно только те, над которыми надо работать, или только те, которые уже привязаны или находящиеся на проверке.

После привязки ссылки на работу автора в списке литературы эта корректировка посылается на проверку модератору. Мне так и не удалось узнать в РИНЦ, установлены ли в РИНЦ какие-либо нормативы на максимальную длительность его проверки. Не исключено, что ждать придется годами. Поэтому предлагается ссылки, привязанные администратором SCIENCE INDEX от организации, не посылать на проверку модератору РИНЦ, а сразу включать в базы данных РИНЦ, или накапливать а включать в базы даны раз в неделю. Если РИНЦ заботится о качестве привязки ссылок администратором SCIENCE INDEX от организации, то пусть сам по своему регламенту проверяет качество этих привязок, и если они не соответствуют установленным критериям качества, которые должны быть опубликованы на сайте РИНЦ, то применять к данному администратору и к его организации санкции (меры воздействия), прописанные в договоре. Например, можно лишать данного администратора прав доступа на определенное время или требовать от организации его замены и т.п. Но реакция системы РИНЦ на корректировки администратора SCIENCE INDEX от организации обязательно должна быть резко ускорена.

Но главное все же не это, хотя это и важно. Главное в том, что при привязке ссылок в списках литературы возникают безвыходные ситуации. Даже имея права доступа администратора системы SCIENCE INDEX от организации, далеко не всегда удается привязать ссылку на работу автора из списка литературы ссылающейся работы. Мы можем скорректировать эту ссылку на правильную, но система не привязывает ее, пока не найдет в базах РИНЦ. Это вообще неприемлемо. Во-первых, потому, что есть работа в базах РИНЦ или ее там нет, не должно влиять на число ссылок на нее, т.к. это работа автора, на которую ссылается другой автор, и он эту работу видел, когда ссылался. Во-вторых, сам поиск не всегда дает положительный результат, т.е. не всегда способен найти работу, даже если она есть в базах РИНЦ и ссылка на нее правильная, в т.ч. сформирована самой системой РИНЦ. В этом случае, который наблюдается примерно в 70% случаев поиска, у администратора SCIENCE INDEX от организации вообще нет способа привязать эту ссылку. Автор предлагал администраторам РИНЦ два решения этой проблемы. Первое подробнейшим образом описано в статье [6]. Работать это решение будет быстро, т.к. у авторов в РИНЦ не более 300 работ, а чаще всего гораздо меньше. Это решение обеспечивает ранжирование работ автора в порядке убывания релевантности ссылке. Проведенные автором численные эксперименты убедительно продемонстрировали, что искомая работа практически всегда будет на первой позиции, т.е. будет иметь наивысшую релевантность. Второе решение вообще примитивное и состоит в том, что если поиск системы РИНЦ не может найти в работах автора, размещенных в РИНЦ ту, на которую сделана ссылка из списка литературы, то надо просто вывести весь список его работ и дать возможность администратору SCIENCE INDEX от организации просто указать в нем нужную работу.

Иначе при работе с РИНЦ слишком часто возникают безвыходные ситуации и заслуженные ученые, имеющие сотни работ, размещенных в РИНЦ и индекс Хирша 5 или 6 и видящие, что невозможно его увеличить не только авторам, но даже имея права администратора SCIENCE INDEX от организации, делают вполне определенные и легко прогнозируемые выводы и о системе РИНЦ, и о Хирше, и о всех, кто все это придумал. Все это дискредитирует и систему РИНЦ и основанную на данных РИНЦ систему оценки результатов научной деятельности.

Авторы данной работы представляют политематический (мультидисциплинарный) журнал, издаваемый Кубанским агроуниверситетом [7][26]. В университете (http://kubsau.ru/) в настоящее время работает 26 факультетов, 85 кафедр, 8 докторских диссертационных советов по 21 специальностям, около 300 докторов наук, профессоров и 700 кандидатов наук, доцентов, 1500 преподавателей (а в 2003 году, когда создавался журнал, кафедр было около 100 и действовало 12 диссертационных советов).

Поэтому естественно, что журнал изначально создавался как мультидисциплинарный (политематический), т.к. именно такой журнал был нужен университету. Еще отметим, что наш вуз входит в тройку крупнейших патентообладателей России и имеет в 4 раза больше патентов, что все аграрные вузы России ВМЕСТЕ ВЗЯТЫЕ (включая и «Темирязевку»).

За время существования журнала с 2003 года по июнь 2017 года в свет вышло 129 номеров, информация о которых приведена ниже.

Статистическая информация по Научному журналу КубГАУ

Год	Номер		Дата выпуска	Статей	Авторов					Объем
	Внутр.	Скво зной			всего	канд. наук	докт. наук	Доц ентов	Профес соров	Страниц А4	pdf, кб
2003	01	1	07.07.2003	18	22	6	7	5	8	185	2680
2003	02	2	19.11.2003	19	17	4	6	4	8	270	3722
Итого за 2003 год				37	39	10	13	9	16	455	6402
2004	01	3	22.01.2004	16	12	3	6	1	11	414	4016
2004	02	4	20.02.2004	20	22	7	11	4	15	265	4416
2004	03	5	05.04.2004	18	27	9	6	8	6	262	3854
2004	04	6	24.06.2004	25	28	5	12	2	14	306	4369
2004	05	7	24.09.2004	15	19	7	12	8	14	181	3349
2004	06	8	30.11.2004	20	18	4	5	6	6	250	2888
Итого за 2004 год				114	126	35	52	29	66	1678	22892
2005	01	9	24.01.2005	11	17	8	2	7	2	155	1824
2005	02	10	24.02.2005	17	24	4	6	5	8	210	3630
2005	03	11	30.03.2005	19	12	3	2	2	2	203	4316
2005	04	12	28.04.2005	21	23	7	4	9	4	235	3576
2005	05	13	28.06.2005	18	26	14	2	4	2	123	1905
2005	06	14	25.07.2005	21	24	9	2	6	2	240	35225
2005	07	15	24.10.2005	9	11	6	3	1	5	122	1868
2005	08	16	28.11.2005	15	10	3	1	7	1	137	2110
Итого за 2005 год				131	147	54	22	41	26	1425	54454
2006	01	17	30.01.2006	22	33	5	8	3	8	212	3576
2006	02	18	20.03.2006	17	23	6	5	5	5	154	2647
2006	03	19	04.05.2006	23	21	9	5	8	5	247	3950
2006	04	20	24.06.2006	34	43	11	7	9	8	425	5431
2006	05	21	07.09.2006	42	43	5	3	3	3	491	7595
2006	06	22	13.10.2006	29	35	10	5	10	3	390	4630
2006	07	23	21.11.2006	31	48	12	11	9	12	296	5310
2006	08	24	22.12.2006	58	76	19	15	17	11	621	8306
Итого за 2006 год				256	322	77	59	64	55	2836	41445
2007	01	25	30.01.2007	16	23	7	9	7	11	277	4665
2007	02	26	15.02.2007	25	34	5	10	6	11	342	6295
2007	03	27	22.03.2007	34	54	17	10	9	10	436	5649
2007	04	28	23.04.2007	14	22	8	3	2	8	132	3084
2007	05	29	31.05.2007	15	21	3	5	2	5	211	3873
2007	06	30	27.06.2007	16	19	4	5	1	5	222	4012
2007	07	31	21.09.2007	20	34	7	7	8	7	235	3794
2007	08	32	30.10.2007	14	24	4	6	3	7	152	2008
2007	09	33	26.11.2007	16	20	4	3	4	5	229	3362
2007	10	34	24.12.2007	19	24	6	3	5	2	263	4520
Итого за 2007 год				189	275	65	61	47	71	2499	41262
2008	01	35	29.01.2008	14	20	9	2	5	4	260	4181
2008	02	36	29.02.2008	15	23	3	9	4	6	263	3295
2008	03	37	31.03.2008	15	21	7	5	3	5	290	3264
2008	04	38	29.04.2008	10	18	4	8	3	6	158	2752
2008	05	39	31.05.2008	14	15	5	4	4	4	226	4836
2008	06	40	25.06.2008	18	14	6	5	2	5	114	6838
2008	07	41	15.09.2008	23	31	5	11	5	8	344	5191
2008	08	42	14.10.2008	15	26	5	12	7	11	204	6118
2008	09	43	27.11.2008	12	20	5	4	5	3	190	3026
2008	10	44	25.12.2008	12	19	4	8	2	8	194	2463
Итого за 2008 год				148	207	53	68	40	60	2243	41964
2009	01	45	31.01.2009	14	19	7	6	5	9	222	3358
2009	02	46	27.02.2009	12	22	12	4	7	6	201	2619
2009	03	47	31.03.2009	11	17	4	2	3	2	206	2377
2009	04	48	30.04.2009	9	6	1	3	3	3	176	2651
2009	05	49	29.05.2009	12	12	2	1	3	1	172	2230
2009	06	50	29.06.2009	9	17	8	5	3	5	171	2273
2009	07	51	28.09.2009	19	25	3	20	3	20	410	27673
2009	08	52	30.10.2009	13	21	4	14	5	10	194	6643
2009	09	53	30.11.2009	10	17	9	4	3	5	130	9019
2009	10	54	21.12.2009	15	19	8	13	4	14	263	25714
Итого за 2009 год				124	175	58	72	39	75	2145	84557
2010	01	55	31.01.2010	22	25	6	17	4	17	321	9082
2010	02	56	26.02.2010	15	18	7	7	4	9	223	6756
2010	03	57	30.03.2010	17	27	9	18	7	20	303	8370
2010	04	58	28.04.2010	32	40	16	10	15	7	515	9315
2010	05	59	31.05.2010	23	35	14	13	11	14	383	12082
2010	06	60	29.06.2010	41	60	20	22	14	22	660	12643
2010	07	61	24.09.2010	37	54	24	19	11	15	475	9093
2010	08	62	28.10.2010	44	59	23	12	12	10	514	12333
2010	09	63	27.11.2010	24	37	14	14	8	13	354	7384
2010	10	64	22.12.2010	25	39	14	9	4	12	351	8532
Итого за 2010 год				280	394	147	141	90	139	4099	95590
2011	01	65	31.01.2011	29	42	15	11	11	10	390	20525
2011	02	66	28.02.2011	47	70	31	14	21	13	576	23400
2011	03	67	30.03.2011	32	51	17	9	8	8	457	36551
2011	04	68	28.04.2011	48	70	28	10	17	5	558	15478
2011	05	69	30.05.2011	37	69	23	8	19	9	459	43425
2011	06	70	30.06.2011	58	84	16	24	15	16	828	36218
2011	07	71	30.09.2011	56	84	32	18	32	14	792	58969
2011	08	72	30.10.2011	49	80	21	24	19	17	585	93056
2011	09	73	30.11.2011	52	105	30	31	27	19	622	36042
2011	10	74	30.12.2011	76	125	74	40	43	28	881	36168
Итого за 2011 год				484	780	287	189	212	139	6148	399832
2012	01	75	27.01.2012	86	140	39	60	32	53	1122	53564
2012	02	76	29.02.2012	92	171	39	69	31	62	1175	73036
2012	03	77	30.03.2012	100	184	45	75	36	62	1234	62137
2012	04	78	30.04.2012	81	143	42	64	48	50	1032	44447
2012	05	79	31.05.2012	63	113	35	50	32	41	841	28141
2012	06	80	30.06.2012	51	93	31	26	21	21	689	23453
2012	07	81	30.09.2012	80	138	48	39	48	28	1066	19162
2012	08	82	31.10.2012	79	150	50	44	48	36	1153	19102
2012	09	83	30.11.2012	60	127	43	40	24	30	837	14154
2012	10	84	28.12.2012	80	159	62	53	46	41	1073	17727
Итого за 2012 год				772	1418	434	520	366	424	10222	354923
2013	01	85	28.01.2013	50	112	41	23	27	18	639	21995
2013	02	86	28.02.2013	59	118	43	34	31	25	849	30817
2013	03	87	30.03.2013	66	129	46	41	41	29	893	28105
2013	04	88	30.04.2013	78	134	43	52	40	46	1119	37310
2013	05	89	29.05.2013	101	180	57	54	57	48	1457	70434
2013	06	90	30.06.2013	71	119	41	30	36	26	1062	43209
2013	07	91	30.09.2013	129	238	81	71	68	62	1920	70338
2013	08	92	31.10.2013	95	194	68	60	49	51	1402	37989
2013	09	93	30.11.2013	115	222	74	61	45	53	1719	50118
2013	10	94	27.12.2013	67	124	35	40	26	36	999	30461
Итого за 2013 год				831	1570	529	466	420	394	12059	420776
2014	01	95	30.01.2014	72	124	33	36	28	38	1277	48900
2014	02	96	28.02.2014	82	138	33	44	27	39	1218	36443
2014	03	97	31.03.2014	94	163	45	55	47	51	1406	30025
2014	04	98	30.04.2014	112	205	69	57	46	59	1619	42053
2014	05	99	30.05.2014	106	210	56	62	49	56	1540	38939
2014	06	100	30.06.2014	116	236	74	77	65	100	1767	66262
2014	07	101	30.09.2014	166	327	98	88	65	87	2523	77665
2014	08	102	31.10.2014	83	157	47	53	30	41	1340	52117
2014	09	103	30.11.2014	87	150	60	41	36	40	1299	37766
2014	10	104	30.12.2014	149	306	95	80	61	75	2217	82922
Итого за 2014 год				1067	2016	610	593	454	586	16206	513092
2015	01	105	30.01.2015	64	106	40	34	31	35	1135	31721
2015	02	106	28.02.2015	78	160	46	43	29	40	1301	25856
2015	03	107	31.03.2015	115	223	70	64	42	55	1849	67445
2015	04	108	30.04.2015	92	183	60	49	42	46	1414	26737
2015	05	109	29.05.2015	89	155	56	39	32	36	1361	32916
2015	06	110	30.06.2015	121	210	59	51	38	41	1842	57134
2015	07	111	30.09.2015	117	212	71	68	36	57	1801	40400
2015	08	112	30.10.2015	150	314	104	65	73	55	2177	83778
2015	09	113	30.11.2015	119	226	67	75	44	67	1750	44199
2015	10	114	30.12.2015	111	248	90	70	57	55	1626	36189
Итого за 2015 год				1056	2037	663	558	424	487	16256	446375
2016	01	115	27.01.2016	86	154	55	51	31	46	1367	26942
2016	02	116	29.02.2016	106	206	70	59	41	50	1746	54051
2016	03	117	31.03.2016	89	218	73	64	40	50	1378	35593
2016	04	118	30.04.2016	111	221	84	57	68	43	1700	35898
2016	05	119	30.05.2016	97	216	62	59	31	55	1474	34308
2016	06	120	30.06.2016	112	249	81	71	59	50	1708	39320
2016	07	121	30.09.2016	139	283	87	89	58	77	2406	98322
2016	08	122	31.10.2016	85	159	64	53	40	51	1277	46550
2016	09	123	30.11.2016	141	328	107	79	68	61	2167	51154
2016	10	124	30.12.2016	99	235	68	61	43	49	1530	46931
Итого за 2016 год				1065	2269	751	643	479	532	16753	469069
2017	01	125	31.01.2017	57	132	43	35	32	25	873	33612
2017	02	126	28.02.2017	63	153	64	37	41	25	920	20547
2017	03	127	31.03.2017	75	167	69	44	40	30	1099	26714
2017	04	128	30.04.2017	98	255	73	69	48	52	1400	38196
2017	05	129	31.05.2017	97	236	73	59	48	32	1407	35991
Итого за 2017 год				390	943	322	244	209	164	5699	155060
Итого за все годы				6944	12718	4095	3701	2923	3234	100723	3147693
В среднем за все годы				54	99	32	29	23	25	781	24401

В этих 129 номерах опубликовано 6944 статьи. Среди 12718 авторов журнала из России и более 10 стран ближнего и дальнего зарубежья (http://ej.kubagro.ru/geo.asp) 3701 докторов наук, 3234 профессоров, 4095 кандидатов наук, 2923 доцентов (http://ej.kubagro.ru/st.asp). В среднем ежемесячно в журнале издается 54 статьи общим объемом 781 страниц 99 авторов из которых 29 доктора наук, 32 кандидата наук, 25 профессоров, 23 доцентов. Но в последние годы объем публикаций резко возрос (см.:http://ej.kubagro.ru/st.asp и работу [7]. Например, в 101-м номере Научного журнала КубГАУ опубликовано столько статей, сколько в «некоторых других журналах» публикуется примерно за 2 – 2.5 года.

По данным РИНЦ «Научный журнал КубГАУ» является 1-м в рейтинге российских вузовских мультидисциплинарных журналов по числу цитирований. Перед ним находится 3 академических издания, а после него еще 2, а затем идет следующий вузовский журнал: «Вестник Оренбургского государственного университета», после которого также идут академические издания. Ниже приведены форма запроса и отчет по рейтингу Научного журнала КубГАУ по числу цитирований среди мультидисциплинарных журналов по данным РИНЦ (по состоянию на 19.06.2017):

Как Вы думаете, где будут публиковаться наши ученые – сотрудники университета: в «других журналах» или в «нашем журнале»? Да у них просто ФИЗИЧЕСКИ практически нет никакой возможности публиковаться где-то еще. Тем более, что публикация в нашем журнале БЕСПЛАТНА для сотрудников университета и аспирантов из любых организаций СНГ. Ну и как это скажется на индексе Херфиндаля? Понятно, что плохо, а точнее очень плохо. По этой причине я ПРОТИВ модификации методики расчета рейтинга SCIENCE INDEX с учетом индекса Херфиндаля, т.к. это эквивалентно наказанию крупнейших и наиболее успешных изданий в своей области (и не только в своей области) и крупнейших издателей. При этом мы согласны, что для мелких и средних по объему изданий его применение может быть вполне оправдано. Поэтому я предлагаю придавать тем меньший вес индекса Херфиндаля в определении рейтинга SCIENCE INDEX, чем больше объем номеров издания в станицах за соответствующий период, за который определяется рейтинг. Для нашего Научного журнала КубГАУ индекс Херфиндаля практически вообще не должен играть никакой роли.

2.3.2. Идея предлагаемого решения проблемы

Недавно все Российское профессиональное научно-педагогическое сообщество стало свидетелем того, как Министерство образования и науки России начало работу по монетизации оценки результатов научной деятельности (ее качества и эффективности).

В этой связи возникает ряд вопросов, аргументированные ответы на которые представляют большой интерес.

Прежде всего, возникает вопрос о том, что понимается под результатами (качеством и эффективностью) научной деятельности (далее: «результаты»)? Ведь ясно, что прежде чем оценивать результаты научной деятельности было бы неплохо, а на самом деле совершенно необходимо, разобраться с тем, что же это такое. Ясно, что по этому поводу существует много различных мнений, которые в различной степени аргументированы или не аргументированы и отражают позиции руководителей образования и науки, профессионального научно-педагогического сообщества и различных слоев населения. По мнению автора, с научной точки зрения некорректно и неуместно говорить о каких-то критериях оценки результатов научной деятельности, если не определено само это понятие, т.е. отсутствует консенсус в профессиональной среде по поводу того, что же это такое. Очевидно, для достижения такого консенсуса в наше время необходимо широкое обсуждение этого вопроса в научной печати, Internet и СМИ.

Когда консенсус профессионального научно-педагогического сообщества по вопросу о том, что такое «результаты научной деятельности» будет достигнут, на первый план выступает вопрос о том, с помощью какого метода оценивать эти результаты? Для автора вполне очевидно, что этот метод должен представлять собой какой-то вариант метода многокритериальной оценки. Это обусловлено просто тем, что такие сложные и многофакторные системы как наука в принципе невозможно оценивать по одному показателю или критерию. Хиршамания возникла имена благодаря вольному или невольному, сознательному или несознательному игнорированию этого принципа. Чтобы обоснованно выбрать метод оценки результатов научной деятельности необходимо сначала научно обосновать требования к нему, а затем составить рейтинг методов по степени соответствия обоснованным требованиям и выбрать метод, наиболее удовлетворяющий обоснованным требованиям.

Когда метод оценки результатов научной деятельности выбран, необходимо ответить на вопрос о том, на основе каких частных критериев оценивать эти результаты и какой исходной информацией для этого необходимо располагать? Ясно, что эти критерии в общем случае могут иметь как количественную, так и качественную (нечисловую) природу и могут измеряться в различных единицах измерения. Кроме того эти критерии могут иметь различную силу и направление влияния на оценку результатов научной деятельности. Поэтому предварительно надо бы обосновать требования к частным критериям оценки результатов научной деятельности. Это специальная наукоемкая работа, но для автора и сейчас очевидно, что эти критерии должны быть:

– измеримы, т.е. по ним должна быть исходная информация;

– информативны, т.е. обеспечивать разделение измеряемого объекта по категориям (классам) качества и эффективности научной деятельности;

– не управляемы самим объектом, параметры которого измеряются, т.к. иначе он может влиять на результаты измерения в нужном ему направлении.

Индекс Хирша соответствует первым двум требованиям, но не удовлетворяет третьему, т.е. он вполне управляем потому, что вполне понятно, как он формируется, и авторы в состоянии писать статьи и ссылаться на такие свои работы, чтобы индекс Хирша повышался максимально быстро. Поэтому величина индекса Хирша отражает не только результаты научной деятельности, но и степень понимания автором того, что такое индекс Хирша и как он формируется (см. юмористический эпиграф к данной статье). В психологии считается, что нельзя пользоваться тестом, ключи интерпретации которого рассекречены (опубликованы), т.к. при желании тестируемый может использовать знание этих ключей для того, чтобы так отвечать на тест, чтобы получить нужные ему результаты тестирования. Это ведь элементарно. Непонятно почему такие простые вещи игнорируются системами, вроде РИНЦ.

Представьте себе мальчишку, который не хочет идти в школу и говорит маме, что у него болит голова. Мама сразу достает термометр, чтобы померить ему температуру, сбивает его, ставит своему отпрыску под мышку и бежит на кухню выключать картошку, которую варит. А мальчишка в это время на одно мгновение окунает термометр в чай и сразу кладет его обратно себе под мышку и тихо сидит с грустным видом. Мама прибегает, смотрит термометр и сразу начинает принимать меры для лечения своего мелкого симулянта, а о школе теперь не может быть и речи. Спрашивается, является ли неисправным измерительный инструмент, т.е. термометр? Нет, конечно, он исправен и совершенно правильно измеряет температуру. Но объект измерения (симулянт) заинтересован в тех или иных показаниях и не только в принципе может влиять на показания измерительного инструмента, но и фактически делает это. Примерно тоже самое мы наблюдаем в ситуации с индексом Хирша. Сам по себе это нормальный измерительный инструмент. Но измерительный инструмент, легко управляемый заинтересованной стороной. Поэтому он не пригоден для тех целей, для которых предназначен.

Конечно, возникают вопросы как о способе определения системы критериев оценки результатов научной деятельности, так и о способе определения силы и направления влияния этих критериев на оценку результатов научной деятельности, т.е. по сути, о модели. Но еще более существенным является вопрос: «О способе сопоставимого сведения разнородных по своей природе и измеряемых в различных единицах измерения частных критериев эффективности в один количественный интегральный критерий эффективности вуза».

Автоматизированный системно-когнитивный анализ является одним из современных методов, который предоставляет научно обоснованные ответы на все эти вопросы, но самое существенное, что он оснащен широко и успешно апробированным [8] универсальным программным инструментарием, позволяющим решить эти вопросы не только на теоретическом концептуальном уровне, но и практически. Очень важно, что этот инструментарий и методики его использования для решения сформулированных задач могут быть доступны всем заинтересованным сторонам не только на федеральном уровне, но в самих вузах и НИИ, а также конкретным ученым, т.к. он находится в полном открытом бесплатном доступе (на сайте автора по адресу: http://lc.kubagro.ru/aidos/_Aidos-X.htm ).

Естественно, никто технологию не продает, а если и продает, то так дорого, что купить ее практически невозможно. Поэтому возникает вопрос о разработке или поиске подобной технологии в России.

Таким образом, востребованы теоретическое обоснование, математическая модель, методика численных расчетов (т.е. структуры данных и алгоритмы их обработки) а также реализующие их инструментальные (программные) средства, обеспечивающие создание, поддержку, развитие и применение подобных рейтингов.

Данная статья как раз и посвящена рассмотрению отечественной лицензионной инновационной интеллектуальной технологии, обеспечивающей решение поставленной проблемы. А именно предлагается применить для этой цели автоматизированный системно-когнитивный анализ (АСК-анализ) и его программный инструментарий – интеллектуальную систему «Эйдос».

2.3.3. Автоматизированный системно-когнитивный
анализ и интеллектуальная система «Эйдос»
как инструментарий решения проблемы

АСК-анализ представляет собой один из современных инновационных методов искусственно интеллекта, который предоставляет научно обоснованные ответы на все эти вопросы, но самое существенное, что он оснащен широко и успешно апробированным универсальным программным инструментарием, позволяющим решить эти вопросы не только как обычно на теоретическом концептуальном уровне, но и на практике [8]. Модели знаний АСК-анализа основаны на нечеткой декларативной модели представления знаний, предложенной автором в 1983 году и являющейся гибридной моделью, сочетающей в себе преимущества фреймовой, нейросетевой и четкой продукционной моделей и обеспечивающей создание моделей очень больших размерностей до 10 млн. раз превышающих максимальные размерности моделей знаний экспертных систем с четкими продукциями:

– от фреймовой модели модель представления знания системы «Эйдос» отличается существенно упрощенной программной реализацией и более высоким быстродействием без потери функциональности;

– от нейросетевой тем, что обеспечивает хорошо обоснованную теоретически содержательную интерпретацию весовых коэффициентов на рецепторах и обучение методом прямого счета;

– от четкой продукционной модели – нечеткими продукциями, представленными в декларативной форме, что обеспечивает эффективное использование знаний без их многократной генерации для решения задач идентификации, прогнозирования, принятия решений и исследования моделируемого объекта.

АСК-анализ является непараметрическим методом, устойчивым к шуму в исходных данных, позволяющий корректно обрабатывать неполные (фрагментированные) исходные данные, описывающие воздействие взаимозависимых факторов на нелинейный объект моделирования.

Суть метода АСК-анализа в том, что он позволяет рассчитать на основе исходных данных какое количество информации содержится в значениях факторов, обуславливающих переходы объекта моделирования в различные будущие состояния, причем как в желательные, так и в нежелательные [9][27].

Он состоит в целенаправленном последовательном повышении степени формализации исходных данных до уровня, который позволяет ввести исходные данные в компьютерную систему, а затем преобразовать исходные данные в информацию; информацию преобразовать в знания; использовать знания для решения задач прогнозирования, принятия решений и исследования предметной области.

Рассмотрим подробнее вопросы выявления, представления и использования знаний в АСК-анализе и системе «Эйдос».

Данные – это информация, записанная на каком-либо носителе или находящаяся в каналах связи и представленная на каком-то языке или в системе кодирования и рассматриваемая безотносительно к ее смысловому содержанию.

Исходные данные об объекте управления обычно представлены в форме баз данных, чаще всего временных рядов, т.е. данных, привязанных ко времени. В соответствии с методологией и технологией автоматизированного системно-когнитивного анализа (АСК-анализ), развиваемой проф. Е.В.Луценко, для управления и принятия решений использовать непосредственно исходные данные не представляется возможным. Точнее сделать это можно, но результат управления при таком подходе оказывается мало чем отличающимся от случайного. Для реального же решения задачи управления необходимо предварительно преобразовать данные в информацию, а ее в знания о том, какие воздействия на корпорацию к каким ее изменениям обычно, как показывает опыт, приводят.

Информация есть осмысленные данные.

Смысл данных, в соответствии с концепцией смысла Шенка-Абельсона, состоит в том, что известны причинно-следственные зависимости между событиями, которые описываются этими данными. Таким образом, данные преобразуются в информацию в результате операции, которая называется «Анализ данных», которая состоит из двух этапов:

1. Выявление событий в данных (разработка классификационных и описательных шкал и градаций и преобразование с их использованием исходных данных в обучающую выборку, т.е. в базу событий – эвентологическую базу).

2. Выявление причинно-следственных зависимостей между событиями.

В случае систем управления событиями в данных являются совпадения определенных значений входных факторов и выходных параметров объекта управления, т.е. по сути, случаи перехода объекта управления в определенные будущие состояния под действием определенных сочетаний значений управляющих факторов. Качественные значения входных факторов и выходных параметров естественно формализовать в форме лингвистических переменных. Если же входные факторы и выходные параметры являются числовыми, то их значения измеряются с некоторой погрешностью и фактически представляют собой интервальные числовые значения, которые также могут быть представлены или формализованы в форме лингвистических переменных (типа: «малые», «средние», «большие» значения экономических показателей).

Какие же математические меры могут быть использованы для количественного измерения силы и направления причинно-следственных зависимостей?

Наиболее очевидным ответом на этот вопрос, который обычно первым всем приходит на ум, является: «Корреляция». Однако, в статистике это хорошо известно, что это совершенно не так. Для преобразования исходных данных в информацию необходимо не только выявить события в этих данных, но и найти причинно-следственные связи между этими событиями. В АСК-анализе предлагается 7 количественных мер причинно-следственных связей, основной из которых является семантическая мера целесообразности информации по А.Харкевичу.

Знания – это информация, полезная для достижения целей[28].

Значит для преобразования информации в знания необходимо:

1. Поставить цель (классифицировать будущие состояния моделируемого объекта на целевые и нежелательные).

2. Оценить полезность информации для достижения этой цели (знак и силу влияния).

Второй пункт, по сути, выполнен при преобразовании данных в информацию. Поэтому остается выполнить только первый пункт, т.к. классифицировать будущие состояния объекта управления как желательные (целевые) и нежелательные.

Знания могут быть представлены в различных формах, характеризующихся различной степенью формализации:

– вообще неформализованные знания, т.е. знания в своей собственной форме, ноу-хау (мышление без вербализации есть медитация);

– знания, формализованные в естественном вербальном языке;

– знания, формализованные в виде различных методик, схем, алгоритмов, планов, таблиц и отношений между ними (базы данных);

– знания в форме технологий, организационных, производственных, социально-экономических и политических структур;

– знания, формализованные в виде математических моделей и методов представления знаний в автоматизированных интеллектуальных системах (логическая, фреймовая, сетевая, продукционная, нейросетевая, нечеткая и другие).

Таким образом, для решения сформулированной проблемы необходимо осознанно и целенаправленно последовательно повышать степень формализации исходных данных до уровня, который позволяет ввести исходные данные в интеллектуальную систему, а затем:

– преобразовать исходные данные в информацию;

– преобразовать информацию в знания;

– использовать знания для решения задач управления, принятия решений и исследования предметной области (рисунки 2, 3):

АСК-анализ имеет следующие этапы [8]:

– когнитивно-целевая структуризация предметной области;

– формализация предметной области (формирование классификационных и описательных шкал и градаций и обучающей выборки);

– синтез и верификация статистических и системно-когнитивных моделей;

– решение задач идентификации, прогнозирования, принятия решений и исследования предметной области в наиболее достоверных из созданных моделей.

Единственный неавтоматизированный в системе «Эйдос» этап – это первый, а остальные приведены на рисунке 1.

Рисунок 2. Соотношение содержания понятий:
«Данные», «Информация», «Знания»

Рисунок 3. Этапы последовательного повышения степени формализации модели от данных к информации, а от нее к знаниям

АСК-анализ имеет ряд особенностей, которые обусловили его выбор в качестве метода решения проблемы:

1. Имеет теоретическое обоснование, основой которого является семантическая мера целесообразности информации А.Харкевича.

2. Обеспечивает корректную сопоставимую количественную обработку разнородных по своей природе факторов, измеряемых в различных единицах измерения, высокую точность и независимость результатов расчетов от единиц измерения исходных данных.

3. Обеспечивает построение многомерных моделей объекта моделирования непосредственно на основе неполных и искаженных эмпирических данных о нем.

4. Имеет развитую и доступную программную реализацию в виде универсальной когнитивной аналитической системы «Эйдос».

2.3.4. Частные критерии и виды моделей
системы «Эйдос»

Частные критерии знаний, используемые в настоящее время в АСК-анализе и системе «Эйдос-Х++», приведены в таблице 1.

Таблица 1 – Частные критерии знаний, используемые в настоящее время в
АСК-анализе и системе «Эйдос-Х++»

Наименование модели знаний и частный критерий	Выражение для частного критерия
	через относительные частоты	через абсолютные частоты
INF1, частный критерий: количество знаний по А.Харкевичу, 1-й вариант расчета относительных частот: Nj – суммарное количество признаков по j-му классу. Относительная частота того, что если у объекта j-го класса обнаружен признак, то это i-й признак
INF2, частный критерий: количество знаний по А.Харкевичу, 2-й вариант расчета относительных частот: Nj – суммарное количество объектов по j-му классу. Относительная частота того, что если предъявлен объект j-го класса, то у него будет обнаружен i-й признак.
INF3, частный критерий: Хи-квадрат: разности между фактическими и теоретически ожидаемыми абсолютными частотами	---
INF4, частный критерий: ROI - Return On Investment, 1-й вариант расчета относительных частот: Nj – суммарное количество признаков по j-му классу
INF5, частный критерий: ROI - Return On Investment, 2-й вариант расчета относительных частот: Nj – суммарное количество объектов по j-му классу
INF6, частный критерий: разность условной и безусловной относительных частот, 1-й вариант расчета относительных частот: Nj – суммарное количество признаков по j-му классу
INF7, частный критерий: разность условной и безусловной относительных частот, 2-й вариант расчета относительных частот: Nj – суммарное количество объектов по j-му классу

Обозначения:

i – значение прошлого параметра;

j - значение будущего параметра;

N_ij – количество встреч j-го значения будущего параметра при i-м значении прошлого параметра;

M – суммарное число значений всех прошлых параметров;

W - суммарное число значений всех будущих параметров.

N_i – количество встреч i-м значения прошлого параметра по всей выборке;

N_j – количество встреч j-го значения будущего параметра по всей выборке;

N – количество встреч j-го значения будущего параметра при i-м значении прошлого параметра по всей выборке.

I_ij – частный критерий знаний: количество знаний в факте наблюдения i-го значения прошлого параметра о том, что объект перейдет в состояние, соответствующее j-му значению будущего параметра;

Ψ – нормировочный коэффициент (Е.В.Луценко, 1979, впервые опубликовано в 1993 году [15]), преобразующий количество информации в формуле А.Харкевича в биты и обеспечивающий для нее соблюдение принципа соответствия с формулой Р.Хартли;

P_i – безусловная относительная частота встречи i-го значения прошлого параметра в обучающей выборке;

P_ij – условная относительная частота встречи i-го значения прошлого параметра при j-м значении будущего параметра.

По сути, частные критерии представляют собой просто формулы для преобразования матрицы абсолютных частот (таблица 4)[29] в матрицы условных и безусловных процентных распределений(таблицы 5 и 6) и матрицы знаний (проф. В.И.Лойко, 2014).

2.3.5. Ценность описательных шкал и градаций
для решения задач идентификации текстов
и авторов (нормализация текста)

Для любой из моделей системой «Эйдос» рассчитывается ценность[30] градации описательной шкалы, т.е. признака, для идентификации или прогнозирования. Количественной мерой ценности признака в той или иной модели является вариабельность по классам частного критерия для этого признака (таблица 1) Мер вариабельности может быть много, но наиболее известными является среднее модулей отклонения от среднего, дисперсия и среднеквадратичное отклонение. Последняя мера и используется в АСК-анализе и системе «Эйдос».

В системе «Эйдос» ценность признаков нарастающим итогов выводится в графической форме.

При большом объеме обучающей выборки можно без ущерба для достоверности модели удалить из нее малозначимые признаки (Парето-оптимизация). Для этого в системе «Эйдос» также есть соответствующие инструменты.

2.3.6. Интегральные критерии системы «Эйдос»

Но если нам известно, что объект обладает не одним, а несколькими признаками, то как посчитать их общий вклад в сходство с теми или иными классами? Для этого в системе «Эйдос» используется 2 аддитивных интегральных критерия: «Сумма знаний» и «Семантический резонанс знаний».

Интегральный критерий «Семантический резонанс знаний» представляет собой суммарное количество знаний, содержащееся в системе факторов различной природы, характеризующих сам объект управления, управляющие факторы и окружающую среду, о переходе объекта в будущие целевые или нежелательные состояния.

Интегральный критерий представляет собой аддитивную функцию от частных критериев знаний, представленных в help режима 3.3:

В выражении круглыми скобками обозначено скалярное произведение. В координатной форме это выражение имеет вид:

_,

где: M – количество градаций описательных шкал (признаков);

– вектор состояния j–го класса;

– вектор состояния распознаваемого объекта, включающий все виды факторов, характеризующих сам объект, управляющие воздействия и окружающую среду (массив–локатор), т.е.:

В текущей версии системы «Эйдос-Х++» значения координат вектора состояния распознаваемого объекта принимались равными либо 0, если признака нет, или n, если он присутствует у объекта с интенсивностью n, т.е. представлен n раз (например, буква «о» в слове «молоко» представлена 3 раза, а буква «м» - один раз).

Интегральный критерий «Семантический резонанс знаний» представляет собой нормированное суммарное количество знаний, содержащееся в системе факторов различной природы, характеризующих сам объект управления, управляющие факторы и окружающую среду, о переходе объекта в будущие целевые или нежелательные состояния.

Интегральный критерий представляет собой аддитивную функцию от частных критериев знаний, представленных в help режима 3.3 и имеет вид:

где:

M – количество градаций описательных шкал (признаков);

– средняя информативность по вектору класса;

– среднее по вектору объекта;

– среднеквадратичное отклонение частных критериев знаний вектора класса;

– среднеквадратичное отклонение по вектору распознаваемого объекта.

– вектор состояния j–го класса;

– вектор состояния распознаваемого объекта, включающий все виды факторов, характеризующих сам объект, управляющие воздействия и окружающую среду (массив–локатор), т.е.:

В текущей версии системы «Эйдос-Х++» значения координат вектора состояния распознаваемого объекта принимались равными либо 0, если признака нет, или n, если он присутствует у объекта с интенсивностью n, т.е. представлен n раз (например, буква «о» в слове «молоко» представлена 3 раза, а буква «м» - один раз).

Приведенное выражение для интегрального критерия «Семантический резонанс знаний» получается непосредственно из выражения для критерия «Сумма знаний» после замены координат перемножаемых векторов их стандартизированными значениями:

Свое наименование интегральный критерий сходства «Семантический резонанс знаний» получил потому, что по своей математической форме является корреляцией двух векторов: состояния j–го класса и состояния распознаваемого объекта.

2.3.7. Выводы

Недавно был начат процесс монетизации оценки результатов научной деятельности и возникла потребность в методиках количественной и сопоставимой оценки эффективности и качества работы ученого. Появились многочисленные методики материального поощрения за эти результаты. Общим для всех этих методик является завешенная роль индекса Хирша. Сам по себе этот индекс вполне обоснован. Однако в связи с практикой применения индекса Хирша в наших условиях в сознании научного сообщества возникла своеобразная мания, которую автор предлагает называть «Хиршамания». Эта мания характеризуется повышенным нездоровым интересом к самому значению индекса Хирша, особенно к искусственному неадекватному преувеличению этого значения, а также рядом негативных последствий этого интереса. В данной работе делается попытка кратко описать некоторые негативные последствия этой новой психической инфекции, поразившей общественное сознание научного сообщества. А также наметить пути преодоления хотя бы некоторых причин их возникновения. В этом и состоит проблема, решаемая в данной работе. Для решения сформулированной проблемы предлагается применить многокритериальный подход, основанный на теории информации, а именно тот его вариант, который реализован в автоматизированном системно-когнитивном анализе (АСК-анализ) и его программном инструментарии – интеллектуальной системе «Эйдос».

---

[1] Расписание занятий в КубГАУ и в КубГУ: http://lc.kubagro.ru/My_training_schedule.doc

[2] с начала перехода Российской системы образования на «Болонскую систему»

[3] А не так, как часто бывает, со шпаргалками или их современным вариантом - телефонами

[4] это так называемый аддитивный интегральный критерий [5]

[5] Один из авторов данной статьи (проф. Е.В. Луценко) в 1996-1999 годах работал начальником отдела мониторинга качества образования Государственной аттестационной службы (ГАС) Министерства образования и науки Краснодарского края и профессионально занимался именно разработкой и применением педагогических измерительных систем и тестов уровня предметной обученности.

[6] Проблема – это несоответствие фактического и желаемого, противоречие между ними

[7] Скорее всего риторический

[8] з.е. - зачётная единица трудоёмкости (ЗЕТ) = 36 академическим часам или 27 астрономическим часам.

[9] http://yandex.ru/yandsearch?text=индекс%20Хирша=35

[10] http://elibrary.ru/

[11] http://www.antiplagiat.ru/

[12] http://yandex.ru/yandsearch?lr=35&text=антиплагиат

[13] http://yandex.ru/yandsearch?text=повышение%20уровня%20оригинальности%20текста&lr=35

[14] http://yandex.ru/yandsearch?text=синонимайзеры&lr=35

[15] http://yandex.ru/yandsearch?text=Рерайтинг&lr=35

[16] Вставка в русские слова английских букв и склеивание слов символами, которые отображаются как пробелы, чтобы система антиплагиат не смогла их идентифицировать – это слишком дешевые и легко распознаваемые искусственные приемы, чтобы к ним можно было серьезно относиться.

[17] Вяткин В.Б. Групповой плагиат: от студента до министра. - Троицкий вариант — Наука - http://trv-science.ru - [Электронный ресурс]. Адрес доступа: http://trv-science.ru/2011/11/08/gruppovojj-plagiat-ot-studenta-do-ministra/ или: http://trv-science.ru/2011/11/08/gruppovojj-plagiat-ot-studenta-do-ministra/print/

[18] У автора данной статьи много самоцитирований, но он оправдывает их корректность именно таким образом. Практически все работы автора посвящены развитию и многочисленным применениям предложенного им нового научного и инновационного направления искусственного интеллекта: Автоматизированного системно-когнитивного анализа (АСК-анализа) и его программного инструментария – интеллектуальной системы «Эйдос»: http://lc.kubagro.ru/

[19] http://yandex.ru/yandsearch?text=индекс%20Херфиндаля&lr=35

[20] Примерно тоже самое происходит и с учебной деятельностью: нужны хорошие учебно-методические комплексы (УМК), различные планы и документация, а был ли сам учебный процесс и каковы его истинные результаты никого особенно не интересует. Причем документации требуется все больше и больше, все время меняются стандарты ее оформления и содержания, так что преподавать становится, в общем-то, и некогда. Примерно также вроде и врачам уже и лечить становится просто некогда из-за оформления все больших объемов документации.

[21] А что остается делать? Ведь рядовые ученые и преподаватели не имеют никакой возможности влиять на принятие решений не только на федеральном уровне управления образованием, но и даже на уровне кафедры, факультета и вуза. Приходится принимать эти условия как объективную реальность, не зависящую от сознания.

[22] http://ej.kubagro.ru/eth.asp http://publicationethics.org/

[23] http://elibrary.ru/

[24] http://elibrary.ru/stat_resources.asp

[25] Автору статьи администраторы РИНЦ сообщили, что у него около 2000 непривязанных ссылок.

[26] http://ej.kubagro.ru/

[27] Вопреки тому, как его поняли некоторые авторы

[28] Основные публикации автора по вопросам выявления, представления и использования знаний:

– http://www.twirpx.com/file/793311/

– Луценко Е.В. Системно-когнитивный анализ как развитие концепции смысла Шенка – Абельсона / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2004. – №03(005). С. 65 – 86. – IDA [article ID]: 0050403004. – Режим доступа: http://ej.kubagro.ru/2004/03/pdf/04.pdf, 1,375 у.п.л.

– Луценко Е.В. Методологические аспекты выявления, представления и использования знаний в АСК-анализе и интеллектуальной системе «Эйдос» / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2011. – №06(070). С. 233 – 280. – Шифр Информрегистра: 0421100012\0197, IDA [article ID]: 0701106018. – Режим доступа: http://ej.kubagro.ru/2011/06/pdf/18.pdf, 3 у.п.л.

[29] Которая является также матрицей сопряженности или корреляционной матрицей.

[30] Эта ценность в АСК-анализе называется также интегральной информативностью, дифференцирующей или дискриминантной способностью и селективной силой, т.е. эти термины являются синонимами.