ГЛАВА 3. ХИРШАМАНИЯ ПРИ ОЦЕНКЕ РЕЗУЛЬТАТОВ
НАУЧНОЙ ДЕЯТЕЛЬНОСТИ, ЕЕ НЕГАТИВНЫЕ
ПОСЛЕДСТВИЯ И ПОПЫТКА ИХ ПРЕОДОЛЕНИЯ
С ПРИМЕНЕНИЕМ МНОГОКРИТЕРИАЛЬНОГО ПОДХОДА
И ТЕОРИИ ИНФОРМАЦИИ

 

Недавно был начат процесс монетизации оценки результатов научной деятельности, и возникла потребность в методиках количественной и сопоставимой оценки эффективности и качества работы ученого. Появились многочисленные методики материального поощрения за эти результаты. Общим для всех этих методик является завешенная роль индекса Хирша. Сам по себе этот индекс вполне обоснован. Однако в связи с практикой применения индекса Хирша в наших условиях в сознании научного сообщества возникла своеобразная мания, которую автор предлагает называть «Хиршамания». Эта мания характеризуется повышенным нездоровым интересом к самому значению индекса Хирша, особенно к искусственному неадекватному преувеличению этого значения, а также рядом негативных последствий этого интереса. В данной работе делается попытка кратко описать некоторые негативные последствия этой новой психической инфекции, поразившей общественное сознание научного сообщества. А также наметить пути преодоления хотя бы некоторых причин их возникновения. В этом и состоит проблема, решаемая в данной работе. Для решения сформулированной проблемы предлагается применить многокритериальный подход, основанный на теории информации, а именно тот его вариант, который реализован в автоматизированном системно-когнитивном анализе (АСК-анализ)  и его программном инструментарии – интеллектуальной системе «Эйдос»

 

3.1. Проблема, или о том какой урон уже нанес
джин Хирша, выпущенный из бутылки

 

Недавно научное сообщество лишилось надбавок за ученые степени и звания. Был начат процесс монетизации оценки результатов научной деятельности. Возникла потребность в соответствующих методиках количественной и сопоставимой оценки эффективности и качества работы ученого. Появились многочисленные методики материального поощрения за эти результаты. Эти методики отличаются в разных вузах. Но общим для всех этих методик является большая роль, которая отводится в них так называемому индексу Хирша. Сам по себе этот индекс вполне обоснован[1].

Однако в связи с практикой применения индекса Хирша в наших условиях в сознании научного сообщества возникла своеобразная мания, которую автор предлагает называть «Хиршамания». Эта мания характеризуется повышенным нездоровым интересом к самому значению индекса Хирша, особенно к искусственному неадекватному преувеличению этого значения, а также рядом негативных последствий этого интереса. В данной работе мы попытаемся кратко описать некоторые негативные последствия этой новой психической инфекции, поразившей общественное сознание научного сообщества. А также наметить пути преодоления хотя бы некоторых причин их возникновения. В этом и состоит проблема, решаемая в данной работе.

Чтобы наметить удачный план лечения, прежде всего надо поставить правильный диагноз. Мы квалифицируем Хиршаманию как психический вирус, о которых блестяще писал Ричард Броди [1]. Этот психический вирус может рассматриваться как инструмент манипуляции общественным сознанием научного сообщества, что очень хорошо описал в своем бестселлере С.Г.  Кара-Мурза [2]. Подобного рода манипуляции, которые особенно облегчились в связи с появлением глобальной информационной среды распространения и адресной доставки агента действия, могут использоваться также для нанесения урона противнику и, по сути, являются информационным оружием [3]. Так что Хиршамания в принципе может быть не таким уж и безобидным явлением.

Так что же собственно произошло? Ученым стали платить надбавки (материальные поощрения) за те или иные значения индекса Хирша. Ученые народ неглупый и быстро сообразил, что имеет прямой смысл эти значения увеличивать. А для этого надо писать научные работы, монографии, научно-методические работы и т.д., и т.п., размешать их в Российском индексе научного цитирования (РИНЦ)[2], и ссылаться на них. Это ясно из самой природы индекса Хирша. Причем не просто писать и ссылаться, а писать как можно больше и ссылаться тоже как можно больше.

Тривиальным является утверждение о том, что работа должна отражать основные результаты какого-то научного исследования, решение той или иной научной или прагматической задачи. Но откуда взять столько научных результатов? Ведь научные исследования требуют инвестиций и имеют длительный цикл проведения. Так возникает 1-я проблема, состоящая в том, что писать то, в общем-то, и не о чем, по крайней мере, в желаемом количестве, а писать очень надо. В век интернета решение этой проблемы элементарно. Проводим поиск по ключевым словам, находим источники, в которых об этом уже кем-то написано, и вставляем тексты из этих источников в свои работы. Если мы корректно ссылаемся на эти заимствования, то они называются «цитированиями», а если нет, то «плагиат». Если ссылаться на все эти заимствования, то может оказаться, что автор не внес никого личного вклада в работу, поэтому часто на них не ссылаются. Таким образом, материально простимулированное применением индекса Хирша для оценки результативности научной деятельности неоправданное стремление много писать, но не для того, чтобы отразить результаты реальных исследований, которых или вообще нет, или недостаточно для удовлетворения амбиций, приводит к распространению плагиата. Что же такое плагиат с правовой точки зрения? Наверное, это просто воровство, в частности воровство авторских текстов и идей, нарушение авторских прав на результаты научной деятельности.

Если есть спрос, то есть и предложение, и вот появляется система «Антиплагиат»[3] и много других подобных систем[4]. Подобные системы представляют свои услуги on-line, есть и бесплатные с ограниченными возможностями, и профессиональные, которые, естественно, платные. Практически все вузы уже купили профессиональные системы проверки на антиплагиат, и эта проверка стала нормой. Таким образом, первым отрицательным последствием Хиршамании является небывалое распространение плагиата в научной среде и как реакция на это – борьба с плагиатом (а не с его причинами, т.е. как обычно), причем за деньги самих научных организаций, т.е. косвенно – самих ученых и с большими затратами труда и времени самих ученых.

Началась борьба с плагиатом, началась и борьба с этой борьбой. Как грибы после дождя в информационном пространстве вдруг появились многочисленные ухищрения и «научные рекомендации» для того, чтобы обойти эти системы, т.е. добиться высокого уровня оригинальности некорректно заимствованного текста[5]. Прежде всего это различные синонимайзеры[6]. Однако системы антиплагиата работают просто с текстами, поэтому можно их обойти, если заимствовать не текст, а идеи, т.е. несколько перефразировать текст, чтобы сам текст стал другим, а его смысл сохранился. Эта процедура называется «Рерайтинг (rewriting)»[7], т.е. переписывание и изложение чужих мыслей своими словами. Еще для подобных целей могут быть использованы программы машинного перевода, т.к. они тоже подбирают синонимы и перефразируют[8]. Конечно, разработчики систем антиплагиата также принимают меры для обнаружения признаков борьбы с ними, т.е. признаков искусственного завышения оригинальности текста (это уже борьба систем антиплагиата с борьбой против них), и т.д., и т.д. почти до бесконечности.

Автор тоже столкнулся с этим явлением (как поставщик текстов и идей для плагиаторов, как высокопоставленных, так и не очень). Лучше всего об этом написано в работе «Групповой плагиат: от студента до министра»[9]. Чтобы найти многочисленные «труды» плагиаторов, включая диссертации, достаточно в Internet в любой поисковой системе сделать запрос, например: «Коэффициенты эмерджентности Хартли, Харкевича, Шеннона», которые автор системной теории информации (СТИ) проф. Е.В.Луценко назвал так в честь этих выдающихся ученых в области теории информации. При этом автор следовал сложившейся научной традиции называть единицы измерения и математические выражения в честь известных ученых. Причем часто плагиаторы даже не понимают, что сами основоположники и классики теории информации не предлагали этих коэффициентов, а предложены они были в работах автора. Наверное, поэтому они и не считают нужным делать ссылки и пишут, например:

1. «По Харкевичу коэффициент эмерджентности определяет степень детерменированности ситемы…» (подчеркнуто нами, авт., в цитате сохранены орфографические ошибки плагиатора, авт.).

2. «Отсюда строится системная численная мера количества информации в ИС на основе оценки эмерджентности системы (по Хартли и Харкевичу)» (выделено плагиатором, а на самом деле «по Луценко», – авт.).

Эти фразы легко найти в Internet. Так что плагиаторская активность не только продолжается, но и набирает обороты.

Однако индекс Хирша отражает не только число статей, но и число их цитирований. Поэтому самих статей для повышения значения индекса Хирша недостаточно, т.е. еще надо, чтобы на них были ссылки. А откуда их взять, если на твои работы сам, т.е. по собственной инициативе, никто или почти никто не ссылается? Так возникает 2-я проблема, т.е. проблема увеличения количества ссылок на свои работы. Но и эту проблему можно решить. Во-первых, можно самому ссылаться на собственные работы, т.е. заниматься самоцитированием. С правовой точки зрения это, конечно, не плагиат, т.к. нет потерпевшей стороны, т.е. в принципе автор имеет все авторские права на свой текст и свои идеи и может распоряжаться ими по своему усмотрению. Но с этической точки зрения чтобы ссылаться на себя, надо иметь на это моральное право и необходимо, чтобы эта ссылка была оправдана и обоснованна, а не являлась искусственной, т.е. ссылки ради ссылки, часто даже без сноски на нее из текста. По мнению автора, такое обоснование может состоять в том, что ряд статей образует цикл или систему, т.к. они посвящены описанию различных этапов решения одной проблемы или развитию определенного научного направления, т.е. по сути, являются продолжением друг друга и взаимосвязаны по своему содержанию[10]. Однако часто у авторов нет возможности для таких обоснованных самоцитирований, то тогда они занимаются неоправданными (некорректными) самоцитированиями. Иногда авторов с высоким уровнем самоцитирования обвиняют в том, что они засоряют информационное пространство дублирующей информацией и как бы продают многократно один и тот же информационный продукт. Автор не согласен с этой точкой зрения потому, что если бы она была правильной, то во всем интернет должно бы быть одно место для харания каждого информационного объекта, а все остальные просто должны были бы на него ссылаться. Но что мы видим на практике? Мы видим огромное количество размещений  одного и того информационного объекта на различных сайтах. Кстати, этим занимаются и различные интеграторы – библиографические базы данных, например НЭИКОН, КиберЛенинка, Agris, Ulrich’s Periodicals Directory, DOAJ, OALIB (Open Access Library), Scopus, Web of Science, и даже сам РИНЦ. Смысл таких размещений в новых возможностях в появлении для читателей новых дополнительных возможностей прочтения публикаций, а также возможность их статистической обработки и углубленного анализа в базах интегратора.

Но все же как-то неудобно ссылаться только на самого себя, как будто у тебя и не было предшественников или соавторов. Понятно, что цитирование соавторами это «почти самоцитирование» и также уязвимо для критики. Поэтому авторы, не являющиеся соавторами, часто договариваются о взаимных цитированиях, т.е. я тебя цитирую тебя, а за это – ты меня, что неблаговидно и с правовой точки зрения является сговором для извлечения дополнительной необоснованной созданием продукта или услуг прибыли, а этической точки зрения достойно морального порицания. В век глобальных коммуникаций и эти вопросы легко решаемы.

И, как всегда, раз наблюдаются искусственные и необоснованные цитирования, то появляются и средства борьбы с этим неблаговидным явлением (естественно, как всегда только с самим явлением, а не с его причинами). В частности появляется идея использовать для количественного измерения самоцитирований и цитирований соавторами индекс, взятый из экономики, который в ней используется для количественной оценки степени монополизации отрасли, – это индекс Херфиндаля[11] и различные его модификации.

Как же научное сообщество среагировало на установленные Минобрнауки РФ «правила игры». Да очень просто: все, даже те, кто уже давно ничего не писал, с готовностью принялись писать научные работы и цитировать их, можно сказать с энтузиазмом принялись повышать свои индексы цитирования и индексы Хирша. Правда это не сопровождалось сколь-нибудь заметным или значительным повышением активности самих научных исследований и инновационных разработок. А это означает, что народ вполне понял, что от него требуется: не сама работа, а лишь показатели отчетности о работе. По сути, речь идет о фальсификации деятельности: вместо самой деятельности и ее результатов учитываются и идут в зачет отчеты с растущими показателями о якобы имевшей место деятельности и результатах, и эти отчеты и показатели фактически и принимаются за результаты, а было ли все это на самом деле о что на сомом деле они отражают, фактически никого особенно не интересует[12]. Налицо явление, которое, в работе [4], названо «виртуализация общества». Фактическая деятельность в реальной области заменяется, замещается информацией о ней, а потом выясняется, что информация начинает жить собственной жизнью и замещает реальную область, при этом она в принципе может и не отражать процессы в реальной области. В результате масштабной, может быть даже глобальной фальсификации и виртуализации сама деятельность заменяется отчетностью о ней, содержащей различные показатели. И народ быстро сообразил, что нет необходимости в самой деятельности и нет никакого смысла достигать самого результата деятельности в реальной области: вполне достаточно обеспечить достижение не самого результата деятельности, а нужных показателей отчетности. Повышения этих показателей все и добиваются.

Но наука в этом плане не оригинальна. В экономике подобная подмена давно стала нормой: практически все осознают как цель своей экономической деятельности не создание благ и услуг для потребления их другими людьми, во что крайне наивно верил Адам Смит и что было беспощадно развенчано Карлом Марксом, а всего лишь личное обогащение (получение прибыли). В экономике давно считается нормой, вполне допустимой и не осуждаемой с морально-этической точки зрения, обогащение без создания реальных благ, например за счет осуществления спекулятивных операций на фондовом и валютном рынке. В результате подобных операций создается ничем реально не обеспеченный чисто инфляционный капитал. И в этом никто не видит ничего аморального или неэтичного. А между тем это прямой и ничем неприкрытый откровенный грабеж огромных масс людей во всем мире, покупательная способность которых падает за счет инфляции. Деньги вообще все замещают и все опошляют и не только в экономике, а вообще везде. Так, например, любовь они превращают в проституцию. А науку, которая является общественным институтом и общественной и индивидуальной деятельностью по познанию человека, общества и природы с целью познания истины (фундаментальная наука) и повышения эффективности деятельности человека (прикладная наука), – в искусственное увеличение индекса Хирша путем увеличения потока бессодержательных, переписанных друг у друга, но при этом широко цитируемых публикаций. В традициях Хиршамании цель достижения высоких результатов научной деятельности подменяется целью достижения высоких значений наукометрических показателей, отражающих эти результаты. При этом в информационном обществе отражение может быть создано и существовать и без достижения каких-либо реальных результатов и достижений. Таким образом, фальсификация и виртуализация науки, обусловленная Хиршаманией, по сути, приводят к ее профанации. Это настолько очевидно, что можно было бы об этом и не говорить, если бы практически все научное сообщество снизу до верху дружно бы не занималось именно этим, безропотно приняв правила игры, предложенные Минобрнауки, причем не просто занималось, но и делало при этом вид, что процесс идет нормально, т.е. делая хорошую мину при плохой игре[13].

Однако, в отличие от экономики, в науке в соответствии этикой научных публикаций[14] подобные действия считаются аморальными, и журналам, допускающим подобные работы к публикации практически закрыт путь в такие престижные международные библиографические базы данных, как Scopus и Web of Science. Из-за действия подобных этических норм воровать в науке стало так сложно, что иногда начинает казаться, что ты работаешь. Это звучит как юмор, но им не является, т.е. было бы смешно, если бы не было грустно. Так, например, рерайтинг – это действительно сложная и трудоемкая работа, требующая не только профессиональной компетенции в той предметной области, в которой осуществляется плагиат идей, но и определенной филологической подготовки: умения быстро и много писать на правильном русском языке. В работе рерайтера есть почти все, что есть в научной работе, кроме одного: у рерайтера нет своих новых идей и ему негде их брать, кроме как заимствовать их у того, у кого они есть. Но у рерайтера не просто нет своих новых идей, но он и не имеет ни малейшего представления о том, откуда они вообще берутся. Здесь я не могу отказать себе в удовольствии еще раз сослаться на работу В.Б.Вяткина [5], хотя плагиаторы-персонажи этой работы не удосужились даже переписать мой текст своими словами, т.е. не дотянули до рерайтеров, а просто привели весь текст целиком, включая «авторскую пунктуацию», т.е. изложив все от первого лица, «как было», включая даже мои орфографические и грамматические ошибки.

Таким образом, можно обоснованно констатировать факт, состоящий в том, что решение Минобрнауки РФ о монетизации оценки результатов научной деятельности, в частности  придание неоправданно высокой роли в этом процессе индексам публикационной активности (само по себе это вчерашний и даже позавчерашний день), а также индексам цитирования и Хирша, явилось причиной, породившей целый каскад или снежный ком различных негативных последствий, многие из которых имеют криминальный  характер, а некоторые «всего лишь» аморальны (рисунок 1).

Рисунок 1. Негативные последствия решения о монетизации оценки результатов научной деятельности (Хиршамании)

 

Эти последствия можно сравнить с порождением целой системы вложенных миров, подобных «Зазеркалью» Льюиса Кэррола, в которое попала Алиса, но эти миры являются не сказкой, а искаженной реальностью, так как порождаются отражениями в кривых зеркалах современной наукометрии, и находится в них не Алиса, а все авторы научных публикаций.

Подобное в новейшей Российской истории было уже не раз, и, по-видимому, уже есть основания говорить об определенной наметившейся тенденции или даже закономерности. Достаточно упомянуть про позорную эпопею с ЕГЭ, которая начиналась за здравие, а закончилась за упокой и подобную же историю с оценкой эффективности вузов [4]. Очень бы не хотелось, чтобы тоже самое, что случилось с ЕГЭ и с методикой оценки эффективности вузов случилось бы и с РИНЦ. Однако, к большому сожалению и объективно говоря пока все идет к тому, что так и получится, т.е. идея количественной сопоставимой оценки результатов (качества и эффективности) научной деятельности в наших условиях не реализуема. Может быть, это не дело только РИНЦ, а дело всего российского научного сообщества, включая Минобрнауки?

Выше уже упоминалось, что в этой новой истории с индексом Итак, мы сталкиваемся с ситуацией, когда хорошая идея плохо реализуется, т.к. мы опять впадаем в крайности, относимся к новой (для нас) идее, как панацее от всех проблем. Но такого, к сожалению, не бывает. А, как известно, нет лучшего способа дискредитировать хорошую идею, чем довести ее до абсурда, до крайности, т.к. тогда она становится своей противоположностью. Получается уже в который раз, что за что боролись, на то и напоролись. В этой ситуации перефразируя, похоже, что бессмертные слова В.С.Черномырдина, Минобрнауки может только сказать, что «мы хотели как лучше», а мы уже имеем все фактические основания констатировать, что опять «получилось как всегда».

Хирша, ключевая роль принадлежит Российскому индексу научного цитирования (РИНЦ)[15]. Что такое РИНЦ сегодня? На сегодня это безусловно самая большая в России электронная научная библиотека общего доступа. На момент написания данной работы в базах РИНЦ содержалось: журналов: 32991, выпусков журналов: 1193672, полнотекстовых статей: 20325344, издательств: 14976[16]. Данные РИНЦ используются сегодня для оценки рейтингов научных журналов и результатов научной деятельности, как отдельных ученых, так и вузов и научных институтов. Безусловно, у РИНЦ много достоинств и в настоящее время ему в России нет альтернативы. Но и у РИНЦ есть свои недостатки, которые вызывают совершенно обоснованный и все более громкий ропот в среде научного сообщества. Перечислим наиболее важные них в контексте проблематики данной работы.

РИНЦ чрезвычайно инерционная система. Обновление его баз данных происходит раз в неделю, а некоторые базы данных, например системы SCIENCE INDEX, обновляются раз в 2 месяца. Это означает, что в РИНЦ не выполняется одно из важнейших требований к базам данных: их актуальность. Проще говоря, если Вы обращаетесь в РИНЦ для получения тех или иных показателей по отдельным ученым или по вузам научным организациям, то нужно иметь в виду, что эта информация может быть сильно устаревшей.

В РИНЦ отсутствует целостность баз данных, т.е. данные в одних графах не подтверждаются данными в других графах. Как профессор по кафедре компьютерных технологий и систем с 2005 года и программист с почти 40-летним стажем автор может предположить, что эта особенность РИНЦ обусловлена тем, что разработчики даталогической и инфологической моделей его баз данных не везде нормализовали его базы данных. Это означает, что информация РИНЦ нет очень достоверна или, проще говоря, просто недостоверна.

Программное обеспечение РИНЦ не может идентифицировать авторов и публикации по их некорректным, неполным и нестандартным описаниям в списках литературы. Между тем эта задача решена в общем виде [6]. В результате число работ авторов, число цитирований этих работ и индекс Хирша авторов в системе РИНЦ оказываются систематически заниженными[17]. В качестве выхода из этой проблемной ситуации РИНЦ предлагает нам регистрироваться в системе SCIENCE INDEX и самим привязывать к себе свои работы и ссылки на свои работы из списка, предложенного системой РИНЦ. Иначе говоря, авторам предлагается самим вручную делать работу, которая должна выполняться полностью автоматически или с участием модератора, т.е. автоматизировано, самим РИНЦ.

Но и это еще не все. Дело в том, что список работ и ссылок на них, которые могут принадлежать данному автору, предлагаемый системой РИНЦ неполон, т.е. иначе говоря, некоторые работы, имея права пользователя системы SCIENCE INDEX, привязать вообще невозможно. Но это возможно имея права доступа администратора этой системы. И тут начинается самое интересное. Права администратора системы SCIENCE INDEX продаются РИНЦ вузам и научным организациям, причем продаются не дешево. Понятно, что практически все вузы и научные организации фактически были вынуждены купить эту систему, как, кстати, немного ранее и доступ к профессиональной версии системы Антиплагиат (которая, кстати, сейчас интегрируется с системой РИНЦ).

Интересно получается. Ученые должны провести научные исследования и разработки, написать об этом монографии и работы, получить авторские свидетельства, разместить их в РИНЦ, привязать их к себе, как авторам, привязать к себе ссылки на них, причем должны сделать это все это сами и еще заплатив журналам, Роспатенту и РИНЦ, за право самим это все сделать. Получается к примеру 5% бюджета времени ученого уходит на проведение самих научных исследований и разработок, еще 5% – на их оформление в виде монографий, статей и патентов, и еще 90% на их размещение в РИНЦ, а также привязку публикаций и ссылок на них к себе, как автору.  Разве так мы представляли себе, на что должен тратить свое творческое время ученый? Причем, как правило, после ненормированного рабочего дня, потраченного на голосовую нагрузку – преподавание? Ну то, что журналам за публикацию статей нужно платить, это еще понять можно. Но почему надо платить еще и РИНЦ за работу, которую мы выполняем сами за его программную систему, это уже не очень понятно.

Понятно, что покупая (и не дешево) права доступа администратора системы SCIENCE INDEX, вузы и научные организации справедливо надеются, что имея эти права, они смогут в комфортной и дружественной информационной среде полностью решить проблемы с привязкой статей и ссылок на них, описанные выше. Однако оказывается, что и это не так.

Прежде всего, надо сказать, что среда далека от комфортной, переходы из режима в режим плохо продуманы и сделаны неудобно. Постоянно надо переходить из одного окна в другое, удобнее бывает открыть два или более окон на большом мониторе, но они мало у  кого есть. Реакция системы на клик является чрезвычайно замедленной: иногда несколько минут. При большом объеме работ это резко увеличивает общее время работы. Когда администратор системы SCIENCE INDEX видит список ссылок на работы автора, то те, над которыми ему надо работать, не отмечены двумя красными треугольниками, и таких довольно много, но приходится их искать вручную среды отмеченных. При этом ссылки на непривязанные работы и на привязанные работы, находящиеся на проверке модератора, на экране выглядят одинаково. Это крайне неудобно. О том, что работа находится на проверке, можно догадаться потому, что нет ссылки на возможность корректировки ее описания. Но чтобы узнать есть эта ссылка или нет, надо кликнуть по ссылке на саму ссылающуюся работу, а потом, если ее нет, вернуться назад в список ссылок, возможность чего разработчиками не предусмотрена и приходится возвращаться через авторский указатель. Все это занимает время и раздражает своей непродуманностью, т.к. решение ведь простое. Надо просто отмечать все ссылки в специальной отведенной для этого колонке иконками тер типов, отличающимися по цвету, как сделано с инками, отражающим возможность доступа простого посетителя РИНЦ к полным текстам публикаций.

Есть всего три состояния ссылки на публикацию автора:

1) привязанная (неважно кем),

2) привязанная администратором SCIENCE INDEX от организации и находящаяся на проверке у модератора РИНЦ,

3) непривязанная. Я предложил бы непривязанные ссылки отметить красным цветом, находящиеся на проверке – желтым, а привязанные – зеленым.

Это интуитивно естественно. Желательно было бы иметь возможность сортировки и фильтрации ссылок по стадии обработки, чтобы было видно только те, над которыми надо работать, или только те, которые уже привязаны или находящиеся на проверке.

После привязки ссылки на работу автора в списке литературы эта корректировка посылается на проверку модератору. Мне так и не удалось узнать в РИНЦ, установлены ли в РИНЦ какие-либо нормативы на максимальную длительность его проверки. Не исключено, что ждать придется годами. Поэтому предлагается ссылки, привязанные администратором SCIENCE INDEX от организации, не посылать на проверку модератору РИНЦ, а сразу включать в базы данных РИНЦ, или накапливать а включать в базы даны раз в неделю. Если РИНЦ заботится о качестве привязки ссылок администратором SCIENCE INDEX от организации, то пусть сам по своему регламенту проверяет качество этих привязок, и если они не соответствуют установленным критериям качества, которые должны быть опубликованы на сайте РИНЦ, то применять к данному администратору и к его организации санкции (меры воздействия), прописанные в договоре.  Например, можно лишать данного администратора прав доступа на определенное время или требовать от организации его замены и т.п. Но реакция системы РИНЦ на корректировки администратора SCIENCE INDEX от организации обязательно должна быть резко ускорена.

Но главное все же не это, хотя это и важно. Главное в том, что при привязке ссылок в списках литературы возникают безвыходные ситуации. Даже имея права доступа администратора системы SCIENCE INDEX от организации, далеко не всегда удается привязать ссылку на работу автора из списка литературы ссылающейся работы. Мы можем скорректировать эту ссылку на правильную, но система не привязывает ее, пока не найдет в базах РИНЦ. Это вообще неприемлемо. Во-первых, потому, что есть работа в базах РИНЦ или ее там нет, не должно влиять на число ссылок на нее, т.к. это работа автора, на которую ссылается другой автор, и он эту работу видел, когда ссылался. Во-вторых, сам поиск не всегда дает положительный результат, т.е. не всегда способен найти работу, даже если она есть в базах РИНЦ и ссылка на нее правильная, в т.ч. сформирована самой системой РИНЦ. В этом случае, который наблюдается примерно в 70% случаев поиска, у администратора SCIENCE INDEX от организации вообще нет способа привязать эту ссылку. Автор предлагал администраторам РИНЦ два решения этой проблемы. Первое подробнейшим образом описано в работе [6]. Работать это решение будет быстро, т.к. у авторов в РИНЦ не более 300 работ, а чаще всего гораздо меньше. Это решение обеспечивает ранжирование работ автора в порядке убывания релевантности ссылке. Проведенные автором численные эксперименты убедительно продемонстрировали, что искомая работа практически всегда будет на первой позиции, т.е. будет иметь наивысшую релевантность. Второе решение вообще примитивное и состоит в том, что если поиск системы РИНЦ не может найти в работах автора, размещенных в РИНЦ ту, на которую сделана ссылка из списка литературы, то надо просто вывести весь список его работ и дать возможность администратору SCIENCE INDEX от организации просто указать в нем нужную работу.

Иначе при работе с РИНЦ слишком часто возникают безвыходные ситуации и заслуженные ученые, имеющие сотни работ, размещенных в РИНЦ и индекс Хирша 5 или 6 и видящие, что невозможно его увеличить не только авторам, но даже имея права администратора SCIENCE INDEX от организации, делают вполне определенные и легко прогнозируемые выводы и о системе РИНЦ, и о Хирше, и о всех, кто все это придумал. Все это дискредитирует и систему РИНЦ и основанную на данных РИНЦ  систему оценки результатов научной деятельности.

Авторы данной работы представляют политематический (мультидисциплинарный) журнал, издаваемый Кубанским агроуниверситетом [7][18]. В университете (http://kubsau.ru/) в настоящее время работает 26 факультетов, 85 кафедр, 8 докторских диссертационных советов по 21 специальностям, около 300 докторов наук, профессоров и 700 кандидатов наук, доцентов, 1500 преподавателей (а в 2003 году, когда создавался журнал, кафедр было около 100 и действовало 12 диссертационных советов).

Поэтому естественно, что журнал изначально создавался как мультидисциплинарный (политематический), т.к. именно такой журнал был нужен университету. Еще отметим, что наш вуз входит в тройку крупнейших патентообладателей России и имеет в 4 раза больше патентов, что все аграрные вузы России ВМЕСТЕ ВЗЯТЫЕ (включая и «Темирязевку»).

За время существования журнала с 2003 года по сентябрь 2017 года в свет вышел 131 номер, информация о которых приведена ниже.

 

Статистическая информация по Научному журналу КубГАУ

Год

Номер

Дата

выпуска

Статей

Авторов

Объем

Внутр.

Сквозной

всего

канд. наук

докт. наук

доцентов

профессоров

Страниц А4

pdf,

кб

2003

01

1

07.07.2003

18

22

6

7

5

8

185

2680

2003

02

2

19.11.2003

19

17

4

6

4

8

270

3722

Итого за 2003 год

37

39

10

13

9

16

455

6402

2004

01

3

22.01.2004

16

12

3

6

1

11

414

4016

2004

02

4

20.02.2004

20

22

7

11

4

15

265

4416

2004

03

5

05.04.2004

18

27

9

6

8

6

262

3854

2004

04

6

24.06.2004

25

28

5

12

2

14

306

4369

2004

05

7

24.09.2004

15

19

7

12

8

14

181

3349

2004

06

8

30.11.2004

20

18

4

5

6

6

250

2888

Итого за 2004 год

114

126

35

52

29

66

1678

22892

2005

01

9

24.01.2005

11

17

8

2

7

2

155

1824

2005

02

10

24.02.2005

17

24

4

6

5

8

210

3630

2005

03

11

30.03.2005

19

12

3

2

2

2

203

4316

2005

04

12

28.04.2005

21

23

7

4

9

4

235

3576

2005

05

13

28.06.2005

18

26

14

2

4

2

123

1905

2005

06

14

25.07.2005

21

24

9

2

6

2

240

35225

2005

07

15

24.10.2005

9

11

6

3

1

5

122

1868

2005

08

16

28.11.2005

15

10

3

1

7

1

137

2110

Итого за 2005 год

131

147

54

22

41

26

1425

54454

2006

01

17

30.01.2006

22

33

5

8

3

8

212

3576

2006

02

18

20.03.2006

17

23

6

5

5

5

154

2647

2006

03

19

04.05.2006

23

21

9

5

8

5

247

3950

2006

04

20

24.06.2006

34

43

11

7

9

8

425

5431

2006

05

21

07.09.2006

42

43

5

3

3

3

491

7595

2006

06

22

13.10.2006

29

35

10

5

10

3

390

4630

2006

07

23

21.11.2006

31

48

12

11

9

12

296

5310

2006

08

24

22.12.2006

58

76

19

15

17

11

621

8306

Итого за 2006 год

256

322

77

59

64

55

2836

41445

2007

01

25

30.01.2007

16

23

7

9

7

11

277

4665

2007

02

26

15.02.2007

25

34

5

10

6

11

342

6295

2007

03

27

22.03.2007

34

54

17

10

9

10

436

5649

2007

04

28

23.04.2007

14

22

8

3

2

8

132

3084

2007

05

29

31.05.2007

15

21

3

5

2

5

211

3873

2007

06

30

27.06.2007

16

19

4

5

1

5

222

4012

2007

07

31

21.09.2007

20

34

7

7

8

7

235

3794

2007

08

32

30.10.2007

14

24

4

6

3

7

152

2008

2007

09

33

26.11.2007

16

20

4

3

4

5

229

3362

2007

10

34

24.12.2007

19

24

6

3

5

2

263

4520

Итого за 2007 год

189

275

65

61

47

71

2499

41262

2008

01

35

29.01.2008

14

20

9

2

5

4

260

4181

2008

02

36

29.02.2008

15

23

3

9

4

6

263

3295

2008

03

37

31.03.2008

15

21

7

5

3

5

290

3264

2008

04

38

29.04.2008

10

18

4

8

3

6

158

2752

2008

05

39

31.05.2008

14

15

5

4

4

4

226

4836

2008

06

40

25.06.2008

18

14

6

5

2

5

114

6838

2008

07

41

15.09.2008

23

31

5

11

5

8

344

5191

2008

08

42

14.10.2008

15

26

5

12

7

11

204

6118

2008

09

43

27.11.2008

12

20

5

4

5

3

190

3026

2008

10

44

25.12.2008

12

19

4

8

2

8

194

2463

Итого за 2008 год

148

207

53

68

40

60

2243

41964

2009

01

45

31.01.2009

14

19

7

6

5

9

222

3358

2009

02

46

27.02.2009

12

22

12

4

7

6

201

2619

2009

03

47

31.03.2009

11

17

4

2

3

2

206

2377

2009

04

48

30.04.2009

9

6

1

3

3

3

176

2651

2009

05

49

29.05.2009

12

12

2

1

3

1

172

2230

2009

06

50

29.06.2009

9

17

8

5

3

5

171

2273

2009

07

51

28.09.2009

19

25

3

20

3

20

410

27673

2009

08

52

30.10.2009

13

21

4

14

5

10

194

6643

2009

09

53

30.11.2009

10

17

9

4

3

5

130

9019

2009

10

54

21.12.2009

15

19

8

13

4

14

263

25714

Итого за 2009 год

124

175

58

72

39

75

2145

84557

2010

01

55

31.01.2010

22

25

6

17

4

17

321

9082

2010

02

56

26.02.2010

15

18

7

7

4

9

223

6756

2010

03

57

30.03.2010

17

27

9

18

7

20

303

8370

2010

04

58

28.04.2010

32

40

16

10

15

7

515

9315

2010

05

59

31.05.2010

23

35

14

13

11

14

383

12082

2010

06

60

29.06.2010

41

60

20

22

14

22

660

12643

2010

07

61

24.09.2010

37

54

24

19

11

15

475

9093

2010

08

62

28.10.2010

44

59

23

12

12

10

514

12333

2010

09

63

27.11.2010

24

37

14

14

8

13

354

7384

2010

10

64

22.12.2010

25

39

14

9

4

12

351

8532

Итого за 2010 год

280

394

147

141

90

139

4099

95590

2011

01

65

31.01.2011

29

42

15

11

11

10

390

20525

2011

02

66

28.02.2011

47

70

31

14

21

13

576

23400

2011

03

67

30.03.2011

32

51

17

9

8

8

457

36551

2011

04

68

28.04.2011

48

70

28

10

17

5

558

15478

2011

05

69

30.05.2011

37

69

23

8

19

9

459

43425

2011

06

70

30.06.2011

58

84

16

24

15

16

828

36218

2011

07

71

30.09.2011

56

84

32

18

32

14

792

58969

2011

08

72

30.10.2011

49

80

21

24

19

17

585

93056

2011

09

73

30.11.2011

52

105

30

31

27

19

622

36042

2011

10

74

30.12.2011

76

125

74

40

43

28

881

36168

Итого за 2011 год

484

780

287

189

212

139

6148

399832

2012

01

75

27.01.2012

86

140

39

60

32

53

1122

53564

2012

02

76

29.02.2012

92

171

39

69

31

62

1175

73036

2012

03

77

30.03.2012

100

184

45

75

36

62

1234

62137

2012

04

78

30.04.2012

81

143

42

64

48

50

1032

44447

2012

05

79

31.05.2012

63

113

35

50

32

41

841

28141

2012

06

80

30.06.2012

51

93

31

26

21

21

689

23453

2012

07

81

30.09.2012

80

138

48

39

48

28

1066

19162

2012

08

82

31.10.2012

79

150

50

44

48

36

1153

19102

2012

09

83

30.11.2012

60

127

43

40

24

30

837

14154

2012

10

84

28.12.2012

80

159

62

53

46

41

1073

17727

Итого за 2012 год

772

1418

434

520

366

424

10222

354923

2013

01

85

28.01.2013

50

112

41

23

27

18

639

21995

2013

02

86

28.02.2013

59

118

43

34

31

25

849

30817

2013

03

87

30.03.2013

66

129

46

41

41

29

893

28105

2013

04

88

30.04.2013

78

134

43

52

40

46

1119

37310

2013

05

89

29.05.2013

101

180

57

54

57

48

1457

70434

2013

06

90

30.06.2013

71

119

41

30

36

26

1062

43209

2013

07

91

30.09.2013

129

238

81

71

68

62

1920

70338

2013

08

92

31.10.2013

95

194

68

60

49

51

1402

37989

2013

09

93

30.11.2013

115

222

74

61

45

53

1719

50118

2013

10

94

27.12.2013

67

124

35

40

26

36

999

30461

Итого за 2013 год

831

1570

529

466

420

394

12059

420776

2014

01

95

30.01.2014

72

124

33

36

28

38

1277

48900

2014

02

96

28.02.2014

82

138

33

44

27

39

1218

36443

2014

03

97

31.03.2014

94

163

45

55

47

51

1406

30025

2014

04

98

30.04.2014

112

205

69

57

46

59

1619

42053

2014

05

99

30.05.2014

106

210

56

62

49

56

1540

38939

2014

06

100

30.06.2014

116

236

74

77

65

100

1767

66262

2014

07

101

30.09.2014

166

327

98

88

65

87

2523

77665

2014

08

102

31.10.2014

83

157

47

53

30

41

1340

52117

2014

09

103

30.11.2014

87

150

60

41

36

40

1299

37766

2014

10

104

30.12.2014

149

306

95

80

61

75

2217

82922

Итого за 2014 год

1067

2016

610

593

454

586

16206

513092

2015

01

105

30.01.2015

64

106

40

34

31

35

1135

31721

2015

02

106

28.02.2015

78

160

46

43

29

40

1301

25856

2015

03

107

31.03.2015

115

223

70

64

42

55

1849

67445

2015

04

108

30.04.2015

92

183

60

49

42

46

1414

26737

2015

05

109

29.05.2015

89

155

56

39

32

36

1361

32916

2015

06

110

30.06.2015

121

210

59

51

38

41

1842

57134

2015

07

111

30.09.2015

117

212

71

68

36

57

1801

40400

2015

08

112

30.10.2015

150

314

104

65

73

55

2177

83778

2015

09

113

30.11.2015

119

226

67

75

44

67

1750

44199

2015

10

114

30.12.2015

111

248

90

70

57

55

1626

36189

Итого за 2015 год

1056

2037

663

558

424

487

16256

446375

2016

01

115

27.01.2016

86

154

55

51

31

46

1367

26942

2016

02

116

29.02.2016

106

206

70

59

41

50

1746

54051

2016

03

117

31.03.2016

89

218

73

64

40

50

1378

35593

2016

04

118

30.04.2016

111

221

84

57

68

43

1700

35898

2016

05

119

30.05.2016

97

216

62

59

31

55

1474

34308

2016

06

120

30.06.2016

112

249

81

71

59

50

1708

39320

2016

07

121

30.09.2016

139

283

87

89

58

77

2406

98322

2016

08

122

31.10.2016

85

159

64

53

40

51

1277

46550

2016

09

123

30.11.2016

141

328

107

79

68

61

2167

51154

2016

10

124

30.12.2016

99

235

68

61

43

49

1530

46931

Итого за 2016 год

1065

2269

751

643

479

532

16753

469069

2017

01

125

31.01.2017

57

132

43

35

32

25

873

33612

2017

02

126

28.02.2017

63

153

64

37

41

25

920

20547

2017

03

127

31.03.2017

75

167

69

44

40

30

1099

26714

2017

04

128

30.04.2017

98

255

73

69

48

52

1400

38196

2017

05

129

31.05.2017

97

236

73

59

48

32

1407

35991

2017

06

130

30.06.2017

87

219

91

34

49

29

1260

28728

2017

07

131

29.09.2017

124

299

108

68

55

50

1710

50175

Итого за 2017 год

601

1461

521

346

313

243

8669

233963

Итого за все годы

7155

13236

4294

3803

3027

3313

103693

3226596

В среднем за все годы

55

101

33

29

23

25

792

24631

 

В этих 131 номерах опубликовано 7155 статей. Среди 13236 авторов журнала из России и более 10 стран ближнего и дальнего зарубежья (http://ej.kubagro.ru/geo.asp) 3803 докторов наук, 3313 профессоров, 4294 кандидатов наук, 3027 доцентов (http://ej.kubagro.ru/st.asp). В среднем ежемесячно в журнале издается 55 статей общим объемом 792 страниц 101 автора из которых 29 доктора наук, 33 кандидата наук, 25 профессоров, 23 доцентов. Но в последние годы объем публикаций резко возрос (см.:http://ej.kubagro.ru/st.asp и работу [7]. Например, в 101-м номере Научного журнала КубГАУ опубликовано столько статей, сколько в «некоторых других журналах» публикуется примерно за 2 – 2.5 года.

По данным РИНЦ «Научный журнал КубГАУ» является 1-м в рейтинге российских вузовских мультидисциплинарных журналов по числу цитирований. Перед ним находится 3 академических издания, а после него через еще 1 идет следующий вузовский журнал: «Вестник Оренбургского государственного университета», после которого также идут академические издания. Ниже приведены форма запроса и отчет по рейтингу Научного журнала КубГАУ по числу цитирований среди мультидисциплинарных журналов по данным РИНЦ (по состоянию на 25.10.2017):

 

Как Вы думаете, где будут публиковаться наши ученые – сотрудники университета: в «других журналах» или в «нашем журнале»? Да у них просто ФИЗИЧЕСКИ практически нет никакой возможности публиковаться где-то еще. Тем более, что публикация в нашем журнале БЕСПЛАТНА для сотрудников университета и аспирантов из любых организаций СНГ. Ну и как это скажется на индексе Херфиндаля? Понятно, что плохо, а точнее очень плохо. По этой причине я ПРОТИВ модификации методики расчета рейтинга SCIENCE INDEX с учетом индекса Херфиндаля, т.к. это эквивалентно наказанию крупнейших и наиболее успешных изданий в своей области (и не только в своей области) и крупнейших издателей. При этом мы согласны, что для мелких и средних по объему изданий его применение может быть вполне оправдано. Поэтому я предлагаю придавать тем меньший вес индекса Херфиндаля в определении рейтинга SCIENCE INDEX, чем больше объем номеров издания в станицах за соответствующий период, за который определяется рейтинг. Для нашего Научного журнала КубГАУ индекс Херфиндаля практически вообще не должен играть никакой роли.

 

3.2. Идея предлагаемого решения проблемы

 

Недавно все Российское профессиональное научно-педагогическое сообщество стало свидетелем того, как Министерство образования и науки России начало работу по монетизации оценки результатов научной деятельности (ее качества и эффективности).

В этой связи возникает ряд вопросов, аргументированные ответы на которые представляют большой интерес.

Прежде всего, возникает вопрос о том, что понимается под результатами (качеством и эффективностью) научной деятельности (далее: «результаты»)? Ведь ясно, что прежде чем оценивать результаты научной деятельности было бы неплохо, а на самом деле совершенно необходимо, разобраться с тем, что же это такое. Ясно, что по этому поводу существует много различных мнений, которые в различной степени аргументированы или не аргументированы и отражают позиции руководителей образования и науки, профессионального научно-педагогического сообщества и различных слоев населения. По мнению автора, с научной точки зрения некорректно и неуместно говорить о каких-то критериях оценки результатов научной деятельности, если не определено само это понятие, т.е. отсутствует консенсус в профессиональной среде по поводу того, что же это такое. Очевидно, для достижения такого консенсуса в наше время необходимо широкое обсуждение этого вопроса в научной печати, Internet и СМИ.

Когда консенсус профессионального научно-педагогического сообщества по вопросу о том, что такое «результаты научной деятельности» будет достигнут, на первый план выступает вопрос о том, с помощью какого метода оценивать эти результаты? Для автора вполне очевидно, что этот метод должен представлять собой какой-то вариант метода многокритериальной оценки. Это обусловлено просто тем, что такие сложные и многофакторные системы как наука в принципе невозможно оценивать по одному показателю или критерию. Хиршамания возникла имена благодаря вольному или невольному, сознательному или несознательному игнорированию этого принципа. Чтобы обоснованно выбрать метод оценки результатов научной деятельности необходимо сначала научно обосновать требования к нему, а затем составить рейтинг методов по степени соответствия обоснованным требованиям и выбрать метод, наиболее удовлетворяющий обоснованным требованиям.

Когда метод оценки результатов научной деятельности выбран, необходимо ответить на вопрос о том, на основе каких частных критериев оценивать эти результаты и какой исходной информацией для этого необходимо располагать? Ясно, что эти критерии в общем случае могут иметь как количественную, так и качественную (нечисловую) природу и могут измеряться в различных единицах измерения. Кроме того эти критерии могут иметь различную силу и направление влияния на оценку результатов научной деятельности. Поэтому предварительно надо бы обосновать требования к частным критериям оценки результатов научной деятельности. Это специальная наукоемкая работа, но для автора и сейчас очевидно, что эти критерии должны быть:

– измеримы, т.е. по ним должна быть исходная информация;

– информативны, т.е. обеспечивать разделение измеряемого объекта по категориям (классам) качества и эффективности научной деятельности;

– не управляемы самим объектом, параметры которого измеряются, т.к. иначе он может влиять на результаты измерения в нужном ему направлении.

Индекс Хирша соответствует первым двум требованиям, но не удовлетворяет третьему, т.е. он вполне управляем потому, что вполне понятно, как он формируется, и авторы в состоянии писать работы и ссылаться на такие свои работы, чтобы индекс Хирша повышался максимально быстро. Поэтому величина индекса Хирша отражает не только результаты научной деятельности, но и степень понимания автором того, что такое индекс Хирша и как он формируется (см. юмористический эпиграф к данной работе). В психологии считается, что нельзя пользоваться тестом, ключи интерпретации которого рассекречены (опубликованы), т.к. при желании тестируемый может использовать знание этих ключей для того, чтобы так отвечать на тест, чтобы получить нужные ему результаты тестирования. Это ведь элементарно. Непонятно почему такие простые вещи игнорируются системами, вроде РИНЦ.

Представьте себе мальчишку, который не хочет идти в школу и говорит маме, что у него болит голова. Мама сразу достает термометр, чтобы померить ему температуру, сбивает его, ставит своему отпрыску под мышку и бежит на кухню выключать картошку, которую варит. А мальчишка в это время на одно мгновение окунает термометр в чай и сразу кладет его обратно себе под мышку и тихо сидит с грустным видом. Мама прибегает, смотрит термометр и сразу начинает принимать меры для лечения своего мелкого симулянта, а о школе теперь не может быть и речи. Спрашивается, является ли неисправным измерительный инструмент, т.е. термометр? Нет, конечно, он исправен и совершенно правильно измеряет температуру. Но объект измерения (симулянт) заинтересован в тех или иных показаниях и не только в принципе может влиять на показания измерительного инструмента, но и фактически делает это. Примерно тоже самое мы наблюдаем в ситуации с индексом Хирша. Сам по себе это нормальный измерительный инструмент. Но измерительный инструмент, легко управляемый заинтересованной стороной. Поэтому он не пригоден для тех целей, для которых предназначен.

Конечно, возникают вопросы как о способе определения системы критериев оценки результатов научной деятельности, так и о способе определения силы и направления влияния этих критериев на оценку результатов научной деятельности, т.е. по сути, о модели. Но еще более существенным является вопрос: «О способе сопоставимого сведения разнородных по своей природе и измеряемых в различных единицах измерения частных критериев эффективности в один количественный интегральный критерий эффективности вуза».

Автоматизированный системно-когнитивный анализ является одним из современных методов, который предоставляет научно обоснованные ответы на все эти вопросы, но самое существенное, что он оснащен широко и успешно апробированным [8] универсальным программным инструментарием, позволяющим решить эти вопросы не только на теоретическом концептуальном уровне, но и практически. Очень важно, что этот инструментарий и методики его использования для решения сформулированных задач могут быть доступны всем заинтересованным сторонам не только на федеральном уровне, но в самих вузах и НИИ, а также конкретным ученым, т.к. он находится в полном открытом бесплатном доступе (на сайте автора по адресу: http://lc.kubagro.ru/aidos/_Aidos-X.htm ).

Естественно, никто технологию не продает, а если и продает, то так дорого, что купить ее практически невозможно. Поэтому возникает вопрос о разработке или поиске подобной технологии в России.

Таким образом, востребованы теоретическое обоснование, математическая модель, методика численных расчетов (т.е. структуры данных и алгоритмы их обработки) а также реализующие их инструментальные (программные) средства, обеспечивающие создание, поддержку, развитие и применение подобных рейтингов.

Данная работа как раз и посвящена рассмотрению отечественной лицензионной инновационной интеллектуальной технологии, обеспечивающей решение поставленной проблемы. А именно предлагается применить для этой цели автоматизированный системно-когнитивный анализ (АСК-анализ) и его программный инструментарий – интеллектуальную систему «Эйдос».

 

3.3. Автоматизированный системно-когнитивный
анализ и интеллектуальная система «Эйдос»
как инструментарий решения проблемы

 

АСК-анализ представляет собой один из современных инновационных методов искусственно интеллекта, который предоставляет научно обоснованные ответы на все эти вопросы, но самое существенное, что он оснащен широко и успешно апробированным универсальным программным инструментарием, позволяющим решить эти вопросы не только как обычно на теоретическом концептуальном уровне, но и на практике [8]. Модели знаний АСК-анализа основаны на нечеткой декларативной модели представления знаний, предложенной автором в 1983 году и являющейся гибридной моделью, сочетающей в себе преимущества фреймовой, нейросетевой и четкой продукционной моделей и обеспечивающей создание моделей очень больших размерностей до 10 млн. раз превышающих максимальные размерности моделей знаний экспертных систем с четкими продукциями:

– от фреймовой модели модель представления знания системы «Эйдос» отличается существенно упрощенной программной реализацией и более высоким быстродействием без потери функциональности;

– от нейросетевой тем, что обеспечивает хорошо обоснованную теоретически содержательную интерпретацию весовых коэффициентов на рецепторах и обучение методом прямого счета;

– от четкой продукционной модели – нечеткими продукциями, представленными в декларативной форме, что обеспечивает эффективное использование знаний без их многократной генерации для решения задач идентификации, прогнозирования, принятия решений и исследования моделируемого объекта.

АСК-анализ является непараметрическим методом, устойчивым к шуму в исходных данных, позволяющий корректно обрабатывать неполные (фрагментированные) исходные данные, описывающие воздействие взаимозависимых факторов на нелинейный объект моделирования.

Суть метода АСК-анализа в том, что он позволяет рассчитать на основе исходных данных какое количество информации содержится в значениях факторов, обуславливающих переходы объекта моделирования в различные будущие состояния, причем как в желательные, так и в нежелательные [9][19].

Он состоит в целенаправленном последовательном повышении степени формализации исходных данных до уровня, который позволяет ввести исходные данные в компьютерную систему, а затем преобразовать исходные данные в информацию; информацию преобразовать в знания; использовать знания для решения задач прогнозирования, принятия решений и исследования предметной области.

Рассмотрим подробнее вопросы выявления, представления и использования знаний в АСК-анализе и системе «Эйдос».

Данные – это информация, записанная на каком-либо носителе или находящаяся в каналах связи и представленная на каком-то языке или в системе кодирования и рассматриваемая безотносительно к ее смысловому содержанию.

Исходные данные об объекте управления обычно представлены в форме баз данных, чаще всего временных рядов, т.е. данных, привязанных ко времени. В соответствии с методологией и технологией автоматизированного системно-когнитивного анализа (АСК-анализ), развиваемой проф. Е.В.Луценко, для управления и принятия решений использовать непосредственно исходные данные не представляется возможным. Точнее сделать это можно, но результат управления  при таком подходе оказывается мало чем отличающимся от случайного. Для реального же решения задачи управления необходимо предварительно преобразовать данные в информацию, а ее в знания о том, какие воздействия на корпорацию к каким ее изменениям обычно, как показывает опыт, приводят.

Информация есть осмысленные данные.

Смысл данных, в соответствии с концепцией смысла Шенка-Абельсона, состоит в том, что известны причинно-следственные зависимости между событиями, которые описываются этими данными. Таким образом, данные преобразуются в информацию в результате операции, которая называется «Анализ данных», которая состоит из двух этапов:

1. Выявление событий в данных (разработка классификационных и описательных шкал и градаций и преобразование с их использованием исходных данных в обучающую выборку, т.е. в базу событий – эвентологическую базу).

2. Выявление причинно-следственных зависимостей между событиями.

В случае систем управления событиями в данных являются совпадения определенных значений входных факторов и выходных параметров объекта управления, т.е. по сути, случаи перехода объекта управления в определенные будущие состояния под действием определенных сочетаний значений управляющих факторов. Качественные значения входных факторов и выходных параметров естественно формализовать в форме лингвистических переменных. Если же входные факторы и выходные параметры являются числовыми, то их значения измеряются с некоторой погрешностью и фактически представляют собой интервальные числовые значения, которые также могут быть представлены или формализованы в форме лингвистических переменных (типа: «малые», «средние», «большие» значения экономических показателей).

Какие же математические меры могут быть использованы для количественного измерения силы и направления причинно-следственных зависимостей?

Наиболее очевидным ответом на этот вопрос, который обычно первым всем приходит на ум, является: «Корреляция». Однако, в статистике это хорошо известно, что это совершенно не так.  Для преобразования исходных данных в информацию необходимо не только выявить события в этих данных, но и найти причинно-следственные связи между этими событиями. В АСК-анализе предлагается 7 количественных мер причинно-следственных связей, основной из которых является семантическая мера целесообразности информации по А.Харкевичу.

 Знания – это информация,  полезная для достижения целей[20].

Значит для преобразования информации в знания необходимо:

1. Поставить цель (классифицировать будущие состояния моделируемого объекта на целевые и нежелательные).

2. Оценить полезность информации для достижения этой цели (знак и силу влияния).

Второй пункт, по сути, выполнен при преобразовании данных в информацию. Поэтому остается выполнить только первый пункт, т.к. классифицировать будущие состояния объекта управления как желательные (целевые) и нежелательные.

Знания могут быть представлены в различных формах, характеризующихся различной степенью формализации:

 – вообще неформализованные знания, т.е. знания в своей собственной форме, ноу-хау (мышление без вербализации есть медитация);

– знания, формализованные в естественном вербальном языке;

– знания, формализованные в виде различных методик, схем, алгоритмов, планов, таблиц и отношений между ними (базы данных);

– знания в форме технологий, организационных, производственных, социально-экономических и политических структур;

– знания, формализованные в виде математических моделей и методов представления знаний в автоматизированных интеллектуальных системах (логическая, фреймовая, сетевая, продукционная, нейросетевая, нечеткая и другие).

Таким образом, для решения сформулированной проблемы необходимо осознанно и целенаправленно последовательно повышать степень формализации исходных данных до уровня, который позволяет ввести исходные данные в интеллектуальную систему, а затем:

– преобразовать исходные данные в информацию;

– преобразовать информацию в знания;

– использовать знания для решения задач управления, принятия решений и исследования предметной области (рисунки 2, 3):

АСК-анализ имеет следующие этапы [8]:

– когнитивно-целевая структуризация предметной области;

– формализация предметной области (формирование классификационных и описательных шкал и градаций и обучающей выборки);

– синтез и верификация статистических и системно-когнитивных моделей;

– решение задач идентификации, прогнозирования, принятия решений и исследования предметной области в наиболее достоверных из созданных моделей.

Единственный неавтоматизированный в системе «Эйдос» этап – это первый, а остальные приведены на рисунке 1.

Рисунок 2. Соотношение содержания понятий:
«Данные», «Информация», «Знания»

Рисунок 3. Этапы последовательного повышения степени формализации модели от данных к информации, а от нее к знаниям

 

АСК-анализ имеет ряд особенностей, которые обусловили его выбор в качестве метода решения проблемы:

1.     Имеет теоретическое обоснование, основой которого является семантическая мера целесообразности информации А.Харкевича.

2.     Обеспечивает корректную сопоставимую количественную обработку разнородных по своей природе факторов, измеряемых в различных единицах измерения, высокую точность и независимость результатов расчетов от единиц измерения исходных данных.

3.     Обеспечивает построение многомерных моделей объекта моделирования непосредственно на основе неполных и искаженных эмпирических данных о нем.

4.     Имеет развитую и доступную программную реализацию в виде универсальной когнитивной аналитической системы «Эйдос».

3.4. Частные критерии и виды моделей
системы «Эйдос»

 

Частные критерии знаний, используемые в настоящее время в АСК-анализе и системе «Эйдос-Х++», приведены в таблице 1.

 

Таблица 1 – Частные критерии знаний, используемые в настоящее время в
АСК-анализе и системе «Эйдос-Х++»

Наименование модели знаний

и частный критерий

Выражение для частного критерия

через

относительные частоты

через

абсолютные частоты

INF1, частный критерий: количество знаний по А.Харкевичу, 1-й вариант расчета относительных частот: Nj – суммарное количество признаков по j-му классу. Относительная частота того, что если у объекта j-го класса обнаружен признак, то это i-й признак

INF2, частный критерий: количество знаний по А.Харкевичу, 2-й вариант расчета относительных частот: Nj – суммарное количество объектов по j-му классу. Относительная частота того, что если предъявлен объект j-го класса, то у него будет обнаружен i-й признак.

INF3, частный критерий: Хи-квадрат: разности между фактическими и теоретически ожидаемыми абсолютными частотами

---

INF4, частный критерий: ROI - Return On Investment, 1-й вариант расчета относительных частот: Nj – суммарное количество признаков по j-му классу

INF5, частный критерий: ROI - Return On Investment, 2-й вариант расчета относительных частот: Nj – суммарное количество объектов по j-му классу

INF6, частный критерий: разность условной и безусловной относительных частот, 1-й вариант расчета относительных частот: Nj – суммарное количество признаков по j-му классу

INF7, частный критерий: разность условной и безусловной относительных частот, 2-й вариант расчета относительных частот: Nj – суммарное количество объектов по j-му классу

Обозначения:

i – значение прошлого параметра;

j - значение  будущего параметра;

Nij  количество встреч  j-го значения будущего параметра при i-м значении прошлого параметра;

M – суммарное число значений всех прошлых  параметров;

W - суммарное число значений всех  будущих параметров.

Ni  количество встреч  i-м значения прошлого параметра по всей выборке;

 Nj  количество встреч  j-го значения будущего параметра по всей выборке;

N  количество встреч  j-го значения будущего параметра при i-м значении прошлого параметра по всей выборке.

Iij  частный критерий знаний: количество знаний в факте наблюдения i-го значения прошлого параметра о том, что объект перейдет в состояние, соответствующее j-му значению будущего параметра;

Ψ – нормировочный коэффициент (Е.В.Луценко, 1979, впервые опубликовано в 1993 году [15]), преобразующий количество информации в формуле А.Харкевича в биты и обеспечивающий для нее соблюдение принципа соответствия с формулой Р.Хартли;

Pi – безусловная относительная частота встречи i-го значения прошлого параметра в обучающей выборке;

Pij – условная относительная частота встречи i-го значения прошлого параметра при j-м значении будущего параметра.

 

По сути, частные критерии представляют собой просто формулы для преобразования матрицы абсолютных частот (таблица 4)[21] в матрицы условных и безусловных процентных распределений(таблицы 5 и 6) и матрицы знаний (проф. В.И.Лойко, 2014).

 

3.5. Ценность описательных шкал и градаций
для решения задач идентификации текстов
и авторов
(нормализация текста)

 

Для любой из моделей системой «Эйдос» рассчитывается ценность[22] градации описательной шкалы, т.е. признака, для идентификации или прогнозирования. Количественной мерой ценности признака в той или иной модели является вариабельность по классам частного критерия для этого признака (таблица 1)  Мер вариабельности может быть много, но наиболее известными является среднее модулей отклонения от среднего, дисперсия и среднеквадратичное отклонение. Последняя мера и используется в АСК-анализе и системе «Эйдос». 

В системе «Эйдос» ценность признаков нарастающим итогов выводится в графической форме.

При  большом объеме обучающей выборки можно без ущерба для достоверности модели удалить из нее малозначимые признаки (Парето-оптимизация). Для этого в системе «Эйдос» также есть соответствующие инструменты.

 

3.6. Интегральные критерии системы «Эйдос»

 

Но если нам известно, что объект обладает не одним, а несколькими признаками, то как посчитать их общий вклад в сходство с теми или иными классами? Для этого в системе «Эйдос» используется 2 аддитивных интегральных критерия: «Сумма знаний» и «Семантический резонанс знаний».

Интегральный критерий «Семантический резонанс знаний» представляет собой суммарное количество знаний, содержащееся в системе факторов различной природы, характеризующих сам объект управления, управляющие факторы и окружающую среду, о переходе объекта в будущие целевые или нежелательные состояния.

Интегральный критерий представляет собой аддитивную функцию от частных критериев знаний, представленных в help режима 3.3:

В выражении круглыми скобками обозначено скалярное произведение. В координатной форме это выражение имеет вид:

,

где: M – количество градаций описательных шкал (признаков);

– вектор состояния j–го класса;

 – вектор состояния распознаваемого объекта, включающий все виды факторов, характеризующих сам объект, управляющие воздействия и окружающую среду (массив–локатор), т.е.:

В текущей версии системы «Эйдос-Х++» значения координат вектора состояния распознаваемого объекта принимались равными либо 0, если признака нет, или n, если он присутствует у объекта с интенсивностью n, т.е. представлен n раз (например, буква «о» в слове «молоко» представлена 3 раза, а буква «м» - один раз).

Интегральный критерий «Семантический резонанс знаний» представляет собой нормированное суммарное количество знаний, содержащееся в системе факторов различной природы, характеризующих сам объект управления, управляющие факторы и окружающую среду, о переходе объекта в будущие целевые или нежелательные состояния.

Интегральный критерий представляет собой аддитивную функцию от частных критериев знаний, представленных в help режима 3.3 и имеет вид:

где:

M      – количество градаций описательных шкал (признаков);

      – средняя информативность по вектору класса;

     – среднее по вектору объекта;

    – среднеквадратичное отклонение частных критериев знаний вектора класса;

   – среднеквадратичное отклонение по вектору распознаваемого объекта.

– вектор состояния j–го класса;

 – вектор состояния распознаваемого объекта, включающий все виды факторов, характеризующих сам объект, управляющие воздействия и окружающую среду (массив–локатор), т.е.:

В текущей версии системы «Эйдос-Х++» значения координат вектора состояния распознаваемого объекта принимались равными либо 0, если признака нет, или n, если он присутствует у объекта с интенсивностью n, т.е. представлен n раз (например, буква «о» в слове «молоко» представлена 3 раза, а буква «м» - один раз).

Приведенное выражение для интегрального критерия «Семантический резонанс знаний» получается непосредственно из выражения для критерия «Сумма знаний» после замены координат перемножаемых векторов их стандартизированными значениями:

Свое наименование интегральный критерий сходства «Семантический резонанс знаний» получил потому, что по своей математической форме является корреляцией двух векторов: состояния j–го класса и состояния распознаваемого объекта.

 

3.7. Выводы

 

Недавно был начат процесс монетизации оценки результатов научной деятельности и возникла потребность в методиках количественной и сопоставимой оценки эффективности и качества работы ученого. Появились многочисленные методики материального поощрения за эти результаты. Общим для всех этих методик является завешенная роль индекса Хирша. Сам по себе этот индекс вполне обоснован. Однако в связи с практикой применения индекса Хирша в наших условиях в сознании научного сообщества возникла своеобразная мания, которую автор предлагает называть «Хиршамания». Эта мания характеризуется повышенным нездоровым интересом к самому значению индекса Хирша, особенно к искусственному неадекватному преувеличению этого значения, а также рядом негативных последствий этого интереса. В данной работе делается попытка кратко описать некоторые негативные последствия этой новой психической инфекции, поразившей общественное сознание научного сообщества. А также наметить пути преодоления хотя бы некоторых причин их возникновения. В этом и состоит проблема, решаемая в данной работе. Для решения сформулированной проблемы предлагается применить многокритериальный подход, основанный на теории информации, а именно тот его вариант, который реализован в автоматизированном системно-когнитивном анализе (АСК-анализ)  и его программном инструментарии – интеллектуальной системе «Эйдос»,

 

 



[1] http://yandex.ru/yandsearch?text=индекс%20Хирша=35 

[2] http://elibrary.ru/

[3] http://www.antiplagiat.ru/

[4] http://yandex.ru/yandsearch?lr=35&text=антиплагиат

[5] http://yandex.ru/yandsearch?text=повышение%20уровня%20оригинальности%20текста&lr=35    

[6] http://yandex.ru/yandsearch?text=синонимайзеры&lr=35  

[7] http://yandex.ru/yandsearch?text=Рерайтинг&lr=35  

[8] Вставка в русские слова английских букв и склеивание слов символами, которые отображаются как пробелы, чтобы система антиплагиат не смогла их идентифицировать – это слишком дешевые и легко распознаваемые искусственные приемы, чтобы к ним можно было серьезно относиться.

[9] Вяткин В.Б. Групповой плагиат: от студента до министра. - Троицкий вариант — Наука - http://trv-science.ru - [Электронный ресурс]. Адрес доступа: http://trv-science.ru/2011/11/08/gruppovojj-plagiat-ot-studenta-do-ministra/  или: http://trv-science.ru/2011/11/08/gruppovojj-plagiat-ot-studenta-do-ministra/print/

[10] У автора данной работы много самоцитирований, но он оправдывает их корректность именно таким образом. Практически все работы автора посвящены развитию и многочисленным применениям предложенного им нового научного и инновационного направления искусственного интеллекта: Автоматизированного системно-когнитивного анализа (АСК-анализа) и его программного инструментария – интеллектуальной системы «Эйдос»: http://lc.kubagro.ru/

[11] http://yandex.ru/yandsearch?text=индекс%20Херфиндаля&lr=35

[12] Примерно тоже самое происходит и с учебной деятельностью: нужны хорошие учебно-методические комплексы (УМК), различные планы и документация, а был ли сам учебный процесс и каковы его истинные результаты никого особенно не интересует. Причем документации требуется все больше и больше, все время меняются стандарты ее оформления и содержания, так что преподавать становится, в общем-то, и некогда. Примерно также вроде и врачам уже и лечить становится просто некогда из-за оформления все больших объемов документации.

[13] А что остается делать? Ведь рядовые ученые и преподаватели не имеют никакой возможности влиять на принятие решений не только на федеральном уровне управления образованием, но и даже на уровне кафедры, факультета и вуза. Приходится принимать эти условия как объективную реальность, не зависящую от сознания.

[14] http://ej.kubagro.ru/eth.asp      http://publicationethics.org/

[15] http://elibrary.ru/

[16] http://elibrary.ru/stat_resources.asp

[17] Автору работы администраторы РИНЦ сообщили, что у него около 2000 непривязанных ссылок.

[18] http://ej.kubagro.ru/     

[19] Вопреки тому, как его поняли некоторые авторы

[20] Основные публикации автора по вопросам выявления, представления и использования знаний:

http://www.twirpx.com/file/793311/

Луценко Е.В. Системно-когнитивный анализ как развитие концепции смысла Шенка – Абельсона / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2004. – №03(005). С. 65 – 86. – IDA [article ID]: 0050403004. – Режим доступа: http://ej.kubagro.ru/2004/03/pdf/04.pdf, 1,375 у.п.л.

– Луценко Е.В. Методологические аспекты выявления, представления и использования знаний в АСК-анализе и интеллектуальной системе «Эйдос» / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2011. – №06(070). С. 233 – 280. – Шифр Информрегистра: 0421100012\0197, IDA [article ID]: 0701106018. – Режим доступа: http://ej.kubagro.ru/2011/06/pdf/18.pdf, 3 у.п.л.

[21] Которая является также матрицей сопряженности или корреляционной матрицей.

[22] Эта ценность в АСК-анализе называется также интегральной информативностью, дифференцирующей или дискриминантной способностью и селективной силой, т.е. эти термины являются синонимами.