14.10.2019 | Svátek má Agáta


VĚDA: Peripetie hodnocení vědy a vědeckých výsledků

30.5.2013

Za bolševického panování se peníze na vědu rozdělovaly úměrně všem institucím, a to většinou podle dosahu politické působnosti klíčových pracovníků jednotlivých ústavů. Život vědeckých institucí byl tak pod ideologickým tlakem, který byl poplatný manažerské schopnosti ředitelů přesvědčit nadřízené orgány, že právě ta jejich problematika bude důležitou součástí vědeckých plánů. S pádem bolševika sice nadále zůstalo základem financování institucionální, nicméně vědecké týmy (i jednotlivci) získaly množnost soupeřit o jakousi vícezdrojovou nadstavbu, čímž v boji o dodatečné finance propukla konkurenční rivalita v rámci projektových soutěží, jejichž objektivita byla podmíněna existencí více grantových agentur (první taková agentura vznikla začátkem devadesátých let na akademii, GA AVČR, byla však naneštěstí před několika lety zrušena). Vznikla vidina, že tímto účelovým způsobem bude možné nestranně profinancovat celou Českou vědu. V praxi pak honba za financováním podle výzkumných záměrů dospěla až do stadia přetvářky vedoucí k enormnímu nárůstu nepředvídatelného vytváření slohových úkolů místo presentace faktických údajů, což současně vedlo k nástupu nedílného lobbingu.

Nelítostný boj o odborné přežití umožnil vznik institucí jen pro instituce, manažerů pro správu grantů, kolonek pro vykazování výsledků a výběrových řízení pro výběrová řízení, což přineslo netušené možnosti řadě rafinovaných jedinců. Výsledky soutěží se musejí připravovat a vyhodnocovat, což vyžaduje zabezpečit systém naprosto nepředpojatý, eliminující možnosti osobních manipulací a spravedlivě hodnotící, což se v různorodosti vědních oborů a osobností stalo téměř neschůdným. Vlastní bádání se začalo pozvolna oddělovat od jeho formálního ohodnocování, o limitované finanční zdroje začaly soupeřit universitní, akademická, resortní a průmyslová pracoviště, a dělení dobrých a špatných výsledků se vzdálilo od užitečnosti k formálnosti. V sháňce po aplikacích dostal průmysl neočekávanou možnost si přivydělat na státních dotacích, když dobře mířené finance na výzkum si tak mohl přehrát do kolonky výdajů umožňujících daňový odpis. Prý vznikly dokonce (oficielně neexistující) instituce nabízející nejen napsání projektu, ale i zajištění jeho grantového přijetí za určitou úplatu (~ 10%).

Příkladem benevolentních postupů je i taková svéráznost jako např. grantový projekt "Pasivní detekce a lokalizace člověka za překážkou", za který Ministerstvo průmyslu vyplatilo téměř třicetimilionovou dotaci s výsledkem kovové roury na podstavci se stetoskopem a s využitím virgule. Žádost o podporu projektu byla prý vyhodnocena odborným poradním orgánem (Radou programu Impuls), a to na základě dvou posudků z databáze oponentů ministerstva, a tak Rada doporučila podpořit projekt ze státních prostředků, když výsledek hodnocení veřejné soutěže schválil sám ministr. V některých dalších případech bylo obtížné se vůbec dopídit výsledků často skrytých v obskurních sbornících a zprávách.

Je nezbytné si uvědomit, že pro zajištění akceptovatelnosti grantu je nutné už předem vynaložit nemalou práci, a to nejen na jeho odborné kvalitě, ale i na formální připravenosti a průchodnosti textu s vidinou předem nezjistitelné a téměř zanedbatelné úspěšností. Mnoho autorů tak ztrácí čas, elán a erudici, když žijí pod stálým nátlakem psát a podávat granty. Nezbytnou součástí se stal výběr a zajištění náležitých hodnotících podkladů, čímž v soutěži o vědu nastala všeobecná sháňka za hodnotícími body (kritériem vědy), což je ale proces ve vědě velice ošidný. Účtování se začalo rekrutovat z tzv. impakt-faktorů odborných časopisů, kde se výsledky projektů publikovaly, což někdy vedlo spíše ke snaze získat co největší počet časopiseckých publikací než zajistit prezentaci kvalitních (odborných) výsledků. Vznikla tak jakási (ne)klamná hra na vědu, kdy proces posuzování a jeho provozovatelé-posuzovatelé se staly součástí zahrávání si s nejrůznějšími kriterii a jejich manipulacemi podle vlivu resortů, osobností, oborů, disciplin atd. Vznikly i zahraniční hodnotící komise, jejichž výsledky se pro domácí použití následně upravovaly. Vznikly i vládní komise, které se vytvořily nejen podle odborných kritérií, ale i podle politického působení a často pod tlakem politiků s výsledkem, že lepší je alespoň nějaká odborně fundovaná komise než pouhý ansámbl politiků. Nového, plně efektivního systému hodnocení a financování výzkumu se stále bohužel nedostává, i když se říká, že se na něj vyčlenilo mnoho desítek miliónů ministerských korun, které by tak mohly sloužit lépe vědě jako takové.

Současné způsob grantového hodnocení projektů a jejich předkladatelů se stanovuje přes soustavu parciálních posuzovatelů (recenzentů), kteří současně hodnotí (píší posudek), jestli je projekt odborně způsobilý a vědecky hodnotný, a zároveň hodnotí, jestli předkladatel splňuje určité podmínky zasloužilosti (uznání). Tak vzniká nadmíru ošemetný úkol, který nelze jednoduše určit prostým seřazením určitých kritérií, třeba počtu publikací, citační odezvy, renomé autora, významnosti práce atd. Existují sice mezinárodně uznávané databáze výsledků a citační odezvy (např. obecně dostupný ´Web of Science´ WOS), který současně poskytuje i koeficient zvaný H-index (badatelé s vysokým H-faktorem velmi pravděpodobně přispívají podstatnou mírou k rozvoji své disciplíny, protože produkují hodně prací a nápadů využitých - citovaných - ostatními badateli). Zatím nic lepšího na trhu evaluace není, i když některé kolektivní obory, kde se publikují odborné články autorované desítkou až stovkou spoluautorů indexově profitují ze své provázanosti. Recenzenti tak stojí před těžko řešitelným problémem, jak dostatečně citlivě zpracovávat a porovnávat tyto informace a integrovat je v rámci svého odborného úsudku (a často i svědomí) a tím se vyjadřovat ke kvalitě projektu. Je to nelehká práce a je zřejmé, že může strádat vlivem řady odborných nepřesností a osobních zaujetí hraničících až s možnou zkorumpovatelností. Nicméně se však objevuje tendence nahradit i tento byť ne úplně dokonalý a často zmechanizovaný způsob hodnocení alternativním přístupem, založeným na opět subjektivním výběru několika stěžejních publikací v daném oboru, ale prostřednictvím (volbou) hodnotící komise (kdo ji vybere?!) s následným srovnáním vědecké úrovně vybraných a ostatních srovnávaných publikací, a tak vytvořit jiný (vlastní) srovnávací žebříček. Tím se ale opět dostáváme zpátky k problému vlivu ryze osobního způsobu evaluace (kdo pak garantuje nezbytnou objektivitu a provede hodnocení hodnotitelů), když mezinárodní hodnocení podle WOSu přeci jenom zaručuje jistou dávku objektivity, která se nedá zmanipulovat jinak, než psaním odborných článků, byť kritizovaným, nicméně zachovávajícím jistou schopnost konkurence.

Takovýto citační systém evaluace se však stal terčem silné kritiky hlavně proto, že spíše nahrává publikační a nikoliv faktologické činnosti, i když je do velké míry objektivní, protože čím vyšší je impakt-faktor, tím obtížnější je v daném časopise umístit publikaci, protože rukopisné vstupy jsou hlídané recenzemi (´peer review´ šlechtí každý lepší časopis). Kritika může být ovlivněna i těmi, kteří nepublikují, ať už z jakéhokoliv důvodu (dávají přednost řešení administrativních záležitostí). Dále se zdá důležité, že vedle okamžitého ohodnocení výsledků projektů při jejich ukončení by se mělo doplnit či hledat, jejich ohodnocení po určitém časovém úseku (třeba pěti let), což by ukázalo i dlouhodobější dopad výsledků na realizační a citační sféru.

Věda je velice křehká nádoba, která si zaslouží jak respekt, tak toleranci, a poslání badatele, které se obvykle vyznačuje hlubokou pokorou před moudrostí přírody a jejími principy, si žádá i velkou dávku pochopení včetně porozumění jeho finančního světa. Přes všechny nedostatky odborného ohodnocování zatím nedochází k masivnímu tunelování vědeckých výsledků, maximálně k pokusu vytunelovat majetek, který vědecké organizace (např. AVČR) dosud vlastní. Je nejvyšší čas, abychom udělali všechno pro to, aby se věda zachovala, aby se vědě dostalo co nejobjektivnějšího oceňování a aby se věda vrátila k vědeckému poslání od zmechanizovaného luštění slohových úloh projektů pro grantové agentury.

Následovat bude druhá část: Jsou zobjektizované grantové agentury dostatečně objektivní?

Související literatura:

* Fiala J, Šesták J.: Databáze a citace v nauce o materiálech: současnost a budoucnost. J. Thermal Analysis Calor. 60 (2000) 1101-1110 (Anglicky).

* Šesták J.:Necháme si vytunelovat českou vědu? Chemické Listy 103 (2009) 689-671

* Janoušek P.: Věda jako agón: volná soutěž a falešná hra. Vesmír 92 (2013) 107-111

* Hrbáček J.: PRÁVO: Z cizího se rozhazuje nejlépe, Neviditelný pes 07/03/2013, též EURO 9/2013,

* Faktor I.: Hirschův index a Česká věda. Vesmír 85 (2006) 555-556

Emeritus, dr.h.c., H-index 23








 Neviditelný pes
Toto je DENÍK: do sítě jde obvykle nejpozději do 8.00 hod. aktuálního dne. Pokud zaspím, opiji se, zešílím nebo se zastřelím, patřičně na to upozorním - neboť jen v takovém případě vyjde Pes jindy, eventuálně nikdy.
Šéfredaktor Ondřej Neff (nickname Aston), příspěvky laskavě posílejte na adresu redakce Jiřímu Wagnerovi, redaktorovi NP (nickname JAG). Rubriku Zvířetník vede Lika.