(Pokračování první části Peripetie hodnocení vědy a vědeckých výsledků)
Zaměřme se na dvě současně existující reprezentace, které rozdělují finance pro řešení projektů: vědecká větev – GAČR, obhospodařující dvě a tři čtvrtě miliardy v existujících a cca tři čtvrtě miliardy v nově udělených grantech (2012), a technická větev – TAČR, která je finančně o něco chudší. Soustřeďme se na první z nich, u které hrozí, že ve výhledu několika let nebude mít s ohledem na běžící granty už co rozdělovat.
Institucionální náklady GAČRu sice tvořily jen cca dvě a půl procenta, ale zadání externího vytvoření softwaru a jeho implementaci pro hodnocení návrhů projektů stálo téměř deset miliónů Kč. Na rozdíl od dřívější praxe, kdy si obdobné softwary tvořili pracovníci GAČRu sami, a to v úzké návaznosti na potřeby badatelů (byli sami původně badatelé), takto zakoupený profesionální systém byl vytvořen IT profesionály, a to ve velké míře bez návaznosti na potřeby badatelů, ale s hlavním důrazem na postupy běžné (a dobře placené) v informatice.
Přes tuto profesionalizaci systém několikrát totálně zkolaboval a nárazově hapruje dodnes, čímž přináší předkladatelům nemalé časové potíže se stále se hroutícím připojováním na internet. Je diskutabilní, jestli pouhá omluva vedení GAČRu byla dostačujícím argumentem k ospravedlnění softwarové nefunkčnosti a její nedostatečné připravenosti k provozu a jestli neměly být vyvozeny důkladnější závěry včetně rezignace zodpovědných pracovníků. V kritice nejsem sám, občanské sdružení Fórum Věda žije pranýřuje systém jak kvůli jeho extrémně vysoké pořizovací ceně, tak i kvůli nemalým provozním nákladům, což podpořila i řada odborníků z IT oblasti například z Matematicko-fyzikální fakulty UK s dodatkem, že aplikace je dílo, které prý bylo nesčetněkrát vyřešeno bez jakýchkoliv problémů i jako běžné studentské projekty.
Procento úspěšnosti podaných grantových přihlášek bylo v roce 2012 jen 17,4 % u standardních a 17,2 % u postdoktorských projektů. Ze statistiky lze dedukovat, že jestliže je procento úspěšnosti výběru určitého statistického souboru menší než 30 %, je objektivnější tento soubor losovat! V případě losování by se selekce provedla naprosto nepředpojatě, protože by stačilo vybrat několik nepochybně nejlepších projektů a několik evidentně nejhorších rovnou zamítnout a zbytek odlosovat, čímž by se odstranila jakákoliv možná osobní zainteresovanost na přednostní přijetí určitých projektů, protože lze najít nezanedbatelnou korelaci mezi týmy hodnotitelů a předkladatelů, což se současným omezením jedním autorským návrhem neodvrátilo.
Jak vlastně výběr projektů probíhá. Především je projekt zařazen do určitého vědního panelu, jehož vedoucí určí tzv. zpravodaje, který pak projekt podrobí recenznímu řízení. Už výběr zpravodaje hodně napoví o možné úspěšnosti projektu, která pak významně závisí na volbě recenzentů, jejichž volba může být jmenovitá nebo losovaná (z určitého souboru). Obojí má své výhody a nevýhody, u jmenovitého pak závisí na osobě zpravodaje, komu recenzi přidělí, u losovaného může projekt padnout do rukou naprostého expertního neznalce, který posudek provede jen formálně. Každý recenzent má k dispozici určitý počet hodnotících bodů a při celkově malé grantové úspěšnosti je jasné, že záleží i na malých bodových rozdílech. Většinou projdou jen ty projekty, které dosáhnou plnou hodnotitelskou přízeň (~100 %), ale takové maximální hodnocení je vždy podezřelé. Přitom hodnotící úroveň recenzentů je různá, někdo je principiálně přísnější a někdo benevolentnější, a tak se neúspěch odvíjí i od toho, jestli někdo - bez uvedení důvodů či z jakékoliv nevůle - byť jen podotkne, že projekt není dostatečně přínosný. Posudky jsou (bohužel) anonymní, a tudíž nevyvratitelné, i když si je členové panelů mezi sebou vyměňují. O osud zamítnutých grantů se následně už nikdo nezajímá, ačkoliv právě ony mohly přinést zajímavé výsledky, které nikdo s výsledky přijatých grantů nesrovnává.
Vyvstává otázka, kdo posoudí posuzovatele a proč výběrové řízení, jako každé jiné výběrové řízení prováděné ze státních peněz, není veřejné. Anonymita nezaručí vymýcení lobbingu, ba naopak, přináší nepostižitelnost, protože není nikdo, s kým by badatel mohl polemizovat o důvodech zamítnutí, když právě diskuze je esencí každého vědeckého pokroku. Navíc je zřejmé, že by bylo potřebné nejen posuzovat podávané granty, včetně analýzy jejich současných i budoucích dopadů, ale věnovat i pozornost výsledkům těch grantů, které v soutěži neuspěly, ale jejichž odborné náměty byly přesto realizovány (a při výběrovém řízení možná neprávem zamítnuty). To je proto, že vědecká práce se nedá přerušit či dokonce zastavit pro nedostatek financí, protože většině badatelů jde o výzkum a tím i o pokrok jako takový. Tento proces, který jsem několikrát nabízel grantovým agenturám ke zkoušce, se však nesetkal s pochopením, i když předkladatelé věnují sepsání projektu hodně času, který samozřejmě nechtějí jen tak promarnit, a tak ve svém bádání pokračují.
Je neuvěřitelné, kolik úsilí promrhá 83 % uchazečů jen tím, že musí promyslet ideu, sepsat projekt a naplánovat svoji činnost a jestli to na druhé straně vlastně neodvádí badatele od opravdové vědecké práce směrem ke slohovým úlohám. Takováto stylová cvičení se potom stanou doménou jiné sorty pracovníků než samotných badatelů a dávají možnost vzniku institucím, které pak nabízejí perfektně sestavené slohové úkoly za nemalou úplatu. Vznikají modelové vzory, které jsou v souboji s ostatními řadovými granty lépe průchodné, i když třeba obsahově méně přínosné. Tomu nahrává i šikana předpisu, že stejný projekt se nesmí opětovně podávat ve stejné formě, takže slohové přeformátování ubírá předkladatelům další čas, i když pravděpodobnost přijetí zůstává stejně zanedbatelná. Vrcholem narůstající byrokracie se stalo volení tzv. projektových manažerů - jako bychom vzdali snahu o kvalitní vědecké výsledky a vystačili s plněním administrativních příkazů a náležitým vyplňování kolonek.
Vlastní zdařilé a zároveň nestranné hodnocení vždy spočívá v nezbytném nastolení jisté objektivity srovnávání úrovně výsledků, což se obvykle opírá o vhodné nastavení kritérií, v této době ve srovnatelnosti impakt-faktorů, které v oblasti scientometrie představují průměrný počet citací průměrné publikace v daném vědeckém či odborném časopisu. Protože obvyklé citační a publikační zvyklosti v různých vědních oblastech jsou často diametrálně odlišné, a to často i mezi zdánlivě blízkými oblastmi, nelze hodnoty impakt faktorů snadno a mechanicky srovnávat a tak jednoznačně říci, že citovanost vědeckých časopisů je tím lepší, čím vyšší je jeho impakt. To se opět stává předmětem diskuzí, protože citovanost se liší obor od oboru a délky jeho vzniku. Lépe funguje tzv. H-index, který slouží ke kvantifikaci vědeckých výsledků a pro určitou hodnotu. Například hodnota 20 určuje, že daný autor má 20 publikací, které získaly každá přinejmenším 20 citací, čímž se zdá méně předpojatý než prostý počet publikací, nebo celkový počet citací, protože objektivněji charakterizuje jak široký je dopad práce daného vědce a nelze ho ovlivnit prostým počtem publikací, ale je opět závislý na oboru činnosti. To však nezaručuje příslib budoucího rozvoje a diskriminuje mladé nastupující badatele. A tak opět závisí na citlivé ruce oponenta, jestli je schopen tyto aspekty podchytit v plné šíři, jestli má k tomu znalosti a, bohužel, i nezbytnou chuť a objektivitu.
Návdavkem je individuální ocenění některých výstupů už teď sporné, protože třeba knihy či kapitoly v přírodovědných oborech se nehodnotí, zatímco u humanitních směrů jsou stěžejní. Je zřejmé, že uplatnění tiskových pojednání ve význačných nakladatelstvích, jako je Elsevier nebo Springer, je mimořádně výběrové, často svoji obtížností přesahující požadavky renomovaných časopisů, a nelze ho byrokraticky omezovat. Někdy se podmínky vyhlašovaných projektů nastavují tak, aby vyhovovaly těm, kteří se o tom dopředu dozvědí, jindy se výkazy nastaví do tak byrokratické formy, že vyplňování požadovaných kolonek je obtížnější než odborné řešení samotného grantu. Neméně citlivé je vlastní posuzování grantů v oblastech techniky, kde by se mělo zkoordinovat hodnocení ve vědních a technologických sférách, jako je třeba ohodnocení užitných vzorů, např. obrobku získaného pří různé rychlosti obrábění, což lze postavit na úroveň odborné publikace napsané v dvou různých jazykových editorech (např. Times Roman nebo Arial) nebo posuzovaní vnitřních (sborníkových a jiných neimpaktovaných) referátů atd., které jsou ale v mnoha případech jediným možným výstupem.
Informace podávané GAČRem jsou často nekonsistentní, jak jsem se sám přesvědčil před dvěma lety, když jsem si podal grantovou přihlášku, která byla administrativně odmítnuta s poukazem, že funguji jako hlavní předkladatel i jako spolupředkladatel. Oprávněnost tohoto postupu jsem si předem telefonicky ověřil v kanceláři GAČRu, kde mi potvrdili, že tento postup je možný v případě paralelně podávaného přírodovědného a humanitního grantu. Ve stejnou dobu zrušil GAČR už zahájené podávání přihlášek s odkazem na nefunkčnost předloženého přijímacího softwaru, čímž přišla vniveč práce mnoha předkladatelů, za což se sice omluvil, ale nezbavil odpovědnosti. I já jsem se hodnověrně omluvil a vysvětlil nedorozumění, nicméně jsem byl potrestán vyřazením, na rozdíl od GAČRu, který vyvázl bez potrestání, třeba bez odstoupením vedoucích pracovníků. Navíc se proslýchá, že kdokoliv protestuje, spadá do okruhu těch, kterým se granty nepřidělují, o čemž jsem se přesvědčil osobně, stejně tak je každý nesouhlas trestán nasazením hloubkové kontroly, o čemž se zase přesvědčila akademie. Není to moje osobni antipatie, ale z mnoha stran se začíná ozývat, že GAČR nedisponuje morálním právem takto pokračovat, ale bohužel zatím nic lepšího nemáme!
V honbě za drastickou redukcí financí se hledají nejnemožnější záminky, jak návrh zavrhnout: typu příliš málo a naopak zase mnoho, žádné oproti přemíře citací, začínající (perspektivní) badatel versus věhlasný (odstupující) vědec atd. Prý dokonce existuje interní směrnice, že důchodcům se granty nepřidělují. Nesprávně vyplněné výkazy či jejich mylné uzavření jsou dalším důvodem vyřazení, až se zdá, že GAČRu nezáleží na kvalitě projektu, ale jen na jeho formálním vykazování. Předkladatelé tím ztrácejí mnoho času a míst,o aby bádali, tak vyplňují! Je zřejmé, že dokud se bude muset vybírat jen několik desítek projektů z mnoha tisíců podaných, nelze nastavit ryze objektivní podmínky výběru jinak než losováním. Ostatně nelze ani odstranit možnou neobjektivitu, která provází každé lidské hodnocení, včetně předpojatosti či spolčení určitých kruhů.
Související literatura:
* Fiala J, Šesták J.: Databáze a citace v nauce o materiálech: současnost a budoucnost. J. Thermal Analysis Calor. 60 (2000) 1101-1110 (Anglicky).
* Šesták J.:Necháme si vytunelovat českou vědu? Chemické Listy 103 (2009) 689-671
* Janoušek P.: Věda jako agón: volná soutěž a falešná hra. Vesmír 92 (2013) 107-111
* Faktor I.: Hirschův index a česká věda. Vesmír 85 (2006) 555-556
Emeritus, dr.h.c., H-index 23