„Ani prestižní časopis nemusí být zárukou bezchybného výzkumu.“ Docent Michal Smetana o otevřené vědě a ověřování vědeckých poznatků
Replikace výzkumu patří mezi nástroje, které pomáhají odhalovat slabá místa vědeckého poznání. Jejich význam vysvětluje v rozhovoru pro iniciativu EOSC CZ docent Michal Smetana z Institutu mezinárodních studií FSV UK. „Takzvaný ‚publikační bias‘ je tendence publikovat pozitivní výsledky a ty ‚nulové‘ nechávat v šuplíku. Publikovaná odborná literatura je proto systematicky zkreslená směrem k pozitivním nálezům, což je jeden z důvodů, proč jsou replikace klíčové,“ zdůrazňuje.
Proč ani publikace v prestižním časopise automaticky nezaručuje bezchybnou metodiku? Na čem stojí takzvaná otevřená věda? A jaké dopady má generativní AI na akademickou práci? Dozvíte se v rozhovoru.
Tvoje výzkumy často stojí na experimentálních metodách. Co v praxi znamená navrhnout experiment tak, aby ho někdo jiný mohl zopakovat?
Klíčové je v rámci dané publikace poskytnout podrobné informace o designu experimentu a přesném postupu při výběru respondentů a analýze sebraných dat. Konkrétně v případě „survey experimentů“, kterým se věnuji já, k tomu patří mimo jiné i sdílení kompletního dotazníku ve všech jeho experimentálních variacích. Důležité jsou i informace o kritériích pro vyřazení účastníků ze vzorku. Standardem by dnes mělo být i poskytnutí datového souboru a replikačního kódu, který umožňuje zopakovat danou statistickou analýzu přesně tak, jak ji provedli původní autoři.
Jak často při zahájení nového výzkumu vycházíš z dat nebo kódů, které zveřejnili jiní vědci? A když taková data najdeš, v jakém stavu bývají?
Není to příliš časté. Většina mých prací je založena na vlastních, originálních experimentálních designech a na testování nových hypotéz. Nicméně je pravda, že jsme nedávno s kolegy a kolegyněmi z Univerzity Karlovy a Oxfordské univerzity spustili nový projekt, v rámci kterého replikujeme celou řadu známých experimentů o postojích k jaderným zbraním, které byly provedeny před zahájením války na Ukrajině. Co se stavu materiálů, dat a replikačních kódů týče, bylo to pro nás poměrně nepříjemné překvapení. Ačkoliv se jedná vesměs o významné autory a špičkové časopisy, opakovaně jsme narazili na problém nedostupnosti dat, nekompletních dotazníků, problematického kódování, chybějících údajů, nereportování důležité části výsledků či chyb v reportingu výsledků. Někdy se nám povedlo tyto problémy vyřešit skrze přímou komunikaci s autory, v některých případech jsme ale z těchto důvodů nemohli studie do replikačního poolu zařadit. Obávám se, že v případě méně kvalitních časopisů bude ta situace ještě výrazně horší.
Máš pocit, že větší dostupnost dat změnila způsob, jakým se dnes dělá výzkum v mezinárodních vztazích a bezpečnostních studiích?
Řekl bych, že náš obor jako celek na tyto praktiky zatím najíždí poměrně pomalu. Určitě vidím za posledních pár let posun specificky v oblasti experimentálních politických věd, v dalších suboborech ta změna zatím vidět tolik není.
Otevřená věda stojí na sdílení poznatků a mezinárodní spolupráci. Má podle tebe současné geopolitické napětí – třeba rivalita velmocí nebo tlak na bezpečnost výzkumu – vliv na to, jak otevřeně vědci data sdílejí?
Určitě ano, ale spíše se to týká přírodních věd a technických oborů. V rámci mého oboru tento tlak v kontextu sdílení dat nevnímám, mojí filozofií je snažit se sdílet plná data i replikační kód zcela otevřeně hned po publikaci článku.
Dostupnost dat ale nepomáhá jen novému výzkumu. Umožňuje také vracet se k již publikovaným studiím a ověřovat jejich závěry. Ty se tomu ve svém výzkumu věnuješ dlouhodobě. Co přesně taková replikace výzkumu obnáší?
Primárně jde o zopakování existujícího výzkumu za účelem ověření, že efekt identifikovaný v původní studii skutečně existuje a že pokud jiní výzkumníci studii zopakují přesně podle původního plánu, naleznou ho také. Jakkoliv se nejčastěji mluví o zfalšovaných nebo selektivně vybraných výsledcích, v mnoha případech není možné výsledek zreplikovat jednoduše proto, že se autoři původní studie dopustili nezáměrného omylu, případně se jedná o falešně pozitivní výsledek čistě v důsledku náhody. Tenhle problém navíc zesiluje takzvaný „publikační bias“, kdy je tendence publikovat pozitivní výsledky a ty „nulové“ nechávat v šuplíku. Publikovaná odborná literatura je proto systematicky zkreslená směrem k pozitivním nálezům, což je jeden z důvodů, proč jsou replikace klíčové a proč existují praktiky jako předregistrování analytického plánu předtím, než se začnou data sbírat.
Pokud v mém výzkumu provádím se svým týmem replikace, je to primárně k tomu, abychom zjistili, jak se odpovědi účastníků změnily v čase, v závislosti na probíhajícím mezinárodním dění. Řada lidí například po invazi Ukrajiny v únoru 2022 tvrdila, že ruské jaderné výhružky dramaticky oslabily mezinárodní normu proti používání jaderných zbraní, neboli takzvané jaderné tabu. My se skrze replikaci experimentů provedených před invazí pokoušíme zjistit, zda této tezi skutečně odpovídá změna v postojích jednotlivců.
V rámci projektu jsme nejprve stanovili transparentní kritéria pro zahrnutí jednotlivých studií do replikačního poolu, následně získali podkladové materiály, data a replikační kód. Nyní se snažíme každou vybranou studii zreplikovat dle původního postupu a statisticky ověřit, zda skutečně došlo ke změně odpovídající našim předregistrovaným hypotézám.
Nakolik je právě otevřený přístup k datům podmínkou pro to, aby bylo možné podobné studie nezávisle ověřovat? Byla by replikace výzkumu bez otevřené vědy vůbec možná?
Replikaci je v principu možné provést vždy, když máte dané podklady k dispozici – jinými slovy, pokud je se mnou soukromě nasdílí původní autor, mohu danou replikaci provést i když nejsou veřejně k dispozici. Nicméně v praxi je to velmi problematické; autoři nejsou vždy ochotni data a replikační kód sdílet, ať už z jakéhokoliv důvodu. Otevřené sdílení dat tak významným způsobem napomáhá transparentnosti a důvěryhodnosti vědy jako celku.
Celý rozhovor si přečtěte na webu iniciativy EOSC CZ. Dozvíte se v něm, co docenta Smetanu při replikacích publikovaných studií nejvíce překvapilo nebo co nám dnešní vlna replikačních studií říká o stavu moderní vědy.
EOSC CZ je národní část celoevropské iniciativy European Open Science Cloud (EOSC), která má ambici komplexně uchopit problematiku práce s výzkumnými daty. Cílem EOSC CZ je na federovaném principu podpořit dobrou praxi v oblasti správy výzkumných dat napříč vědeckými komunitami. Klíčovým pojmem v této iniciativě jsou tzv. „FAIR data„, tedy data, která je možno vyhledat, jsou přístupná, jsou dobře popsána a tedy interoperabilní, a jsou jasně dány podmínky pro jejich další použití. FAIR data nejsou otevřená v absolutním slova smyslu, ale jsou připravena k tomu, aby s nimi zájemce – vědec, který splní podmínky přístupu – mohl bez dalšího prodlení pracovat.
Autorka rozhovoru: Karolína Smetanová
