Jak měřit schopnosti umělé inteligence? Na globálním výzkumu publikovaném v časopise Nature se podíleli i vědci z FSV UK
Více než tisíc vědkyň a vědců z celého světa spojilo síly při tvorbě Humanity’s Last Exam – jednoho z nejvýznamnějších nástrojů současnosti pro hodnocení nejpokročilejších modelů umělé inteligence. Pomocí tisíců úloh napříč vědními obory dokáže tento benchmark testovat, v čem jsou modely silné či kde naopak selhávají. Mezi autory globálního projektu, jehož výsledky publikoval prestižní časopis Nature, patří také Vít Střítecký a Petr Špelda z Katedry bezpečnostních studií Institutu politologických studií FSV UK.
Co bylo cílem či hlavní motivací projektu Humanity’s Last Exam?
Humanity’s Last Exam (HLE) je globální kolaborativní projekt, na němž se podílelo více než tisíc expertů z různých oborů. Jeho cílem bylo vytvořit náročný benchmark pro hodnocení schopností nejpokročilejších modelů umělé inteligence. Mezi současnými AI benchmarky má HLE významné postavení, protože díky širokému oborovému záběru umožňuje testovat schopnosti, které vývojáři často označují jako multidisciplinární uvažování.
Jak byste laikovi obecně vysvětlili, jak benchmark pro testování umělé inteligence funguje a k čemu může dobrý?
Benchmark pro testování umělé inteligence je zpravidla sada úloh, v nichž se odpovědi vytvořené modelem porovnávají s referenčními řešeními nebo aktuálním stavem poznání. Takové měření pomáhá ukázat, v čem může být model silný, kde naopak selhává a jak si stojí ve srovnání s jinými systémy. Výsledky benchmarků mohou sloužit k porovnávání modelů, poskytovat dílčí obraz o technologickém pokroku a zároveň přispívat k debatě o tom, jak na rozvoj umělé inteligence vhodně regulatorně reagovat.
V čem se nový benchmark liší od dřívějších testů? V čem je unikátní?
Výjimečnost HLE spočívá především v jeho mimořádné disciplinární šíři a v globálním, kolaborativním charakteru celého projektu.
Existoval nějaký výsledek, který vás vyloženě překvapil?
Zajímavý je také dopad, který HLE má na samotné vývojáře nejpokročilejších AI modelů. Bez ohledu na to, zda jde o americké či čínské společnosti, se výsledky evaluace vůči HLE staly jedním ze způsobů, jak firmy dokládají schopnosti svých modelů. Benchmark tak nepůsobí pouze jako pasivní měřicí nástroj, ale do určité míry také spoluurčuje směr vývoje, protože v oblastech, které jsou pokryty, lze očekávat zlepšení. Participace na takovém kolaborativním projektu proto neznamená jen příspěvek k evaluaci, ale i možnost nepřímo ovlivnit, v jakých oblastech se mohou budoucí modely zlepšovat.
Jak konkrétně vypadala vaše role v rámci projektu?
Skrze námi poskytnutou evaluační úlohu, která vycházela z dosud nepublikovaného výzkumu, jsme do projektu přinesli naši bezpečnostní a epistemologickou expertízu v oblasti AI safety a induktivní inference (tzn. způsob usuzování, který z konkrétních případů vytváří obecné závěry a předpovědi). Naše úloha vychází z dlouhodobého výzkumného programu. Samostatnou výzvou ale bylo převést širší vědecký problém do jednoho z formátů, který se používá pro AI evaluaci.
Na čem chcete v rámci tohoto tématu aktuálně dál pracovat?
Vzhledem k rychlému vývoji umělé inteligence i rostoucí společenské nejistotě se budeme nadále soustředit na výzkum a výuku v oblasti AI safety. Zaměřujeme se na konkrétní problémy, které už dnes naznačují podobu bezpečnostních výzev v dalších fázích vývoje AI.
