Evaluări bine cunoscute, precum examenul Massive Multitask Language Understanding (MMLU), care anterior era considerat exigent, nu mai reușesc să măsoare în mod adecvat capacitățile modelelor avansate de IA din prezent, potrivit ScienceDaily.

Pentru a rezolva această problemă, un grup internațional format din aproape 1.000 de cercetători a dezvoltat un nou tip de test. Obiectivul lor era să creeze un examen cuprinzător, dificil și bazat pe cunoștințele umane specializate, pe care sistemele actuale de IA încă nu le pot gestiona.

Rezultatul este „Humanity’s Last Exam” (n.r – „Ultimul examen al umanității”), o evaluare cu 2.500 de întrebări care acoperă matematica, științele umaniste, științele naturale, limbile antice și o gamă largă de domenii academice foarte specializate.

Scopul examenului nu a fost acela de a păcăli sau de a învinge participanții umani. În schimb, obiectivul a fost acela de a...