Model o3 terkuat OpenAI terungkap melakukan penipuan, mendapatkan akses istimewa ke bank soal ujian FrontierMath sebelumnya

Seorang kontraktor dari EpochAI bernama "Meemi" mengungkapkan di forum Less Wrong bahwa OpenAI tidak hanya memberikan dukungan finansial untuk tes benchmark FrontierMath, tetapi juga memperoleh akses istimewa ke bank soal tes tersebut.

Tamay Besiroglu, Wakil Direktur dan salah satu pendiri EpochAI, segera mengakui hal ini di platform X. Kami membuat kesalahan dengan tidak mengungkapkan keterlibatan OpenAI dalam FrontierMath lebih awal. Kontrak kami melarang kami melakukannya sebelum o3 dirilis. Dalam retrospeksi, kami seharusnya berusaha lebih keras untuk transparansi lebih awal. Kami mengakui ini dan berjanji untuk melakukan yang lebih baik di masa depan.

Elliot Glazer, Kepala Matematika di EpochAI, mengakui bahwa dia tidak secara proaktif mengungkapkan informasi tentang pendanaan industri selama proyek dan meminta maaf kepada para matematikawan yang mungkin tidak berpartisipasi jika mereka tahu sebelumnya. Mengenai skor o3, dia menyatakan keyakinannya pada akurasi skor yang dilaporkan oleh OpenAI tetapi menekankan bahwa EpochAI perlu memverifikasi melalui set tes retensi independen yang sedang dikembangkan dan berjanji bahwa skor evaluasi dari set ini akan dipublikasikan. Ketika ditanya tentang status set retensi ini, Glazer menjelaskan bahwa itu masih dalam pengembangan dan belum selesai.

Dilaporkan bahwa FrontierMath adalah benchmark penilaian kemampuan penalaran matematika lanjutan yang sangat berbobot. Ini dibuat bersama oleh EpochAI dengan lebih dari 60 matematikawan top yang berpartisipasi termasuk beberapa pemenang Medali Fields dan pembuat soal berpengalaman untuk kompetisi Olimpiade Matematika Internasional.