Senior SWE-Bench predstavlja otvoreni benchmark koji procjenjuje agente kao iskusne inženjere, umjesto kao početnike. Zadaci uključuju realistične upute u prirodnom jeziku, teško otkrivanje grešaka uz pomoć logova i profiliranja, kao i rješavanje složenih funkcionalnosti koje zahvaćaju prosječno 11 datoteka. Najuspješniji modeli ne uspijevaju riješiti više od 75 posto zadataka na razini iskusnog inženjera.
Senior SWE-Bench: novi benchmark za procjenu agenata kao iskusnih inženjera
Izvori
Originalni sadržaj iz javnih izvora. Pune članke ne objavljujemo — kliknite za izvornu publikaciju.
- Hacker News Front (2026-07-02 02:55) Pročitaj original ↗
AI će pretražiti dodatne izvore i sintetizirati detaljniji sažetak (8-12 rečenica) iz više izvora. Rezultat se ne sprema javno i ne indeksira.