OpenAI sier de ikke lenger anbefaler SWE-Bench Pro som mål på kodeferdigheter hos KI-modeller, og forklarer i et nytt blogginnlegg hvordan de skiller signal fra støy i kodeevalueringer.
Kilde: https://openai.com/index/separating-signal-from-noise-coding-evaluations/