En ny artikkel hevder at bf16-presisjon kan føre til at små vektoppdateringer under trening av AI-modeller forsvinner. Det kan hemme læringen uten at man merker det.

Kilde: https://lacuna.tiptreesystems.com/paper/bf16-might-be-freezing-your-weight-updates/art_487b1ed949e745a6ae0c42815b8d3cba