En ny artikkel hevder at bf16-presisjon kan føre til at små vektoppdateringer under trening av AI-modeller forsvinner. Det kan hemme læringen uten at man merker det.
Bf16 kan fryse vektoppdateringene dine
En ny artikkel hevder at bf16-presisjon kan føre til at små vektoppdateringer under trening av AI-modeller forsvinner. Det kan hemme læringen uten at man merker det.