Forskerne mener skaleringsloven deres tilsier rundt 7000 ganger flere parametere enn Chinchilla ved gitt regnekraft. Større modeller på gjentatte data krever mye mer vektnedgang (weight decay).
Transformere med kvadrillioner av parametere og hvordan de trenes