Forsterkende læring for store språkmodeller er sårbar for numerisk ustabilitet, selv små avvik mellom generering og gradientoppdateringer kan ødelegge treningen. Google beskriver en tilnærming på TPU som fjerner avviket.
Stabil on-policy RL på TPU med bitvis null avvik mellom trening og inferens