Forsterkende læring for store språkmodeller er sårbar for numerisk ustabilitet, selv små avvik mellom generering og gradientoppdateringer kan ødelegge treningen. Google beskriver en tilnærming på TPU som fjerner avviket.

Kilde: https://developers.googleblog.com/unlocking-stable-on-policy-rl-on-tpu-with-bitwise-zero-traininference-mismatch/