En utvikler skrev en fusjonert decode-attention-kjerne for en RL-treningsløkke som var 2,2x raskere enn SDPA i mikrobenchmark, men oppdaget at den faktisk gjorde treningsløkken tregere når den ble integrert i HuggingFace.
Kilde: https://kyrieblunders.bearblog.dev/making-dr-grpo-go-brrr/