Flere frontier-modeller bruker sparse attention for å øke inferenshastigheten betraktelig, og nå lanseres det som beskrives som verdens første effektive implementasjon for å trene modeller med denne teknikken.

Kilde: https://nanduruganesh.github.io/flash-msa/