En ny forskningsartikkel undersøker om transformer-modeller virkelig trenger separate Q-, K- og V-projeksjoner. Studien gjennomgår systematisk ulike varianter av oppmerksomhetsmekanismen.

Kilde: https://arxiv.org/abs/2606.04032