En ny forskningsartikkel argumenterer for at transformer-arkitekturen i seg selv er svært effektiv i representasjon. Funnene har implikasjoner for hvordan språkmodeller bygges og optimaliseres.

Kilde: https://openreview.net/pdf?id=Yxz92UuPLQ