Forskning antyder at geometrien i høydimensjonale embedding-rom spiller en viktig rolle for kvaliteten til språkmodeller. Dispersjonstap kan forklare noe av gapet mellom store og små modeller.
Kilde: https://chenliu-1996.github.io/projects/LM-Dispersion/