En ny forskningsartikkel på arXiv tar for seg hvordan man kan jevne ut minnetoppene når Mixture-of-Experts-modeller trenes med lang kontekst.

Kilde: https://arxiv.org/abs/2609.14306