En ny algoritme klarer å beregne optimale tokeniserere i visse settinger, til tross for at problemet teoretisk er uoverkommelig. Resultatet kan ha betydning for hvordan språkmodeller bygges.
Kilde: https://blog.aqnichol.com/2026/06/10/optimal-tokenizers/