Det nye verktøyet GigaToken lover en tokeniseringsprosess for språkmodeller som skal være opptil tusen ganger raskere enn dagens metoder.

Kilde: https://github.com/marcelroed/gigatoken/