Et nytt prosjekt viser hvordan den store språkmodellen Qwen 3.8 Flash Next på 125 milliarder parametere kan kjøre på et vanlig RTX 4090-grafikkort med en hastighet på 100 token i sekundet. Koden er delt åpent på GitHub.

Kilde: https://github.com/Niko1221/Strata