Kjør Qwen 3.8 Flash Next (125B) på forbrukermaskinvare (RTX 4090) med 100 token/s

Et GitHub-prosjekt viser hvordan man kan kjøre den 125 milliarder parameter store modellen Qwen 3.8 Flash Next på en vanlig RTX 4090-GPU med en hastighet på 100 token i sekundet.

Kilde: https://github.com/Niko1221/Strata