Open source-prosjektet AirLLM gjør det mulig å kjøre inferens på 70 milliarder parameter-modeller med bare ett 4GB grafikkort.

Kilde: https://github.com/lyogavin/airllm