En utvikler viser at språkmodellen Qwen3.8-27B kan kjøres på Neural Engine i iPhone 18 med 15–70 tokens i sekundet. Modellen er kraftig komprimert til 1,5 bit per vekt.

Kilde: https://twitter.com/anemll/status/2111517143087067309