Apple Silicon og macOS-VM-er: 11–16× raskere LLM-inferens med Llama.cpp

En ny metode for GPU-passthrough i virtuelle macOS-maskiner på Apple Silicon skal gi opptil 16 ganger raskere inferens for språkmodeller med Llama.cpp.

Kilde: https://github.com/trycua/cua/blob/main/blog/gpu-passthrough-macos-vms.md