GLM-5.3 med 607,8 tokens i sekundet på to Nvidia DGX-stasjoner med vLLM

Nvidia viser hvordan språkmodellen GLM-5.3 kan kjøres på tvers av to DGX-stasjoner med vLLM. Oppsettet oppnår 607,8 tokens per sekund.

Kilde: https://developer.nvidia.com/blog/when-one-gpu-isnt-enough-serving-glm-5-3-across-two-nvidia-dgx-stations-with-vllm/