En utvikler har brent en komplett Transformer med KV-cache inn i en egendesignet brikke, og oppnår over 56 000 tokens i sekundet ved kun 80 MHz.
Kilde: https://twitter.com/fguzmanai/status/2065832668172845209
En utvikler har brent en komplett Transformer med KV-cache inn i en egendesignet brikke, og oppnår over 56 000 tokens i sekundet ved kun 80 MHz.
Kilde: https://twitter.com/fguzmanai/status/2065832668172845209