Bir süre önce makineme birkaç yerel LLM testi yaptım. İşte dikkatimi çekenler:

Akıl yürütme modelleri mi? Aşırı yavaş. Yani, bir kahve alacak kadar yavaş.

Apple Silicon'da, GGUF MLX tarafından yok ediliyor—benim 120B MLX kurulumum aslında 70B GGUF modelinden daha hızlı. Vahşi.

Mistral-7B ne dersin? Kilo sınıfı için ışık hızında. Orada hiç rekabet yok.

Oh, ve bu daha büyük modeller bilgiyle dolu. Gerçekten etkilendiğim şey, ne kadar çok şey öğrendikleri.