Acabo de terminar de probar unos pocos LLM locales en mi máquina. Esto es lo que llamó mi atención:

¿Modelos de razonamiento? Ridículamente lentos. Como, lentos para ir a tomar un café.

En Apple Silicon, GGUF es superado por MLX—mi configuración de 120B MLX realmente supera a un modelo GGUF de 70B. Salvaje.

¿Mistral-7B? Rápido como un rayo para su categoría de peso. No hay competencia allí.

Oh, y estos modelos más grandes están llenos de conocimiento. Es realmente impresionante lo que han absorbido.