Acabei de testar alguns LLMs locais na minha máquina. Aqui está o que chamou a minha atenção:

Modelos de raciocínio? Ridiculamente lentos. Tipo, lentos como ir buscar um café.

No Apple Silicon, o GGUF é destruído pelo MLX—o meu setup de 120B MLX na verdade supera um modelo de 70B GGUF. Louco.

Mistral-7B, então? Relâmpago rápido para a sua categoria de peso. Sem competição aí.

Oh, e estes modelos maiores estão carregados de conhecimento. É realmente impressionante o que eles absorveram.

Ver original

Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.

7 Curtidas

Recompensa
7
4
Repostar
Compartilhar

Comentário

0/400

MoneyBurner

· 8h atrás

Ha, eu também testei essa questão do MLX a esmagar o GGUF, mas 120B contra 70B ainda consegue ser tão forte? Onde estão os dados? Antes de criar uma posição, é preciso olhar as provas na cadeia, caso contrário, é apenas uma declaração de posições curtas.

Ver originalResponder0

SignatureLiquidator