Тільки що завершив тестування кількох локальних LLM на своєму комп'ютері. Ось що привернуло мою увагу:
Моделі міркування? Неймовірно повільні. Як, взяти каву повільно.
На Apple Silicon, GGUF знищується MLX — моя конфігурація на 120B MLX насправді перевершує модель GGUF на 70B. Дивно.
А як щодо Mistral-7B? Блискавично швидкий для свого вагового класу. Жодної конкуренції тут.
О, і ці більші моделі завантажені знаннями. Серйозно вражає, що вони вбрали.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
7 лайків
Нагородити
7
4
Репост
Поділіться
Прокоментувати
0/400
MoneyBurner
· 10год тому
Ха, я також перевіряв, як MLX розриває GGUF, але 120B проти 70B все ще так сильно б'є? Де дані? Потрібно подивитися на доказ у блокчейні перед створенням позиції, інакше це просто шорт позиції.
Переглянути оригіналвідповісти на0
SignatureLiquidator
· 10год тому
120B MLX безпосередньо розриває GGUF, ці дані занадто абсурдні.
Переглянути оригіналвідповісти на0
ForkYouPayMe
· 10год тому
mlx дійсно чудовий, після заміни вже не можу повернутися до gguf
Переглянути оригіналвідповісти на0
MetaverseHomeless
· 10год тому
mlx справді крутий, gguf повністю зруйнований на чіпі Apple
Тільки що завершив тестування кількох локальних LLM на своєму комп'ютері. Ось що привернуло мою увагу:
Моделі міркування? Неймовірно повільні. Як, взяти каву повільно.
На Apple Silicon, GGUF знищується MLX — моя конфігурація на 120B MLX насправді перевершує модель GGUF на 70B. Дивно.
А як щодо Mistral-7B? Блискавично швидкий для свого вагового класу. Жодної конкуренції тут.
О, і ці більші моделі завантажені знаннями. Серйозно вражає, що вони вбрали.