扫码下载 APP
qrCode
更多下载方式
今天不再提醒

刚刚在我的机器上测试了几个本地LLM。这是我注意到的几点:



推理模型?慢得离谱。就像,去喝杯咖啡的速度一样慢。

在苹果硅上,GGUF被MLX摧毁——我的120B MLX配置实际上超过了70B GGUF模型。太疯狂了。

Mistral-7B呢?在同级别中速度极快,毫无竞争。

哦,这些更大的模型充满了知识。它们所吸收的真是令人印象深刻。
查看原文
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 4
  • 转发
  • 分享
评论
0/400
烧钱如风vip
· 7小时前
哈,MLX碾压GGUF这事儿我也测过,但120B对70B还这么能打?数据呢,得建仓前先看链上证明啊,不然就是空头言论
回复0
签名清算人vip
· 7小时前
120B MLX 直接秒杀 GGUF,这数据差太离谱了
回复0
ForkYouPayMevip
· 7小时前
mlx真的绝,换了之后再也回不去gguf了
回复0
MetaverseHomelessvip
· 7小时前
mlx真的绝啊,gguf在苹果芯那儿彻底沦陷
回复0
交易,随时随地
qrCode
扫码下载 Gate App
社群列表
简体中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)