Hugging Face ретвитит инструмент turboquant-gpu, заявляя о предоставлении 5.02-кратного сжатия кеша KV

ME News Новости, 6 апреля (UTC+8), Hugging Face недавно ретвитнул сообщение, опубликованное anirudhbv_ce, объявляющее о запуске инструмента turboquant-gpu. Этот инструмент заявляет о возможности предоставления до 5.02-кратного сжатия кеша KV для любого GPU (включая RTX, H100, A100, B200). Согласно статье, его особенности включают: совместимость с библиотекой Hugging Face Transformers; минималистичный API, заявляющий, что для сжатия и генерации требуется всего 3 строки кода; использование технологии сжатия KV Lloyd-Max с 3-битным объединением, достигающей косинусного сходства 0.98. В статье отмечается, что его производительность превосходит MXFP4 (3.76-кратное сжатие) и другой неуказанный метод. (Источник: InFoQ)

Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закрепить