Hugging Face ретвитнул инструмент turboquant-gpu, заявляя о предоставлении 5.02-кратного сжатия кеша KV

ME News Новости, 6 апреля (UTC+8), Hugging Face недавно ретвитнул сообщение, опубликованное anirudhbv_ce, объявив о запуске инструмента turboquant-gpu. Этот инструмент заявляет о возможности обеспечения до 5.02-кратного сжатия кеша KV для любого GPU (включая RTX, H100, A100, B200). В статье говорится, что его особенности включают: совместимость с библиотекой Hugging Face Transformers; минималистичный API, заявляющий, что для сжатия и генерации достаточно всего 3 строк кода; использование технологии слияния KV с помощью 3-битного сжатия Lloyd-Max, достигающего косинусного сходства 0.98. В статье отмечается, что его производительность превосходит MXFP4 (3.76-кратное сжатие) и другой неуказанный方案。(Источник:InFoQ)

Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закрепить