Wu a appris que Tether a récemment présenté son nouveau système QVAC, capable de faire fonctionner le modèle LLAMA 3.2 (1 milliard de paramètres) sur des appareils mobiles avec llama.cpp, réalisant ainsi une inférence locale efficace. QVAC est un runtime d'inférence et de fine-tuning universel, conçu pour s'adapter à divers types de terminaux, y compris les smartphones, les ordinateurs portables et les serveurs, et prend actuellement en charge plusieurs modèles, avec l'intention d'étendre le support à davantage de modèles à l'avenir.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Wu a appris que Tether a récemment présenté son nouveau système QVAC, capable de faire fonctionner le modèle LLAMA 3.2 (1 milliard de paramètres) sur des appareils mobiles avec llama.cpp, réalisant ainsi une inférence locale efficace. QVAC est un runtime d'inférence et de fine-tuning universel, conçu pour s'adapter à divers types de terminaux, y compris les smartphones, les ordinateurs portables et les serveurs, et prend actuellement en charge plusieurs modèles, avec l'intention d'étendre le support à davantage de modèles à l'avenir.