Wu informó que Tether recientemente presentó su nuevo sistema QVAC, que logró ejecutar el modelo LLAMA 3.2 (1,000 millones de parámetros) de manera eficiente en dispositivos móviles utilizando llama.cpp, logrando inferencia local. QVAC es un runtime de inferencia y ajuste fino universal, diseñado para adaptarse a una variedad de dispositivos terminales, incluidos teléfonos inteligentes, laptops y servidores. Actualmente, ya es compatible con varios modelos y en el futuro se ampliará el soporte para más modelos.
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
Wu informó que Tether recientemente presentó su nuevo sistema QVAC, que logró ejecutar el modelo LLAMA 3.2 (1,000 millones de parámetros) de manera eficiente en dispositivos móviles utilizando llama.cpp, logrando inferencia local. QVAC es un runtime de inferencia y ajuste fino universal, diseñado para adaptarse a una variedad de dispositivos terminales, incluidos teléfonos inteligentes, laptops y servidores. Actualmente, ya es compatible con varios modelos y en el futuro se ampliará el soporte para más modelos.