Wu disse que a Tether recentemente apresentou seu novo sistema QVAC, conseguindo executar o modelo LLAMA 3.2 (1 bilhão de parâmetros) no dispositivo móvel usando llama.cpp, alcançando inferência local eficiente. O QVAC é um runtime de inferência e ajuste fino genérico, projetado para se adaptar a uma variedade de dispositivos terminais, incluindo smartphones, laptops e servidores, atualmente suporta vários modelos e expandirá o suporte a mais modelos no futuro.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
Wu disse que a Tether recentemente apresentou seu novo sistema QVAC, conseguindo executar o modelo LLAMA 3.2 (1 bilhão de parâmetros) no dispositivo móvel usando llama.cpp, alcançando inferência local eficiente. O QVAC é um runtime de inferência e ajuste fino genérico, projetado para se adaptar a uma variedade de dispositivos terminais, incluindo smartphones, laptops e servidores, atualmente suporta vários modelos e expandirá o suporte a mais modelos no futuro.