Novo foco na competição de grandes modelos: salto no comprimento do texto de 4k para 400k tokens

A tecnologia de grandes modelos está se desenvolvendo a uma velocidade impressionante, a capacidade de processamento de texto subiu de 4k tokens para 400k tokens, e a capacidade de lidar com textos longos parece ter se tornado um novo padrão para os fornecedores de grandes modelos.

No exterior, a OpenAI, através de várias atualizações, aumentou o comprimento do contexto do GPT-3.5 e do GPT-4 para 16 mil e 32 mil tokens, respetivamente. O seu concorrente Anthropic ampliou de uma só vez o comprimento do contexto para 100 mil tokens. O LongLLaMA expandiu o comprimento do contexto para 256 mil tokens ou até mais.

No âmbito nacional, um produto de assistente inteligente lançado por uma startup suporta a entrada de cerca de 400k tokens de texto. A tecnologia LongLoRA, desenvolvida em colaboração entre a Universidade Chinesa de Hong Kong e o MIT, pode expandir o comprimento do texto do modelo de 7B para 100k tokens e do modelo de 70B para 32k tokens.

Atualmente, muitas empresas e instituições de pesquisa de modelos grandes de topo, tanto a nível nacional como internacional, estão a expandir o comprimento do contexto como uma direcção de atualização prioritária. A maioria dessas empresas são estrelas apreciadas pelo mercado de capitais, com montantes de financiamento e avaliações a atingirem novos máximos.

O que significa o foco das empresas de grandes modelos na tecnologia de textos longos? À primeira vista, parece ser uma melhoria na extensão do texto de entrada e na capacidade de leitura, passando de um ensaio curto a um romance longo. O significado mais profundo reside na promoção da aplicação prática de grandes modelos em áreas especializadas como finanças, justiça e pesquisa científica, atendendo à demanda dessas áreas por processamento de documentos longos.

No entanto, o comprimento do texto não é necessariamente melhor quanto mais longo for. Estudos mostram que o suporte do modelo para entradas de contexto mais longas não está diretamente relacionado a um aumento na eficácia; a chave está em como o modelo utiliza o conteúdo do contexto. No entanto, a exploração do comprimento do texto na indústria ainda não atingiu o limite, 400 mil tokens podem ser apenas o começo.

A razão pela qual a tecnologia de texto longo tem recebido atenção é que pode resolver alguns problemas iniciais dos grandes modelos, como a perda de informações importantes em cenas de personagens virtuais e as limitações na geração de análises em campos especializados. Ao mesmo tempo, textos longos também são uma tecnologia chave para promover o desenvolvimento futuro de aplicações nativas de Agent e AI.

Textos longos podem ajudar o modelo a entender a semântica de forma mais precisa, fornecendo mais contexto e informações detalhadas, reduzindo ambiguidades e melhorando a precisão da inferência. Isso marca a transição dos grandes modelos de LLM para Long LLM.

A tecnologia de texto longo demonstra várias vantagens na aplicação prática: pode analisar rapidamente os pontos principais de longos artigos, extrair informações-chave de relatórios financeiros e realizar perguntas e respostas sobre livros inteiros; na área de programação, pode converter diretamente artigos em código; também pode implementar funcionalidades de diálogos longos personalizados, como interpretação de papéis. Essas funcionalidades impulsionam os robôs de diálogo a evoluírem em direções mais profissionalizadas, personalizadas e profundas.

No entanto, a tecnologia de textos longos enfrenta o dilema do "triângulo impossível": existe uma interdependência entre o comprimento do texto, a atenção e o poder computacional. Quanto mais longo o texto, mais difícil é focar a atenção, enquanto processar textos longos requer mais poder computacional. Este dilema decorre da estrutura Transformer adotada pela maioria dos modelos, cuja quantidade de cálculo do mecanismo de autoatenção cresce em proporção quadrática com o comprimento do contexto.

Atualmente, existem três soluções principais: utilizar ferramentas externas para auxiliar no processamento, otimizar o cálculo do mecanismo de autoatenção e otimizar o próprio modelo. Cada solução tem suas vantagens e desvantagens, e encontrar o melhor ponto de equilíbrio entre o comprimento do texto, a atenção e a capacidade de computação é o desafio enfrentado pelos fornecedores de grandes modelos.

Embora a tecnologia de texto longo ainda tenha espaço para otimização, ela representa uma tendência de desenvolvimento dos grandes modelos para níveis mais elevados, com a promessa de impulsionar a IA a alcançar aplicações inovadoras em mais áreas especializadas.