大模型长文本能力迅速提升，40万token或许只是开始

大模型的长文本处理能力正在以惊人的速度提升。从最初的4000 token到如今的40万token，这一能力的增长肉眼可见。

长文本能力似乎已成为大模型厂商的新"标配"。国际上，OpenAI通过多次升级将GPT-3.5和GPT-4的上下文长度分别提升至1.6万和3.2万token。Anthropic更是一举将其模型Claude的上下文长度扩展到10万token。LongLLaMA则将这一数字推至25.6万token甚至更高。

国内方面，大模型初创公司月之暗面推出的Kimi Chat支持输入20万汉字，约合40万token。港中文和MIT联合开发的LongLoRA技术可将7B模型的文本长度扩展到10万token，70B模型则可达3.2万token。

目前，包括OpenAI、Anthropic、Meta、月之暗面在内的众多顶级大模型公司和研究机构都将拓展上下文长度作为重点升级方向。这些公司无一例外都是资本市场的宠儿。OpenAI获得近120亿美元投资，Anthropic估值有望达300亿美元，月之暗面成立半年即完成多轮融资，估值超3亿美元。

上下文长度的百倍增长意味着什么？表面上看，这扩大了模型的阅读范围。从最初只能读完一篇短文，到现在可以轻松阅读一本长篇小说。更深层次上，长文本技术正推动大模型在金融、司法、科研等专业领域的应用落地。

然而，文本长度并非越长越好。研究表明，模型支持更长上下文输入与效果提升并不能直接画等号。关键在于模型如何有效利用上下文内容。

尽管如此，当前对文本长度的探索似乎还未触及"临界点"。国内外大模型公司仍在不断突破，40万token可能只是一个开始。

长文本技术的发展既解决了大模型早期的一些问题，也为进一步推动产业应用铺平了道路。这标志着大模型发展进入了从LLM到Long LLM的新阶段。

未来，脱离简单对话轮次的AI助手正朝着专业化、个性化、深度化方向发展。这或将成为撬动产业应用和打造超级APP的新抓手。

然而，长文本技术仍面临"不可能三角"困境：文本长度、注意力和算力三者难以兼顾。当前主要通过优化自注意力机制、使用外部工具辅助处理以及模型优化等方法来寻求突破。

未来的发展方向在于在三者之间寻找最佳平衡点，以处理足够信息的同时兼顾注意力计算和算力成本限制。长文本能力的持续提升，将为大模型开启更广阔的应用前景。