3 月 21 日消息,腾讯混元正式推出自研深度思考模型混元 T1 正式版。该模型具有以下特点和优势:
一、快速推理与超长文处理能力
混元 T1 正式版在推理速度上表现出色,能够快速生成回答,擅长处理超长文本。通过采用 Hybrid-Mamba-Transformer 融合模式,有效降低了传统 Transformer 结构的计算复杂度,减少了 KV-Cache 的内存占用,从而显著降低了训练和推理成本。
二、强大的推理能力
混元 T1 正式版在常见的 benchmark 上取得了优异的成绩。在大语言模型评估增强数据集 MMLU-PRO 中,混元 T1 取得 87.2 分,仅次于 o1。在 CEval、AIME、Zebra Logic 等中英文知识及竞赛级数学、逻辑推理的公开基准测试中,混元 T1 的成绩也达到业界领先推理模型的水平。
三、广泛的适应性
混元 T1 在多项对齐任务、指令跟随任务和工具利用任务中展现出了非常强的适应性,能够灵活应对多种应用场景。
四、技术架构创新
混元 T1 正式版沿用了混元 Turbo S 的创新架构,采用 Hybrid-Mamba-Transformer 融合模式。这一架构在工业界首次将混合 Mamba 架构无损应用于超大型推理模型,有效提升了模型的效率和性能。
五、超长文本推理优势
基于出色的长文捕捉能力,混元 T1 能有效解决长文推理中常见的上下文丢失和长距离信息依赖问题。混合 Mamba 架构针对长序列处理进行了专项优化,通过高效的计算方式,在确保长文本信息捕捉能力的同时大幅降低资源消耗,在相近的激活参数量下,实现了解码速度提升 2 倍。
腾讯混元 T1 目前已经上线,用户可以通过以下链接体验:https://llm.hunyuan.tencent.com/#/chat/hy-t1
在 API 使用方面,混元 T1 已在腾讯云官网上线,输入价格为每百万 tokens 1 元,输出价格为每百万 tokens 4 元。