【星火X计划-实习】超长上下文大模型结构建模技术研究(J14622)
科大讯飞
【课题介绍】 本课题聚焦千万级超长上下文通用大模型建模核心难题,针对当前线性注意力、稀疏注意力两大主流技术阵营的固有缺陷,围绕线性运算复杂度保障、时序位置敏感性与超长外推能力、次线性KV缓存优化三大核心主线,开展融合式注意力建模创新研究,构建高精度、低开销、强泛化的千万级长序列建模体系。 当前线性注意力路线可实现严格线性算力复杂度、彻底规避传统Transformer平方复杂度瓶颈,但存在时序位置建模精度不足、超长序列位置外推偏移、局部语义捕捉能力弱的问题;稀疏注意力路线通过自适应稀疏采样大幅降低计算开销,保留精准时序建模能力,但存在采样复杂度不稳定、极长序列缓存冗余、外推泛化上限低的缺陷。…