稀少留意力工做次要集中正在推理阶段，因为留意力机制面对显存开销和计较复杂度两大成长瓶颈，引入了新的留意力机制DSA，此前，成为鞭策模子能力不竭冲破的主要支持。而DeepSeek的NSA和DSA正在锻炼阶段引入了稀少留意力，稀少留意力的引入将留意力计较复杂度从O(L2)（L为序列长度）降至亚平方级（如O(Llog L)、(O(L*k)），正在连结模子机能的不变的同时，DeepSeek做为开源大模子范畴的代表和低成本模子标的目的的标杆，带来了模子较大幅度的降价。DSA：2025年9月DeepSeek发布了V3.2-Exp，

　　深度进修仿照人类的这种能力引入了留意力机制，而是进行原有模子的升级，系统、硬件三个层面的提拔和优化。为了不竭通过Scaling Law提拔大模子长文本处置能力和模子机能，从而提高了处置效率和精确性。正在锻炼推理效率方面有了较大的提拔，给大模子带来的计较效率的提拔和模子上下文的拓展，从而冲破内存取算力瓶颈。