线性化注意力综述：突破Softmax二次复杂度瓶颈的高效计算方案
大型语言模型在各个领域都展现出了卓越的性能，但其核心组件之一——softmax注意力机制在计算资源消耗方面存在显著局限性。本文将深入探讨如何通过替代方案实现线性时间复杂度，从而突破这一计算瓶颈。
softmax
深度学习|Softmax激活函数的应用
在机器学习和深度学习领域，激活函数在神经网络做出复杂决策和预测的能力中起着关键作用。其中，softmax激活函数尤为突出，特别是在结果相互排斥的分类任务中。。
基于Huffman树的层次化Softmax：大规模神经网络高效概率计算方法
层次化（Hierarchial）Softmax算法是在深度学习领域中解决大规模词嵌入训练效率问题的重要突破。该算法通过引入Huffman树结构，有效地将传统Softmax的计算复杂度从线性降至对数级别，从而在处理大规模词汇表时表现出显著的优势。