革新transformer

田渊栋等提出连续概念混合，再度革新Transformer预训练框架

来自 Meta 等机构的研究者提出了一种新颖且高效的预训练框架：连续概念混合（Continuous Concept Mixing, CoCoMix），其将离散的下一个 token 预测与连续概念相结合。