Grok首款生图模型Aurora！两位95后华人立大功，耗时6月自研MoE
消失一天后的Aurora，正式上线了。一大早，马斯克官宣了Grok集成了自研图像新模型Aurora，MoE架构自回归模型，直接将生成编辑能力一统。在人物肖像生成上，已经逼真到肉眼无法辨别。
moe
一种基于蒸馏大型语言模型的专家混合式框架
MERLOT是对用于加密流量分类优化的蒸馏大型语言模型基于可扩展专家混合（MoE）的改进。借助师生范式中的模型蒸馏技术，源自 GPT-2-base 的紧凑模型既能保持高分类准确率，又能最大程度降低计算成本。这些模型在 MoE 架构中充当专门专家，通过门控网络动
MoE Jetpack：从密集检查点到适应性混合专家的视觉任务转换
这篇论文介绍了一种名为“MoE Jetpack”的方法，可以将密集模型（dense）转化为稀疏激活的混合专家模型（Mixture of Experts，简称MoE）。传统的MoE模型需要大量的数据和计算资源进行训练，而该方法可以从预训练的密集模型中快速地迁移学
检查点 moe moejetpack 2024-11-22 06:00 2
：将会持续推进AI技术商业化落地
业绩会上，首席执行官程一笑表示，对于AI大模型的进展方面，公司正在研发Moe模型，在模型预训练阶段，多个指标超过11750E模型，大幅降低模型训练的退役成本，通过在可控生成方面升级了镜头控制首尾针控制运动笔刷对口型能力，持续的保持行业领先地位。