字节跳动启动AGI长期研究计划,代号Seed Edge

360影视 2025-01-23 09:38 2

摘要:1 月下旬,字节正式设立代号为“Seed Edge”的研究项目,核心目标是做比预训练和大模型迭代更长期、更基础的 AGI 前沿研究,Seed Edge 已拟定 5 大研究方向。

DoNews1月23日消息,据晚点LatePost报道,1 月下旬,字节正式设立代号为“Seed Edge”的研究项目,核心目标是做比预训练和大模型迭代更长期、更基础的 AGI 前沿研究,Seed Edge 已拟定 5 大研究方向。

Seed Edge 标志着字节这家中国互联网科技巨头正试图探索 AI 原创式创新:用更多资源和人才,摸索尚未确定的智能边界,逼近 AGI 的未来。

接近字节的人士表示,字节创始人张一鸣非常重视和强调加强 AI 研究投入,他会自己看论文,看技术关键细节,和一流 AI 研究者聊天、交流,并鼓励字节 AI 研究团队探索、研究基础课题。

据了解,在新加坡,字节有专门的研究团队协助张一鸣理解前沿技术、讨论研究规划,其中之一是新加坡国立大学原教授、字节研究员冯佳时。2023 年开始,他经常给张一鸣辅导。

一位投资人也表示,2023 年底,他发现张一鸣开始一对一去拜访重要 AI 论文的作者,其中还有未毕业的博士生。

据了解,关于成立研究组织,字节酝酿已久。但在形成可行方案后,内部沟通并征集意见只用了一周。

有接近字节的人士称,面对 AI 变革:“字节是中国大公司中最敢于调整的,行动速度极快。”

据了解,Seed Edge 拟定的 5 大研究方向都相对长期,不会像迭代模型那样追求快速出成果:下一代推理:探索更高效且更通用、提升模型推理能力的方法;下一代感知:找到统一生成和理解表示的方法,表示和压缩真实世界,构建 “世界模型”;软硬一体的模型设计:从软硬一体出发,探索 Transformer+GPU 之外的模型设计,发挥下一代硬件的能力;下一代范式:在反向传播、Transformer 架构、预训练 + 对齐的模式之外,探索更高效的模型结构和学习方法;下一代 Scaling 方向:在预训练和推理阶段的 Scaling Laws 之外,探索 Multi-Agent(多智能体)和 Test-Time Training(测试时间训练,动态调整模型参数)等方向。

据了解,Seed Edge 会先以虚拟项目组的方式运行,探索这些不确定性更强的研究方向。

来源:圆梦论科技

相关推荐