Talk预告 | 新加坡国立大学阳行意：Kolmogorov–Arnold Transformer：变革中的新架构

摘要：在现代深度学习中，Transformer 已经成为核心模型。然而，传统的 Transformer 依赖多层感知机（MLP）来混合通道之间的信息。为了解决其局限性，我在这次讲座中将为大家介绍一种全新的架构——Kolmogorov–Arnold Transform

本期为TechBeat人工智能社区第684期线上Talk。

北京时间5 月15日(周四)20:00，新加坡国立大学博士生阳行意的Talk将准时在TechBeat人工智能社区开播！

他与大家分享的主题是: “

Kolmogorov–Arnold Transformer：变革中的新架构”

，届时他将

介绍一种全新的架构——Kolmogorov–Arnold Transformer (KAT)，并提出三项解决方案克服KAN在

硬件兼容性、计算效率以及权重初始化上的挑战。

Talk·信息

▼

主题：Kolmogorov–Arnold Transformer：变革中的新架构

嘉宾：新加坡国立大学 · 博士生 - 阳行意

时间：北京时间 5月15日(周四)20:00

地点：TechBeat人工智能社区

一键预约TALK！

Talk·介绍

▼

在现代深度学习中，Transformer 已经成为核心模型。然而，传统的 Transformer 依赖多层感知机（MLP）来混合通道之间的信息。为了解决其局限性，我在这次讲座中将为大家介绍一种全新的架构——Kolmogorov–Arnold Transformer (KAT)，它通过引入 Kolmogorov–Arnold 网络（KAN）来替代 MLP，从而提升模型的表达能力和性能。为了克服 KAN 在硬件兼容性、计算效率以及权重初始化上的挑战，我们提出了三项解决方案：使用理性函数加速计算、通过分组共享权重减少计算量、并采用方差保持的初始化方法提高模型收敛性。KAT 在图像识别、目标检测和语义分割等任务中表现优越，显著超越传统 Transformer。

Talk大纲

1. 介绍 Kolmogorov–Arnold Network（KAN）

因 MLP 的局限性而提出，其理论上拥有通用近似能力，并以 B-spline 作为边上的可学习函数KAN 的优点是理论上出色、在符号任务上表现出色且可解释性好，但缺点是速度慢、难以优化，在其他任务上表现不如 MLP。 Kolmogorov–Arnold Transformer（KAT）

2. 开发 KAT 的原因

KAN 存在问题，如基础函数（B-spline 不利于 GPU 计算）、重复计算和初始化问题，直接替换 KAN 到 Transformer 中行不通。

3. 提出的解决方案

S1 理性基础函数：用 Safe Padé 激活单元（PAU）替代 B-spline，其 CUDA 实现加速效果显著。

S2 分组 KAN：提取公共项，优化计算。

S3 保持方差的初始化：先初始化 a 和 b，再初始化 w，以保持范数稳定。

4. 实验与结果

展示 KAT 在 IN-1k 分类、MS-COCO 目标检测和 ADE-20k 语义分割任务上的性能。消融实验表明 KAT 优于其他激活函数，并且运行速度提升。

5. 核心启示

可学习的non-linear functions

Talk·预习资料

▼

论文链接：

Talk·提问交流

▼

在Talk界面下的【交流区】参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

Talk·嘉宾介绍

▼

阳行意

新加坡国立大学 · 博士生

阳行意是新加坡国立大学电子计算机工程系xML实验室的第四年博士生，专注于机器学习和计算机视觉领域。他的研究致力于提高深度学习模型的效率，扩展模型功能及其可组合性，以减少模型重训练的需求。通过深度模型重用和优化，他在2D、3D以及视频扩散生成模型领域取得了显著成就。他已在顶尖学术会议上发表了20余篇论文，谷歌学术引用次数超过3400次。他因在模型重用与生成模型方面的创新研究，荣获了2022年NeurIPS最佳论文提名奖、2023年国家优秀自费留学生奖学金，以及2024年世界人工智能大会青年优秀论文提名奖。

个人主页:

https://www.techbeat.net/grzytrkj?id=44712

-The End-