摘要：凌晨两点，李峰蹲在上海张江某写字楼的楼道里抽烟。手机屏幕上是刚收到的邮件：“您投递的‘Spark高级工程师’岗位已关闭，建议尝试‘AI数据流水线操作员’职位。”

凌晨两点，李峰蹲在上海张江某写字楼的楼道里抽烟。手机屏幕上是刚收到的邮件：“您投递的‘Spark高级工程师’岗位已关闭，建议尝试‘AI数据流水线操作员’职位。”

他把烟头狠狠摁灭在垃圾桶上，对着玻璃窗上的倒影骂了一句：“去他妈的！当年用Spark给公司省了几百万服务器成本，现在让我去操作界面点按钮？”

这一幕在2025年的大数据圈早已不新鲜——那些以为“只要不碰Hadoop就能躲过一劫”的人，正被更残酷的现实暴击：云厂商用托管服务把Spark、Trino、Flink打包成“傻瓜套餐”，就像外卖消灭了泡面，你连烧热水的机会都没了。

李峰的崩溃始于2023年。当时他所在的物流公司高调宣布“全面上云”，原以为手握Spark SQL优化绝活能稳坐钓鱼台，结果云厂商的销售带着一份PPT就改写了命运：

“贵司的Spark集群每年维护成本280万，如果用我们的Serverless Spark服务，按查询量付费，预计年成本67万。”CTO当场拍板迁移。

李峰试图挣扎：“他们那个黑盒子根本不透明！我们积累的shuffle优化经验全废了！”可当云厂商工程师打开控制台，输入一行SQL就直接跑出比他手动调优快3倍的结果时，会议室所有人都沉默了。

半年后，团队从15人砍到3人，留下的唯一任务是把原有代码“翻译”成云平台的标准语法。李峰愤然辞职，却发现市场上挂着“Spark工程师”头衔的岗位，实际要求全是：“熟练使用某云Spark托管服务，无需关心底层运维”。

“这就好比招厨子不看炒菜手艺，只要求会用电饭煲按键。”他苦笑着翻出2019年的朋友圈——那时他刚用Trino把跨库查询从4小时压到20分钟，评论区堆满点赞，如今最新动态却是前同事转行开无人超市的广告。

2024年，某电商公司用某云的“Trino即服务”替换了整支查询优化团队。原先需要3个资深工程师维护的跨源数据查询平台，现在市场部实习生都能操作：“在控制台选数据源、写SQL、点运行，连执行计划都不用看。”

一位被迫转岗的Trino专家自嘲：“我们当年像老中医，把脉问诊开药方，现在人家直接上AI问诊机，还比你便宜十倍。”更扎心的是，某云最新发布的TrinoAuto工具，连SQL都能用自然语言生成——输入“帮我查北京宝妈用户最近半年买奶粉和尿布的关系”，5秒出结果。

转型？比想象中难十倍。

37岁的老王试过转AI赛道，却发现：“大模型训练需要的是懂分布式计算底层的人，可我们这些写Spark的人早被框架惯坏了——连RDMA网络优化都没碰过，拿什么和搞CUDA的那帮人拼？”

老王最近在滴滴车上装了块二手屏幕，循环播放他当年的技术分享视频。

有乘客认出他：“您是不是讲过《Hadoop调优十大秘籍》？”他摆手说“认错了”，却在等红灯时偷偷打开GitHub，发现自己8年前开源的Hive工具库，最后一条issue停留在2022年：“作者还维护吗？现在都用AI生成代码了。”

或许这就是技术圈的残酷轮回：

2009年，会写MapReduce的人嘲笑Oracle DBA老古董；

2025年，玩转大模型prompt的年轻人把Hadoop称为“爷爷级技术”；

等到2035年，现在风光无限的AI工程师们，可能正在元宇宙里摆摊卖“古典神经网络手办”。

唯一确定的是，按下技术革命快进键的巨头们，永远不会为掉队者买单——OpenAI的股价每涨10%，背后可能就有一批传统大数据人收到裁员通知。

所以，当你下次用ChatGPT三分钟搞定一份数据分析报告时，不妨想想：那个曾经需要10个人加班一个月的工作，或许正在养活另一个开滴滴的老王。

来源：飞总聊IT