一个让风控模型工作如此简单的决策逻辑

360影视 动漫周边 2025-03-13 10:10 2

摘要:在风控模型的开发与优化中,许多从业者常常陷入无尽的特征挖掘、标签调整和模型迭代中,却忽略了核心问题:如何高效地提升模型的价值。本文从风控模型的三大痛点出发,指出模型开发中真正值得投入的优化方向,供大家参考。

在风控模型的开发与优化中,许多从业者常常陷入无尽的特征挖掘、标签调整和模型迭代中,却忽略了核心问题:如何高效地提升模型的价值。本文从风控模型的三大痛点出发,指出模型开发中真正值得投入的优化方向,供大家参考。

模型训练,就是模式识别,模型本身是一个复杂的函数。模型越复杂,你就可以理解这个函数最强,模式识别地越精准。

一个想法值不值得做,你只需要判断它有没有信息增益,以及大概有多大,后者尤其重要。建模是其实现,想法本身的价值是模型价值的上限。

而判断一个想法有多大的信息增益,基本都可以在事前,不需要建模去试。

如果你知道这一点,并且掌握基本的事前判断能力,你的风控模型工作就必然是如此之简单。

本文要做的就是阐述这两点。如果此番决策逻辑被清晰地阐述,就必然得出了一个让很多人羞愧的结论:如果你做模型做得很忙很累很头大,不仅不能说明你牛逼你努力,反而说明的是你不懂风控。

很好,我写了一个很有力的开头。‍

常常引发无数模型同学熬夜加班掉头发的困扰,大概都在三点优化上:特征、标签和客群。

我们一个一个说。

一、特征优化

开发新特征、引入新的数据源,在已有的特征域上进一步衍生特征,都在此列。这三点优化,对模型KS有多大的提升?你可以结合你的经验思考这个问题。

如果说引入一个新的数据维度,模型效果提升10%,那么对该数据维度过度衍生特征,其增益还得乘10%。‍‍‍‍‍‍‍‍‍‍‍‍‍‍

例如你引入了银联银杏分,把它融合进你的A卡模型里,效果提升10%,这是很合理的大致范围,KS从30变成了33;假如你去银联联合建模,定制一个模型,再把它融合进你的A卡模型里,也许KS能更高一点,例如34;假如你嫌弃银联底层变量不够,你硬要强行衍生更多变量,再建模型,融入A卡,那KS几乎还是34,可能是34.1、34.3、34.5,绝对不会变成35。‍‍‍‍‍‍‍‍‍‍‍‍

再例如征信数据,从几百个变量,衍生到几千个变量,到几万个变量,对KS的提升,顶多有一次10%,很快就边际递减到1%,到忽略不计。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

因为信息增量随着特征数量边际递减。纬度爆炸的价值是那个1%,不是10%。

1%的价值做还是不做?如果不麻烦,当然可以做。但如果这个1%只能用在很小的客群分支上,那就不用做了。

例如,一个很新奇的想法,它可能有点用,但是因为做法过于奇怪,有较大的操作风险,策略最多会在一个特别小的分支流量上应用,1%的增益,叠乘一个10%的流量,再加上策略应用对模型性能的折损,这个项目你做吗?

二、标签优化

涉及标签优化的模型工作,主要就是换不同标签做不同的模型。长期风险表现做一个模型,短期风险表现做一个模型,例如mob12和mob6,甚至mob3、FPD。

既然有长期短期,进一步就有长短期,短期好长期坏怎么办?是不是要建三个模型?‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

长短期、长期、短期,它们有等式关系,这意味着其中任意两个的信息量就是全部的信息总量。建两个模型就等于三个模型,f_长短期=g(f_长期, f_短期),这个g是简单的,留给策略就好了。

甚至我们还可以这样理解,短期的坏最坏,长期的坏比短期的坏略好,长期的好最好,二分建模的时候,长期还是短期,无非是二分的gap大小的问题。

长期和短期的信息量也不过是10%这个级别的差异而已。两个模型相比一个模型,也不过是10%这个级别的增益而已。

基于此逻辑,如果一个模型在一个标签下好于另一个模型,那就是各种标签下都好。你不用关心他们的建模目标是什么。当然,我们说的是一般情况。

从朴道、百行那里给你10个评分产品,你去测试,完全不需要考虑这些产品是基于什么样的标签做成的。你只关心绝对效果及其可靠性,和价格。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

三、客群优化

这里主要包括,分客群建模和常规化的迭代模型,他们本质上都是样本即客群的差异化。‍‍‍‍‍‍‍‍‍‍

两个完全不同的客群分别建模是有必有的,例如12%、24%、36%这样不同定价的客群,例如花呗、借呗这种不同类型的产品。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

但如果你没有资源这样分别建模的话,你把不同客群的样本合在一起建模也是可以的。复杂模型会自动解决样本差异问题,当你合理增加模型复杂度,一个模型相比多个模型的信息量的减少会越来越小。

如果你不太相信,我们换一个说法,以树模型为例:分客群建模可以看作第一层分裂进行了手动分群,合并建模就是留给算法自己分。如果你保证后者的复杂度和前者一样,树深+1或棵树x2,模型的信息量能有多大区别?‍

当然,有别的原因限制你不同产品各自建模,例如它们背后的可衍生特征不一样,组织架构权责有别。‍‍‍‍‍‍‍‍‍‍‍‍

所以,如果你有多个产品,多个客群,要和某个数据源联合建模,完全不需要分客群建立多个模型,你只需要合理构建你的样本组合。‍‍‍‍‍‍‍‍‍‍‍‍‍‍

模型迭代也是一样,其客群差异由时间界定。把新样本加入进来,不要只要新样本。该话题我们已经讨论足够多了,到此为止吧。如你需要,请看《什么是好迭代》及文中指向的三篇文章。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

到了该建立方法论的时候了。

我们的讨论有两个关键词:信息量和边际递减。我们做更多模型的努力,只会带来边际递减的信息增量。

我要借助结构力学中一阶和二阶的概念。结构在受力后会产生形变,一般而言结构变形是微小的,可以忽略变形对内力分布的影响,这就是一阶分析。如果我们考虑形变Δ,结构在承受竖向荷载P时因形变会产生附加弯矩(即P-Δ效应)从而导致结构进一步变形,这是二阶效应。‍‍

一阶是直接的,二阶是间接的;一阶是先的,二阶是后的;一阶是好做的,二阶是不好做的……‍‍‍‍‍‍

我要总结的底层逻辑是,模型开发存在一阶效用和二阶效用,一阶效用值得做,二阶效用不值得做。‍

一阶的增益是你决策的依据,二阶不是,二阶的价值不是你决策的依据,是你资源过剩可以安排干的事情。

当你的业务目标,例如余额规模和风险指标,还有很大差距的时候,你肯定要找一些事情做,但不是什么都有用,去找具备一阶效用的事做,不要找二阶效用的事做。

如果你业务玩不下去了,却提需求给模型同学说必须靠你这个二阶优化,不然业务就黄了,那不是坏就是蠢,你应该去寻求其他的解决方案。

例如去找更好的流量,去找更有效的三方数据,不要去做无穷个特征,做无数个模型。

我见过很多无效的项目,浪费了很多人无数的时间。那些辛辛苦苦加班熬夜的时间,不仅毫无意义,还起到了反重用:它让你对工作是如此的厌倦和疲惫,以至于你的成长还不如一天就上八小时可以获得的那么大。

当你把时间都花在没有意义的建模试验和调优上,你不焦虑吗?对于只有二阶效用甚至更高阶效用的任务,最好的做法就是拒绝掉这样的项目。拖黄掉不会有多大的损害,做好了也没有多大的益处。

不幸的是,大部分团队,80%的时间都在做只有二阶效用的东西,20%在做一阶效用。

前面我说:如果你做模型做得很忙很累很头大,不仅不能说明你牛逼你努力,反而说明的是你不懂风控。好吧,我承认,我太严格了。你说你身不由己,但既然如此,何必内耗?

再一次强调,经验让工作更轻松。如果你没有,你一定心存怀疑,请务必相信你的怀疑。

我可以下这个断言:任何人,如果模型工作做得累得要死,都是因为违背了本文所提的决策逻辑。你应该知晓这件事情,想清楚这个违背是因为什么,再想办法改善自己的处境。

最后,让我们给我们的决策逻辑起一个宏大的口号,就像AI大模型那样:

Less work, more value.

来源:人人都是产品经理

相关推荐