概率图模型及分类

摘要:概率图模型(Probabilistic Graphical Models, PGM)是一种结合概率论和图论的建模方法,用于描述变量之间的依赖关系及不确定性。根据图的结构,概率图模型主要分为两大类:

概率图模型(Probabilistic Graphical Models, PGM)是一种结合概率论和图论的建模方法,用于描述变量之间的依赖关系及不确定性。根据图的结构,概率图模型主要分为两大类:

有向概率图模型(Directed Graphical Models)
又称贝叶斯网络(Bayesian Networks)无向概率图模型(Undirected Graphical Models)
又称马尔可夫随机场(Markov Random Fields, MRFs)

有向概率图模型是一种带有有向边的图结构,表示变量之间的条件独立性。它的边是有方向的,反映了变量之间的因果关系或条件依赖关系。

在贝叶斯网络中,联合概率分布可以通过链式法则分解为一系列条件概率分布的乘积:

P(X1,X2,…,Xn)=∏i=1nP(Xi∣Pa(Xi))P(X_1, X_2, \dots, X_n) = \prod_{i=1}^n P(X_i \mid \text{Pa}(X_i))

其中,Pa(Xi)\text{Pa}(X_i) 表示 XiX_i 的父节点集合,即导致 XiX_i 的直接原因。

无向概率图模型使用无向图表示变量之间的对称依赖关系,主要用于描述局部依赖关系和全局一致性。

P(X1,X2,…,Xn)=1Z∏C∈CψC(XC)P(X_1, X_2, \dots, X_n) = \frac{1}{Z} \prod_{C \in \mathcal{C}} \psi_C(X_C)

其中:

特性贝叶斯网络(Bayesian Network)马尔可夫随机场(Markov Random Field)

除了单纯的有向和无向图模型外,还存在混合概率图模型,即同时包含有向边和无向边。这种模型适用于更复杂的依赖结构。

链图(Chain Graph):有向边和无向边共存,但需遵循特定规则来确保联合分布的定义。结构方程模型(SEM):用于建模变量之间的复杂关系,结合有向依赖和协方差结构。贝叶斯网络:医疗诊断、推荐系统、因果推断。马尔可夫随机场:图像分割、语义分析、自然语言处理。条件随机场:命名实体识别、文本标注、信息提取。

通过上述分类和比较,可以根据问题的特点选择合适的概率图模型。例如:

如果问题中需要表示因果关系,可以选择贝叶斯网络。如果问题强调局部对称依赖,可以选择马尔可夫随机场。如果问题结构较复杂,可以考虑使用混合概率图模型

来源:云烟漫步

相关推荐