摘要：最近又看了很多贝叶斯算法的一些文章，好多的文章对这个算法解释起来会放一大堆公式，对代数不好的人来说真的很头疼。本文尝试着用大白话写写这个算法，再做个例子，帮助大家理解和运用。
最近又看了很多贝叶斯算法的一些文章，好多的文章对这个算法解释起来会放一大堆公式，对代数不好的人来说真的很头疼。本文尝试着用大白话写写这个算法，再做个例子，帮助大家理解和运用。
Naive Bayes is a probabilistic machine learning algorithm based on the Bayes Theorem, used in a wide variety of classification tasks.
贝叶斯算法是分类问题的重要解决方法，简单但是很强大，在文本分类、垃圾邮件识别等高维数据（特征超多的数据集）的机器学习领域有重要应用。基本逻辑就是很多的时候我们很容易知道在不同的因变量的水平上自变量的分布的怎样的，我们要解决的问题是知道了特征的情况然后去预测因变量，其实就是：from P(X|Y), known from the training dataset, to find P(Y|X).朴素贝叶斯算法架起了从from P(X|Y)to find P(Y|X)的桥梁。
要很好的理解朴素贝叶斯的整个过程首先要弄清楚两个东西，一个是条件概率、一个是贝叶斯理论。
我们什么理论都不要想，先做一个例子：100个人的数据如下表，按照身份可以分为教师、学生。按照性别又可以分为男性女性。现在我们尝试得到男性中教师的概率是多少（把性别当做特征，把身份当做结局，这个问题便是知道特征求结局的概率的一个问题）。
这个男性中教师的概率就是条件概率，我们不是单纯的求教师的概率而是先给了个条件（这个人首先得是男性）。这个时候计算概率的分母会变化。
when you say the conditional probability of A given B, it denotes the probability of A occurring given that B has already occurred.
这个问题你会怎么做？可以直接找到男教师有多少（看表应该是12），然后用这个数字除以男性（看表应该是60人），可以得到12/60=0.12。就得到男性中教师的概率是0.2。
上面的12比上100就是0.12为同时是男性又是教师的概率。60比上100就是0.6为数据中男性的概率，我们用0.12/0.6得到了0.2的结果其实我们就是在不自觉地运行下面的公式：
公式中，teacher和male可以互换位置。于是就有
图1
上面这两个公式就是两独立事件计算条件概率时天然满足的：
图2
我们将图1中的公式2带入公式1就得到贝叶斯定理了：
这个贝叶斯定理最最重要的作用就是打通了从P(X|Y), known from the training dataset, to find P(Y|X)的路径
上面的例子我们知道了贝叶斯定理的公式，这个公式和实际问题联系到一起还需要拓展一下
我们把公式中的AB换成XY，于是就有下图：
我们把x当做自变量，y当做因变量。通过贝叶斯定理我们就把P(X|Y)到P(Y|X)的路径打通了。这个话要反复读。
现实中，我们收集来一波训练数据，我们是很容易知道在y的不同水平x是如何分布的（就像上面的例子中我们很容易知道教师中男性的比例是如何的，如果把性别当做自变量、身份当做因变量的话，很容易知道P(X|Y)），通过贝叶斯公式我们可以求得x分布确定的情况下，y取不同水平的概率（就像上面例子中我们知道了自变量性别是男性可以求的其为教师的概率为0.2，得到P(Y|X)）.
也就是说贝叶斯定理成功的让我们可以从自变量的分布预测因变量。
The Bayes Rule is a way of going from P(X|Y), known from the training dataset, to find P(Y|X).
现实中我们会有很多的x，我们会想着直接将多个贝叶斯公式相乘来处理，这么做就暗含了一个朴素的假设就是所有的x都是独立的，这么一种朴素假设加持的贝叶斯就是朴素贝叶斯：
这个名字只是因为它有这么一个朴素的假设：
The name naive is used because it assumes the features that go into the model is independent of each other. That is changing the value of one feature, does not directly influence or change the value of any of the other features used in the algorithm.
就这么一个简单的假设，可以让这个算法可以处理很多个x的高维数据。很强大。
成为正规算法之后，就得有一些高大上的名词：
我们把特征理解为证据，因变量理解为结局，那么P(Y|X)就叫做后验概率posterior probability，意思是一组证据情况下结局是什么的概率，也是我们要预测的感兴趣的东西。
P(X|Y)叫做证据的似然概率，意思是某个结局存在的情况下相应证据出现的概率。
P(Y)叫做先验，意思是某个结局的相应概率。
P(X)叫做证据概率，意思是某些特征（证据），特征组合的相应概率。
总结一下：朴素贝叶斯就是后验概率等于证据似然概率乘以先验概率除以证据概率。
我们现在想通过3个证据组合x1，x2，x3来预测水果种类，数据大概格式如下：
对这么个数据我们需要换个格式才能计算朴素贝叶斯算法对应的各种概率：
统共有3个、首先是先验概率：
Compute the ‘Prior’ probabilities for each of the class of fruits
首先就是计算先验，就是每个种类水果的概率，可以看到在1000个水果中有800个香蕉，300个橘子，200个其他，那么我们可以得到各种水果的先验分别为0.5,0.3,0.2.
P(Y=banana) = 500 / 1000 = 0.50 P(Y=Orange) = 300 / 1000 = 0.30 P(Y=Other) = 200 / 1000 = 0.20
再是证据概率
Compute the probability of evidence that goes in the denominator.
第二步就是计算证据的概率，也就是所有特征出现的概率，我们的特征有3个，x1到x3的证据概率分别为0.5,0.65,0.8。
P(x1=Long) = 500 / 1000 = 0.50 P(x2=Sweet) = 650 / 1000 = 0.65 P(x3=Yellow) = 800 / 1000 = 0.80
Compute the probability of likelihood of evidences that goes in the numerator.
第三步是计算证据似然的概率，比如说香蕉long这个特征为真的概率就为P(Long | Banana) = 400/500 = 0.8。
Substitute all the 3 equations into the Naive Bayes formula, to get the probability that it is a banana.
最后一步就是将前三步的结果带入朴素贝叶斯公式就可以得到在某组特征下水果分别为香蕉，为橘子，为其他水果的概率。例如在特征long、sweet、yellow为真的情况下，水果为香蕉的概率为0.252，为橘子的概率为0，为其他水果的概率为0.01875.
那么这个时候算法就会告诉我们这个水果就是香蕉。
上面就是算法的整个过程，细心的同学估计会有疑问橘子的概率为0，只是因为所有训练数据中结局为橘子的个案long这个特征没有出现真（某一个证据似然概率为0），朴素贝叶斯算法涉及到相乘的话造成了结果为0。在这个只有3个特征的数据集中看起来这个结果无可厚非，长橘子本身好像现实中也不存在。但是想象一下我们面对一个陌生的数据集，特征很多，所有特征其实都有影响的，结局的某个类别中某个特征为0导致算法结果排除了该类别，这样肯定存在不合适，为0的特征影响实在太大了，相当于某一个特征有了一票否决。
所以有必要进行校正。校正的方法就叫做Laplace Correction，就是给每个为零的格子加一个数（通常为1），这样保证不出现概率为0的情况。
实操只要理解了背后的逻辑，实操就很简单了，我们以iris数据集作为例子。原始数据长这样：
共有5个变量，4个是特征，最后一个是结局（花的种类，有3类）。对于上面的数据集我们按照7:3划分好训练集和测试集。
iris_split然后我们用klaR包进行贝叶斯算法训练，同时用训练好的模型预测测试集数据，代码如下：
nb_mod得到的pred对象就是预测的结果，对每一个个案预测模型都会输出的成为各个类别应变量的后验概率：
后验概率最大的类别就是最终的模型输出类别。
再得到混淆矩阵，代码如下：
tab可以看到我们的模型在测试集中表现还是很好的，只有2个个案分类错了。
小结今天从给大家捋了捋朴素贝叶斯算法，希望这个大白话的解释能够帮助你理解。感谢大家耐心看完，自己的文章都写的很细，重要代码都在原文中，希望大家都可以自己做一做。如果对您有用请先记得收藏，再点赞分享。也欢迎大家的意见和建议，大家想了解什么统计方法都可以在文章下留言，说不定我看见了就会给你写教程哦，有疑问欢迎私信，有合作意向请直接滴滴我。
如果你是一个大学本科生或研究生，如果你正在因为你的统计作业、数据分析、模型构建,科研统计设计等发愁，如果你在使用SPSS, R，Mplus中遇到任何问题，都可以联系我。因为我可以给您提供最好的，最详细和耐心的数据分析服务。
如果你对Z检验，t检验，方差分析，多元方差分析，回归，卡方检验，相关，多水平模型，结构方程模型，中介调节，量表信效度等等统计技巧有任何问题，请私信我，获取详细和耐心的指导。
如果你或你的团队需要专业的科研数据清洗，建模服务，教学培训需求等等。请联系我。
If you are a student and you are worried about you statistical #Assignments, #Data #Analysis, #Thesis, #Reports, #Composing, #Quizzes, Exams.. And if you are facing problem in #SPSS, #R-Programming, #Excel, Mplus, then contact me. Because I could provide you the best services for your Data Analysis.
Are you confused with statistical Techniques like z-test, t-test, ANOVA, MANOVA, Regression, Logistic Regression, Chi-Square, Correlation, Association, SEM, multilevel model, mediation and moderation etc. for your Data Analysis...??
Then Contact Me. I will solve your Problem...
If You or Your Research Team Need Professional Scientific Data Cleaning, Model Building Services or Statistical Consulting... Please Contact Me.
往期精彩R数据分析：临床研究样本量计算、结果解读与实操
R数据分析：网状meta分析的理解与实操
R数据分析：非劣效性研究设计的统计处理方法，原理和实例
R数据分析：集成学习方法之随机生存森林的原理和做法，实例解析
R数据分析：净重新分类(NRI)和综合判别改善（IDI）指数的理解
R数据分析：反事实框架和因果中介的理论理解
R数据分析：解决科研中的“可重复危机”，理解Rmarkdown
R数据分析：多项式回归与响应面分析的理解与实操
R数据分析：生存数据的预测模型建立方法与评价（二）
R数据分析：生存数据的预测模型建立方法与评价
R数据分析：生存分析的列线图的理解与绘制详细教程
R数据分析：结合APA格式作图大法讲讲ggplot2和ggsci，请收藏
R数据分析：变量间的非线性关系，多项式，样条回归和可加模型
Mplus数据分析：性别差异gendergap的相关研究如何做？
R机器学习：分类算法之logistics回归分类器的原理和实现
R数据分析：PLS结构方程模型介绍，论文报告方法和实际操作
R数据分析：跟随top期刊手把手教你做一个临床预测模型
R数据分析：如何用层次聚类分析做“症状群”，实例操练
R数据分析：工具变量回归与孟德尔随机化，实例解析
R数据分析：潜类别轨迹模型LCTM的做法，实例解析
R文本挖掘：中文词云生成，以2021新年贺词为例
R机器学习：分类算法之判别分析LDA,QDA的原理与实现
R机器学习：重复抽样在机器学习模型建立过程中的地位理解
R数据分析：用lme4包拟合线性和非线性混合效应模型
R数据分析：孟德尔随机化中介的原理和实操
R数据分析：生存分析的列线图的理解与绘制详细教程
R数据分析：cox模型如何做预测，高分文章复现
R数据分析：广义估计方程式GEE的做法和解释
R数据分析:潜变量与降维方法(主成分分析与因子分析)
R数据分析：如何给结构方程画路径图，tidySEM包详解
R数据分析：生存分析与有竞争事件的生存分析的做法和解释
R机器学习：朴素贝叶斯与支持向量机的原理与实现
R数据分析：混合效应模型的可视化解释，再不懂就真没办法
R数据分析：tableone包的详细使用介绍
R数据分析：如何用lavaan包做结构方程模型，实例解析
R机器学习：分类算法之K最邻进算法（KNN）的原理与实现
来源：Codewar
