likun.pm

背景

监督学习方法可分为两大类，即生成方法与判别方法，它们所学到的模型称为生成模型与判别模型。

• 判别模型：判别模型是学得一个分类面（即学得一个模型），该分类面可用来区分不同的数据分别属于哪一类；
• 生成模型：生成模型是学得各个类别各自的特征（即可看成学得多个模型），可用这些特征数据和要进行分类的数据进行比较，看新数据和学得的模型中哪个最相近，进而确定新数据属于哪一类。

具体说明

1、判断模型与生成模型判别方法

判别方法：由数据直接学习决策函数Y=f(X)或条件概率分布P(Y|X)作为预测模型，即判别模型。判别方法关心的是对于给定的输入X，应该预测什么样的输出Y。

生成方法：由数据学习联合概率分布P(X,Y), 然后由P(Y|X)=P(X,Y)/P(X)求出概率分布P(Y|X)作为预测的模型。该方法表示了给定输入X与产生输出Y的生成关系。

2018-12-18 新增：

看到公众号上一篇文章，讲的挺好，分享一下，从多个维度解释了判别模型跟生成模型：https://mp.weixin.qq.com/s/6_BSs7SK2HWq0-7RgNeuzA

对比：

生成模型可以还原出联合概率分布（还原数据本身相似度），而判别方法不能；

生成方法的学习收敛速度更快，当样本容量增加的时候，学到的模型可以更快的收敛于真实模型；

当存在隐变量时，仍可以利用生成方法学习，此时判别方法不能用；

判别学习不能反映训练数据本身的特性，但它寻找不同类别之间的最优分类面，反映的是异类数据之间的差异，直接面对预测，往往学习的准确率更高，由于直接学习P(Y|X)或Y=f（X），从而可以简化学习；

简单的说，生成模型是从大量的数据中找规律，属于统计学习；而判别模型只关心不同类型的数据的差别，利用差别来分类。

2.常见模型

生成模型：朴素贝叶斯、隐马尔可夫

判别模型：k近邻法、感知机、决策树、逻辑回归、线性回归、最大熵模型、支持向量机(SVM)、提升方法、条件随机场（CRF）、RNN、LSTM

参考文章

https://blog.csdn.net/dulingtingzi/article/details/80267726

https://blog.csdn.net/quintind/article/details/77923147