监督学习方法可分为两大类,即生成方法与判别方法,它们所学到的模型称为生成模型与判别模型。
1、判断模型与生成模型判别方法
判别方法:由数据直接学习决策函数Y=f(X)或条件概率分布P(Y|X)作为预测模型,即判别模型。判别方法关心的是对于给定的输入X,应该预测什么样的输出Y。
生成方法:由数据学习联合概率分布P(X,Y), 然后由P(Y|X)=P(X,Y)/P(X)求出概率分布P(Y|X)作为预测的模型。该方法表示了给定输入X与产生输出Y的生成关系。
2018-12-18 新增:
看到公众号上一篇文章,讲的挺好,分享一下,从多个维度解释了判别模型跟生成模型:https://mp.weixin.qq.com/s/6_BSs7SK2HWq0-7RgNeuzA
对比:
生成模型可以还原出联合概率分布(还原数据本身相似度),而判别方法不能;
生成方法的学习收敛速度更快,当样本容量增加的时候,学到的模型可以更快的收敛于真实模型;
当存在隐变量时,仍可以利用生成方法学习,此时判别方法不能用;
判别学习不能反映训练数据本身的特性,但它寻找不同类别之间的最优分类面,反映的是异类数据之间的差异,直接面对预测,往往学习的准确率更高,由于直接学习P(Y|X)或Y=f(X),从而可以简化学习;
简单的说,生成模型是从大量的数据中找规律,属于统计学习;而判别模型只关心不同类型的数据的差别,利用差别来分类。
2.常见模型
生成模型:朴素贝叶斯、隐马尔可夫
判别模型:k近邻法、感知机、决策树、逻辑回归、线性回归、最大熵模型、支持向量机(SVM)、提升方法、条件随机场(CRF)、RNN、LSTM
https://blog.csdn.net/dulingtingzi/article/details/80267726
https://blog.csdn.net/quintind/article/details/77923147