判别模型与生成模型

背景

监督学习方法可分为两大类,即生成方法与判别方法,它们所学到的模型称为生成模型与判别模型。

  • 判别模型:判别模型是学得一个分类面(即学得一个模型),该分类面可用来区分不同的数据分别属于哪一类;
  • 生成模型:生成模型是学得各个类别各自的特征(即可看成学得多个模型),可用这些特征数据和要进行分类的数据进行比较,看新数据和学得的模型中哪个最相近,进而确定新数据属于哪一类。

具体说明

1、判断模型与生成模型判别方法

判别方法:由数据直接学习决策函数Y=f(X)或条件概率分布P(Y|X)作为预测模型,即判别模型。判别方法关心的是对于给定的输入X,应该预测什么样的输出Y。

生成方法:由数据学习联合概率分布P(X,Y), 然后由P(Y|X)=P(X,Y)/P(X)求出概率分布P(Y|X)作为预测的模型。该方法表示了给定输入X与产生输出Y的生成关系。

2018-12-18 新增:

看到公众号上一篇文章,讲的挺好,分享一下,从多个维度解释了判别模型跟生成模型:https://mp.weixin.qq.com/s/6_BSs7SK2HWq0-7RgNeuzA

对比:

生成模型可以还原出联合概率分布(还原数据本身相似度),而判别方法不能;

生成方法的学习收敛速度更快,当样本容量增加的时候,学到的模型可以更快的收敛于真实模型;

当存在隐变量时,仍可以利用生成方法学习,此时判别方法不能用;

判别学习不能反映训练数据本身的特性,但它寻找不同类别之间的最优分类面,反映的是异类数据之间的差异,直接面对预测,往往学习的准确率更高,由于直接学习P(Y|X)或Y=f(X),从而可以简化学习;

简单的说,生成模型是从大量的数据中找规律,属于统计学习;而判别模型只关心不同类型的数据的差别,利用差别来分类。

2.常见模型

生成模型:朴素贝叶斯、隐马尔可夫

判别模型:k近邻法、感知机、决策树、逻辑回归、线性回归、最大熵模型、支持向量机(SVM)、提升方法、条件随机场(CRF)、RNN、LSTM

参考文章

https://blog.csdn.net/dulingtingzi/article/details/80267726

https://blog.csdn.net/quintind/article/details/77923147

机器学习 2018-08-20
上一篇: 下一篇:

评论已关闭。