机器学习

科普篇:一篇文章推荐给你,到底经历了哪些算法?

背景 这是一篇科普文章,科普从在feed流刷新了一下之后,推荐给你的文章,到底经历了哪些算法。这些算法在哪些环节做了什么事情。 此文章不断更新,2018-12-10 初稿。 具体说明 1、内容安全篇 一篇内容,在作者完稿后,点击发送,会送到平台去审核。而我们知道,一个”安全&合格”的内容才能有机会推荐给用户,为了保证内容合格,被提交的内容刚开始就会经历以下”安全&合格”模型: ①色情模型:判断文章不是色情内容 ②广告模型:判断文章不是广告内容 ③敏感内容模型:判断文章不涉及到反动等敏感内容 ④消重模型:判断文章不是抄袭的内容 ⑤反感内容模型:判断文章不是用户讨厌的...
机器学习 12-10 评论已关闭

随机选择中的最优解

机器学习 10-26 评论已关闭

机器学习之特征工程

背景 整理一下特征工程相关的知识。吴恩达曾经说过:”特征工程不仅操作困难,耗时,而且需要专业领域知识。应用机器学习基本上就是特征工程”。坊间也有流传:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。 特征工程涉及到的知识非常多,慢慢整理。 初稿:2018-12-13 具体说明 1、什么是特征工程 当我们从大量数据中去学习的时候,原始数据需要经过抽象,总结,处理才能更好的更好的表达,方便我们后续的学习。一般我们有两种对原始数据的表达学习的方式: 第一种是特征学习,又叫表示学习或表征学习,模型自动对输入的原始数据进行学习。常见的比如深度学习。 第二种是特征工程,主要指对于数据的人为处理...
机器学习 09-25 评论已关闭

判别模型与生成模型

背景 监督学习方法可分为两大类,即生成方法与判别方法,它们所学到的模型称为生成模型与判别模型。 判别模型:判别模型是学得一个分类面(即学得一个模型),该分类面可用来区分不同的数据分别属于哪一类; 生成模型:生成模型是学得各个类别各自的特征(即可看成学得多个模型),可用这些特征数据和要进行分类的数据进行比较,看新数据和学得的模型中哪个最相近,进而确定新数据属于哪一类。 具体说明 1、判断模型与生成模型判别方法 判别方法:由数据直接学习决策函数Y=f(X)或条件概率分布P(Y|X)作为预测模型,即判别模型。判别方法关心的是对于给定的输入X,应该预测什么样的输出Y。 生成方法:由数据学习联合概率分布P(X,Y), 然后由P(Y...
机器学习 08-20 评论已关闭

常用函数导数整理

背景 整理一下常见函数的导数。 具体说明 1、什么是导数 一个函数在某一点的导数,描述了这个函数在这个点附近的变化率。 导数的本质是通过极限的概念对函数进行局部的线性逼近,当函数f的自变量在一个点X0上产生...
机器学习 08-20 评论已关闭

常见的数据分布总结

背景 我们在日常的生活中,会统计很多的数据,而很多的数据,有各种各样的分布,常见的比如正态分布。 此日志重点总结一下常见的分布形式。数据分为 离散数据与连续数据。   具体说明 1.均匀分布 若连续型...
机器学习 08-07 评论已关闭

文本转化为向量的各种方法总结

背景 在机器学习的任务里,尤其是在NLP任务里,经常需要对文本转化为可以计算的向量的形式。目前市面上出现了各种各样的方法,各有所长,所以在这里简单的整理一下。   具体说明 文本转化为向量的方法,一般...
机器学习 08-07 评论已关闭

内容消重算法总结

背景 在内容推荐业务中,因为用户发布的内容经常有重复,而重复消费相同/相似内容,对用户的价值不大。 所以一般在推荐的物料池中,我们会对内容进行相似消重。本文重点总结一下常见的消重算法,以及在消重算法中...
机器学习 08-05 评论已关闭

机器学习里的距离与相似度量方法

背景 在机器学习里,有很多的任务,是基于比较而产生的。往往最常见的比较就是 距离与相似的比较。这篇文章主要整理一下距离与相似的各种比较计算方法。   具体说明 一、一个距离函数d(a,b)要满足的条件 ...
机器学习 07-16 评论已关闭