机器学习之特征工程

背景 整理一下特征工程相关的知识。吴恩达曾经说过:”特征工程不仅操作困难,耗时,而且需要专业领域知识。应用机器学习基本上就是特征工程”。坊间也有流传:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。 特征工程涉及到的知识非常多,慢慢整理。 初稿:2018-12-13 具体说明 1、什么是特征工程 当我们从大量数据中去学习的时候,原始数据需要经过抽象,总结,处理才能更好的更好的表达,方便我们后续的学习。一般我们有两种对原始数据的表达学习的方式: 第一种是特征学习,又叫表示学习或表征学习,模型自动对输入的原始数据进行学习。常见的比如深度学习。 第二种是特征工程,主要指对于数据的人为处理...
机器学习 09-25 评论已关闭

如何去面试一个人?

背景 思考,如何科学的挑选出合格的候选人。 面试候选人,在短短的半个小时到一个小时中,如何对一个候选人做出合理的判断,打分,根据网上的文章跟自己的实践,简单的总结一下。 具体描述 1、招聘需求:对候选人评价模型的基础,从需求出发 2、匹配度判断:专业知识,专业技能 3、能力之外:价值观,认知,品质,动机,产品观 4、候选人诉求: 合理的预期   先说第一点,招聘需求,一般公司的jd上都会有比较详细的对此招聘方向的技能,能力要求说明。我比较讨厌的是面试官都没有看过自己招聘方向的jd,就直接面试,有时候觉得候选人不太合适,其实是互相浪费时间。知道自己想要什么样的人,你是怎么对外表达的,是很关键的。 招聘jd是企...
产品用研 09-20 评论已关闭

衡量用户价值的方法

背景 提供服务,获取用户,留存用户,变现。如何衡量不同的业务,不同的商业模式,不同的渠道用户的价值?   具体说明 1、ARPU   每用户平均收入(Average Revenue Per User)   一个时间段内从每个用户...
产品用研 09-04 评论已关闭

判别模型与生成模型

背景 监督学习方法可分为两大类,即生成方法与判别方法,它们所学到的模型称为生成模型与判别模型。 判别模型:判别模型是学得一个分类面(即学得一个模型),该分类面可用来区分不同的数据分别属于哪一类; 生成模型:生成模型是学得各个类别各自的特征(即可看成学得多个模型),可用这些特征数据和要进行分类的数据进行比较,看新数据和学得的模型中哪个最相近,进而确定新数据属于哪一类。 具体说明 1、判断模型与生成模型判别方法 判别方法:由数据直接学习决策函数Y=f(X)或条件概率分布P(Y|X)作为预测模型,即判别模型。判别方法关心的是对于给定的输入X,应该预测什么样的输出Y。 生成方法:由数据学习联合概率分布P(X,Y), 然后由P(Y...
机器学习 08-20 评论已关闭

常用函数导数整理

背景 整理一下常见函数的导数。 具体说明 1、什么是导数 一个函数在某一点的导数,描述了这个函数在这个点附近的变化率。 导数的本质是通过极限的概念对函数进行局部的线性逼近,当函数f的自变量在一个点X0上产生...
机器学习 08-20 评论已关闭

读书笔记《小群效应》

1、微信上每天会建立200W-300W个群(含3人及以上的对话),其中40%的群在7天内直接死掉,只有30%的能够活过一个月。 2、群活跃的用户比例往往只有10% 3、人们组建的大部分社群,都是被浪费的,迅速消亡的。 4、由事件驱动而组建的群生命周期很短,多为3-7天。由关系驱动组建的群生命周期更长,至少有一个月。 5、事件驱动指人们为了完成某件事而共同协作。 6、用户加入一个社群的诉求: 问答求助 炫耀 寻找共鸣 分享知识跟资讯 管理跟储备潜在关系,维护关系等 共同认可的长期目标和价值观 从理性到情感到文化 7、基于位置的 兴趣召回,是有限的。兴趣类社群,能够达到群的规模,必须要扩大召回,所以基于网络的社群,就是扩大召回的过程。...
产品用研 08-13 评论已关闭

分类模型总结

背景 分类任务是最常见的NLP任务之一,也是推荐模型里,对内容的最常见的特征描述形式。 正确的分类模型对分类任务十分关键,本文重点整理一下常见的分类模型。   具体说明  
生活琐事 08-08 评论已关闭

数据统计里经常遇到的问题

背景 在平时统计数据,做数据处理的过程中,经常会遇到一些意识不到的问题,这些问题奇奇怪怪,各式各样,此文章简单的整理一下场景的坑   具体说明 1、幸存者偏差 例题: 二战期间,统计者发现,飞回来的飞...
产品用研 08-07 评论已关闭

常见的数据分布总结

背景 我们在日常的生活中,会统计很多的数据,而很多的数据,有各种各样的分布,常见的比如正态分布。 此日志重点总结一下常见的分布形式。数据分为 离散数据与连续数据。   具体说明 1.均匀分布 若连续型...
机器学习 08-07 评论已关闭