Facebook推荐工程师交流笔记

背景 与facebook某工程师交流,记一下交流的信息 具体说明 自己总结: Q1:facebook的推荐PM跟推荐RD怎么配合,推荐PM的需要涉及到model的工作吗? A:因为feed是一个会涉及到多个业务的部门,所以PM会做很多协调,管理方面的工作,来推动各方支持。推荐PM不会涉及到model部分。 Q2:如果是纯富媒体内容(比如纯图片,纯视频,非文本类),在推荐中的学习使用情况。 A:facebook没有对内容有任何的学习处理,会提取用户发布的#hashtag#,但是不会自己再对内容做理解。所以也没有处理过图像,facebook实验室针对图像做的一些东西,instagram在用,但是facebook feed本身story没用。 ——延展:这里才想起来,facebook其实只有一种召回,就是关...
机器学习 01-04 评论已关闭

排序模型:LR连续特征离散化

背景 跟RD看特征interaction时候的训练出来的结果,看到对一级标签点击率有多个Wi 参数,问了一下原因。搜了一下,把结果记录一下 具体说明 什么是特征离散化 在工业界,很少直接将连续值作为逻辑回归模型的特征输入,而是将连续特征离散化为一系列0、1特征交给逻辑回归模型 有什么优势 0. 离散特征的增加和减少都很容易,易于模型的快速迭代; 1. 稀疏向量内积乘法运算速度快,计算结果方便存储,容易扩展; 2. 离散化后的特征对异常数据有很强的鲁棒性:比如一个特征是年龄>30是1,否则0。如果特征没有离散化,一个异常数据“年龄300岁”会给模型造成很大的干扰; 3. 逻辑回归属于广义线性模型,表达能力受限;单变量离散化...
机器学习 12-28 评论已关闭

python爬美女图片

背景 为了MKMM项目,爬妹子图片,标注样本 从校花网跟4439两个网站爬了一些。 具体说明 代码如下: 校花网 #coding=utf-8 import urllib import re for i in range(44):     def getHtml(url):#获取网页内容         page = urllib.urlopen(url)         html = page.read()         return html         print html     def getImg(html):#获取...
技术相关 12-24 评论已关闭

内容推荐学习笔记1:认识推荐系统

1、产品解决什么问题   ● 在信息过载的情况下,用户更方便快捷的提升自己在消费内容上的时间利用率   ● 帮助用户发现他潜在喜欢的内容 2、怎么解决:推荐系统 推荐系统:发掘用户(user)集合与物品集合(item)之间的语义关系,为用户生成最相关的Top-N 推荐系统的核心是利用机器学习的方法,来帮忙做筛选跟排序。 推荐系统的核心算法:可以根据用户画像,内容画像和情景信息,计算用户对内容感兴趣的概率P(y|xu,xi,xc) 3、具体的解决办法 推荐系统架构&流程 推荐系统主要分为:召回,排序 两部分 召回:寻找与用户相关的内容,包括多种召回手段 排序:在候选集里,找到最合适的top-N,主要分为粗排与细排两部分 ...
机器学习 12-20 评论已关闭

python分析excel导出的AB实验结果

背景 在公司经常自己处理excel,而且任务重复,繁多,趁着学python,自己搞一个脚本以后处理 具体描述 # coding=utf-8 import xlwt import numpy import xlrd from xlutils.copy import copy import json  # 转化格式 #获取文件,用户输入 print json.dumps("请输入excel文件 格式 f.xlsx ",encoding="UTF-8",ensure_ascii=False) OnLinefile=raw_input() #获取时间,用户输入 print json.dumps("请输入上线时间 格式 2017-11-09",encoding="UTF-8",ensure_ascii=False) OnLineDate=r...
技术相关 12-17 评论已关闭

新户冷启动:推荐冷启动

背景 针对新户,怎么快速的找到用户喜欢的兴趣,做个性化推荐,冷启动很重要。 总结了一下现在可以做的一些冷启动的手段。 具体做法
机器学习 12-12 评论已关闭

先验概率与后验概率

背景 使用topic召回的时候,先要做平滑,发现对先验概率理解不够,查资料补充了一下知识,特此记录。 具体说明 -什么是先验概率与后验概率 先验概率与后验概率,简单的说:先验概率是由因求果中的因,而后验概率,由果寻因中的因。 先验概率是在缺乏某个事实的情况下描述一个变量; 而后验概率是在考虑了一个事实之后的条件概率.  先验概率通常是经验丰富的专家的纯主观的估计。后验概率可以根据通过Bayes定理, 用先验概率和似然函数计算出来. 后验概率是基于新的信息,修正原来的先验概率后所获得的更接近实际情况的概率估计。 先验概率和后验概率是相对的。如果以后还有新的信息引入,更新了现在所谓的后验概率,得到了新的概...
机器学习 12-07 评论已关闭

置信度与置信区间

背景 在平时做实验的过程中,使用ab平台去分配流量,大家其实对分配多少流量”合适”,并没有谱。一般都是靠经验拍一个值,特此整理一下,如何知道,我的流量够不够。 在统计学里, 我们一般使用”抽样” 来预估 “总体”的情况。做这个事情,可行的前提是: 抽样样本能够很好的拟合总体的情况。即我们通常说的具有代表性。统计学里用 置信度 ,来衡量 样本实验与总体用户的”相似情况”。     具体描述 1、为什么要用区间估计? 一个例子:你打枪打10次,你可以得到一个平均值,比如是8.那么总体的期望是不是就是8呢?显然不是,因为你再打10次可能就是7了,那么总体的期望就变成7了嘛? ...
机器学习 12-04 评论已关闭

FFM(Field-aware Factorization Machine)

FFM:基于域的分解机模型 符号说明: x表示样本特征数据 y表示样本目标数据 第i个训练样本为(xi,yi),为了方便也可以用x=xi表示第i个样本 1.1 线性模型 C1表示x中非零元素索引的集合 1.2 二次多项式模型 C2表示x中非零元素索引的集合 1.2 分解机模型(FM) W是二维矩阵,表示第i行向量,长度为k,k是自定义参数,也称之为隐向量 1.3 域分解机模型(FFM) 因为前面的一次线性项容易解,则可以写成另外一种形式
机器学习 12-04 评论已关闭