工业界推荐系统构架

  • A+
所属分类:机器学习

整体构架

工业界推荐系统构架

在线层

负责根据各种特征,通过算法,给用户推荐商品,要求实时性高。

近线层

实时地收集用户反馈,实时拼接特征,并近乎实时地在线更新推荐模型。这样用户最新的兴趣能够实时地体现在推荐结果中。

离线层

通过对在线用户点击行日志的存储和清理,整理离线训练数据,并周期性地更新算法模型。

在线层推荐的过程

一般分为两步:召回和排序

召回

因为商品数量太大,在规模化的公司中,商品数量一般能达到几百上千万。而推荐又要求实时性,因此,不能用复杂的模型和过多的特征来挑选商品,只能选择用简单的模型,如lr模型,进行粗略地选择商品,将商品的数量降到几百个。在工业界的推荐系统中,一般采用多路召回,每一路召回采用不用的召回策略。如:兴趣标签、兴趣topic、兴趣实体、热门、协同过滤。因为每一路策略不同,所以不同路的得分不能直接比较,因此需要经过下一步的排序过程,将得分统一。

排序

在召回之后,需要对召回的商品进行更加精细的排序,使用多种特征和复杂的模型,选出用户最可能喜欢的商品。之后再根据业务需求完成推荐。如果在召回后得到的商品数目还是太多,可以先进行粗排序,粗排序也是使用一些简单的模型进行挑选商品,然后再进行精细的排序。最后经过一些业务策略的处理(如:多样化、去已读等)后,将结果展现在用户面前。

许龙涛

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: