spark推荐系统

作者: 花花心眼
来源: 51数据库
2020-09-21

上个月公司的同事提议组内做几次关于数据挖掘的技术串讲交流下学习和工作经验，本着提携新人的考虑，建议博主也讲点什么。开始时博主想简单讲一讲推荐算法的协同过滤算法。后来考虑到其实串讲不仅仅是和其他人交流分享，也是对自己已有知识的巩固。想一想还是加点挑战，谈谈推荐系统吧^_^。为什么选推荐系统呢，原因有三个：
1.人们在网络中经常接触推荐，讲起来例子多，人们不陌生；
2.原理比较简单，不需要学习者有高超的数学基础；
3.这个领域是博主最先接触的数据挖掘领域^_^。
博主第一次接触推荐系统的学习是在林鸿飞教授的《文本挖掘与搜索引擎》的课上，课上他向我们推荐项亮编著的《推荐系统实践》，虽然期末的大作业博主被分到了QA组（注：这里的QA不是质量保证而是问答系统），但博主拜读了这本书，感觉受益颇多，之后和直博北大的学霸大白弄了个简陋的基于社交网络的好友推荐系统，当时也不会什么hadoop、spark什么的，我们俩全程手撕代码，虽然效果和效率都不好但加深了对推荐系统的了解，这样看来手撕代码或许对学习帮助比较好吧（写到这里博主想起了一天下午和大白敲完码，大白兴致勃勃拉着博主去爬学校后面的牛角山，博主爬一半没了力气，上不去也下不来的可怕回忆）。

　　系统还是看目的是如何的，从用户角度讲是为了更好的理解用户，减少用户查找内容的时间和次数，从产品本身角度讲，是增加单位面积单位时间内的点击数或者说内容有效。我在做推荐系统的时候从业务角度的衡量： 1、是衡量点击和打开率，这说明...