第12章大数据应用举例
第12章 大数据应用举例
提纲 121推荐系统概述 122推荐算法一协同过滤 123协同过滤实践一电影推荐系统
提纲 12.1 推荐系统概述 12.2 推荐算法 – 协同过滤 12.3 协同过滤实践 – 电影推荐系统
12.1推荐系统概述 ·121.1什么是推荐系统 ·12.1.2长尾理论 ·12.1.3推荐方法 ·12.14推荐系统模型 121.5推荐系统的应用
12.1 推荐系统概述 • 12.1.1 什么是推荐系统 • 12.1.2 长尾理论 • 12.1.3 推荐方法 • 12.1.4 推荐系统模型 • 12.1.5 推荐系统的应用
12.1.1什么是推荐系统 互联网的飞速发展使我们进入了信息过载的时代,搜索引擎可以帮助 我们查找内容,但只能解决明确的需求 为了让用户从海量信息中高效地获得自己所需的信息,推荐系统应运 而生。推荐系统是大数据在互联网领域的典型应用,它可以通过分析 用户的历史记录来了解用户的喜好,从而主动为用户推荐其感兴趣的 信息,满足用户的个性化推荐需求
12.1.1 什么是推荐系统 • 互联网的飞速发展使我们进入了信息过载的时代，搜索引擎可以帮助 我们查找内容，但只能解决明确的需求 • 为了让用户从海量信息中高效地获得自己所需的信息，推荐系统应运 而生。推荐系统是大数据在互联网领域的典型应用，它可以通过分析 用户的历史记录来了解用户的喜好，从而主动为用户推荐其感兴趣的 信息，满足用户的个性化推荐需求
12.1.2长尾理论 “长尾”概念于2004年提出,用来描述以亚马逊为代表的电子商务 网站的商业和经济模式 电子商务网站销售种类繁多,虽然绝大多数商品都不热门,但这些不 热门的商品总数量极其庞大,所累计的总销售额将是一个可观的数字 ,也许会超过热门商品所带来的销售额 因此,可以通过发掘长尾商品并推荐给感兴趣的用户来提高销售额, 这需要通过个性化推荐来实现
• “长尾”概念于2004年提出，用来描述以亚马逊为代表的电子商务 网站的商业和经济模式 • 电子商务网站销售种类繁多，虽然绝大多数商品都不热门，但这些不 热门的商品总数量极其庞大，所累计的总销售额将是一个可观的数字 ，也许会超过热门商品所带来的销售额 • 因此，可以通过发掘长尾商品并推荐给感兴趣的用户来提高销售额。 这需要通过个性化推荐来实现 12.1.2 长尾理论
12.1.2长尾理论 热门推荐是常用的推荐方式,广泛应用于各类网站中,如热门排行榜 。但热门推荐的主要缺陷在于推荐的范围有限,所推荐的内容在一定 时期内也相对固定 个性化推荐可通过推荐系统来实现。推荐系统通过发掘用户的行为记 录,找到用户的个性化需求,发现用户潜在的消费倾向,从而将长尾 商品准确地推荐给需要它的用户,进而提升销量,实现用户与商家的 双赢
• 热门推荐是常用的推荐方式，广泛应用于各类网站中，如热门排行榜 。但热门推荐的主要缺陷在于推荐的范围有限，所推荐的内容在一定 时期内也相对固定 • 个性化推荐可通过推荐系统来实现。推荐系统通过发掘用户的行为记 录，找到用户的个性化需求，发现用户潜在的消费倾向，从而将长尾 商品准确地推荐给需要它的用户，进而提升销量，实现用户与商家的 双赢 12.1.2 长尾理论
12.1.3推荐方法 推荐系统的本质是建立用户与物品的联系,根据推荐算法的不同,推 荐方法包括如下几类: 专家推荐:人工推荐,由资深的专业人士来进行物品的筛选和推 荐,需要较多的人力成本 基于统计的推荐:基于统计信息的推荐(如热门推荐),易于实 现,但对用户个性化偏好的描述能力较弱 基于内容的推荐:通过机器学习的方法去描述内容的特征,并基 于内容的特征来发现与之相似的内容 协同过滤推荐:应用最早和最为成功的推荐方法之一,利用与目 标用户相似的用户已有的商品评价信息,来预测目标用户对特定 商品的喜好程度 混合推荐:结合多种推荐算法来提升推荐效果
• 推荐系统的本质是建立用户与物品的联系，根据推荐算法的不同，推 荐方法包括如下几类： – 专家推荐：人工推荐，由资深的专业人士来进行物品的筛选和推 荐，需要较多的人力成本 – 基于统计的推荐：基于统计信息的推荐（如热门推荐），易于实 现，但对用户个性化偏好的描述能力较弱 – 基于内容的推荐：通过机器学习的方法去描述内容的特征，并基 于内容的特征来发现与之相似的内容 – 协同过滤推荐：应用最早和最为成功的推荐方法之一，利用与目 标用户相似的用户已有的商品评价信息，来预测目标用户对特定 商品的喜好程度 – 混合推荐：结合多种推荐算法来提升推荐效果 12.1.3 推荐方法
12.1.4推荐系统模型 一个完整的推荐系统通常包括3个组成 模块:用户建模模块、推荐对象建模模 用户 推荐对象建模模块 块、推荐算法模块: 用户行为数据)(用户属性数据 交互数据 对象属性数据 用户建模模块:对用户进行建模, 根据用户行为数据和用户属性数据 用户特征 物品特征 来分析用户的兴趣和需求 推荐对象建模模块:根据对象数据 对推荐对象进行建模 推荐算法 推荐算法模块:基于用户特征和物 过滤、调整 品特征,采用推荐算法计算得到用 户可能感兴趣的对象,并根据推荐 推荐结果 场景对推荐结果进行一定调整,将 推荐算法模块 推荐结果最终展示给用户 图12-1推荐系统基本架构
• 一个完整的推荐系统通常包括3个组成 模块：用户建模模块、推荐对象建模模 块、推荐算法模块： – 用户建模模块：对用户进行建模， 根据用户行为数据和用户属性数据 来分析用户的兴趣和需求 – 推荐对象建模模块：根据对象数据 对推荐对象进行建模 – 推荐算法模块：基于用户特征和物 品特征，采用推荐算法计算得到用 户可能感兴趣的对象，并根据推荐 场景对推荐结果进行一定调整，将 推荐结果最终展示给用户 12.1.4 推荐系统模型 用户行为数据 用户属性数据 用户特征 用户建模模块 对象与用户的 交互数据 对象属性数据 物品特征 推荐对象建模模块 推荐算法 推荐算法模块 过滤、调整 推荐结果 图12-1 推荐系统基本架构
12.1.5推荐系统的应用 目前在推荐系统已广泛应用于电子商务、在线视频、在线音乐、社交 网络等各类网站和应用中 如亚马逊网站利用用户的浏览历史记录来为用户推荐商品,推荐的主 要是用户未浏览过,但可能感兴趣、有潜在购买可能性的商品 您最近查看的商品和相关推荐 根据您的范历史记录撞荐商品 第1页,共10页一西 匾Q ero/nanc LEGO乐幕创意百C若素围头耳机Sha Ddo克多 食食(134 百 ★食食(209 命会(27 980.00 食食食食(9日 ★食食(70 299.00 118.00 第212.00 178.23 图12-2亚马逊网站根据用户的浏览记录来推荐商品
• 目前在推荐系统已广泛应用于电子商务、在线视频、在线音乐、社交 网络等各类网站和应用中 • 如亚马逊网站利用用户的浏览历史记录来为用户推荐商品，推荐的主 要是用户未浏览过，但可能感兴趣、有潜在购买可能性的商品 12.1.5 推荐系统的应用 图12-2 亚马逊网站根据用户的浏览记录来推荐商品
12.1.5推荐系统的应用 推荐系统在在线音乐应用中也逐渐发挥作用。音乐相比于电影数量更 为庞大,个人口味偏向也更为明显,仅依靠热门推荐是远远不够的 虾米音乐网根据用户的音乐收藏记录来分析用户的音乐偏好,以进行 推荐。例如,推荐同一风格的歌曲,或是推荐同一歌手的其他歌曲 猜你喜欢更多 DAVID BOWIE YUNDI 基于你的个人音乐库基于歌曲 Space oddi基于歌曲 Franz Liszt,基于歌曲 Paganini: C.基于数曲 Romance 今日推荐歌单 H1 Storytellers沙35 The Master violinist Jewel Box 图12-3虾米音乐网根据用户的音乐收藏来推荐歌曲
• 推荐系统在在线音乐应用中也逐渐发挥作用。音乐相比于电影数量更 为庞大，个人口味偏向也更为明显，仅依靠热门推荐是远远不够的 • 虾米音乐网根据用户的音乐收藏记录来分析用户的音乐偏好，以进行 推荐。例如，推荐同一风格的歌曲，或是推荐同一歌手的其他歌曲 12.1.5 推荐系统的应用 图12-3 虾米音乐网根据用户的音乐收藏来推荐歌曲