第3期 王大玲，等：社会媒体多模态、多层次资源推荐技术研究 ·271· 点。在异构信息网络中如何更好地发现隐式社群并最 息网络并分析用户社群时，信息节点的相关性分析 终应用于社会媒体资源推荐，仍有许多待解决的问题： 与信息净化（去噪、去重等）、以及隐式链接关系分 2)在基于用户社群的推荐方面，相关工作主要是 析均离不开内容分析：②如果要推荐的信息比原始 基于社群内的用户兴趣或用户关系本身进行推荐。在 信息粒度更小，则需要对原始信息进行内容分割：③ 社会媒体资源推荐中，还应考虑如何在用户社群发现 如果要推荐的是粒度更大的综合信息，则更需要文 的基础上、进一步推演用户兴趣并应用于资源推荐； 本、图像、视频的内容分析和挖掘。由于用户通过社 3)在社会媒体资源挖掘方面，除针对社会媒体 会媒体传播和交流的信息形式的多媒体化，内容分 海量、噪音等研究外，一方面基于传统的多媒体挖掘 析更需要多模态内容分析技术。 技术，另一方面基于社会媒体中丰富的语义、元数据 可见，为实现社会媒体的多层次推荐，内容分析 信息； 仍然有其他方法不可替代的作用。当然，内容分析 4)在社会媒体资源推荐方面，大多以资源原始 在进行跨媒体分析时有其局限性，除众所周知的高 粒度作为推荐单元，一些具有综合资源推荐功能的 维性以外，不同类型媒体之间的相似性度量仅依赖 工作也主要局限在“旅游”这样特定需求方面，因而 于内容分析是难以完成的。考虑一幅图片与一段音 尚缺少更小或更大粒度、特别是综合资源的推荐： 乐是否相似，不借助于其他信息几乎无法实现，因而 5)在多因素分析的社会媒体资源推荐方面，相 也就限制了不同媒体之间（即跨媒体）的推荐。 关工作结合了用户关系和媒体内容，但其中的内容 综上，内容分析能够提供针对单一媒体精细的 分析仍主要以文本形式的元数据和语义信息为主。 分析和比较结果，在推荐系统中的作用是其他分析 实际上，内容分析在传统的推荐、特别是基于内 方法不可替代的。但是，当这种分析和比较涉及不 容的推荐中曾起过重要作用。在社会媒体中，丰富 同类型媒体时，内容分析则不能直接应用。此时，内 的标签、元数据等语义信息以及用户关系等线索，使 容信息之外的语义信息、元数据信息等，成为不同媒 得很多推荐工作在未进行内容分析的情况下也能取 体之间的“桥梁”。基于此，可以认为，结合社会媒 得不错的推荐效果，甚至在ACM Multimedia20l2国 体中的用户信息，标签、媒体上下文、评论等用户生 际会议上还引发了在社会媒体环境下“内容已死” 成内容，以及这些内容中的术语、视觉、听觉等特征 与“内容万岁”的讨论[4)。但是，如果考虑前述异 于一体的分析方法，能够更好地支持社会媒体的多 构信息网络的社群发现以及多层次、不同粒度的信 模态、多层次资源推荐和用户关系挖掘。表1归纳 息推荐，内容分析是必不可少的：①在构建异构信 了上述讨论的结果，该表解释了图2中虚线的原因。 表1相关工作总结 Table 1 Summary of related work 相关工作 应用的技术 实现的功能 存在的问题 好友挖掘、话题挖掘、偏好挖掘、关礼物推荐、话题推荐、社群推荐、朋友推 1)推荐的主要是 社会 用户社群 注点挖掘、链接挖掘… 荐、粉丝推荐 媒体 原始粒度的资源； 音频挖掘、文本挖掘、视频挖掘、图音乐推荐、新闻推荐、视频推荐、主题推2)综合资源推荐 资源 媒体内容 像挖掘、数据流流分析等 荐、网站推荐 推荐 领域单一： 3)缺少多层次资 策略 用户、标签、文本、图像之间的关联书籍推荐、链接推荐，旅游推荐、标签推 多种因素 分析、分类、聚类… 荐、化妆推荐… 源推荐。 用户关系 同构或异构图聚类、显式或隐式链发现具有共同话题、偏好、潜在合作关 缺少支持多层次 社会 分析 接分析、频繁图发现… 系的用户社群… 媒体 资源推荐的视觉 多模态信 链接挖掘、文本挖掘、多媒体数据挖支持多（跨）媒体信息搜索、各种不同 特征、语义信息、 推荐 息挖掘 掘、情感分析… 模态资源的推荐 元数据等信息的 支撑 综合数据挖掘技 技术 多模态资 映射各模态特征到同一公共特征空 支持相同或不同模态资源、同构或异构 源度量 间、学习潜在语义空间、排序… 信息资源的相似性计算… 术和方法。 4.2社会媒体多模态、多层次资源推荐面临的挑战 1)异构信息网络构建与用户社群发现问题。 根据图2、表1及上节的讨论，社会媒体多模态 传统的推荐系统中，基于内容的推荐不考虑用 多层次资源推荐仍面临诸多挑战。 户关系，基于协同过滤的推荐主要依据“用户-项点。 在异构信息网络中如何更好地发现隐式社群并最 终应用于社会媒体资源推荐，仍有许多待解决的问题； ２）在基于用户社群的推荐方面，相关工作主要是 基于社群内的用户兴趣或用户关系本身进行推荐。 在 社会媒体资源推荐中，还应考虑如何在用户社群发现 的基础上、进一步推演用户兴趣并应用于资源推荐； ３）在社会媒体资源挖掘方面，除针对社会媒体 海量、噪音等研究外，一方面基于传统的多媒体挖掘 技术，另一方面基于社会媒体中丰富的语义、元数据 信息； ４）在社会媒体资源推荐方面，大多以资源原始 粒度作为推荐单元，一些具有综合资源推荐功能的 工作也主要局限在“旅游”这样特定需求方面，因而 尚缺少更小或更大粒度、特别是综合资源的推荐； ５）在多因素分析的社会媒体资源推荐方面，相 关工作结合了用户关系和媒体内容，但其中的内容 分析仍主要以文本形式的元数据和语义信息为主。 实际上，内容分析在传统的推荐、特别是基于内 容的推荐中曾起过重要作用。 在社会媒体中，丰富 的标签、元数据等语义信息以及用户关系等线索，使 得很多推荐工作在未进行内容分析的情况下也能取 得不错的推荐效果，甚至在 ＡＣＭ Ｍｕｌｔｉｍｅｄｉａ ２０１２ 国 际会议上还引发了在社会媒体环境下“内容已死” 与“内容万岁” 的讨论［４８］ 。 但是，如果考虑前述异 构信息网络的社群发现以及多层次、不同粒度的信 息推荐，内容分析是必不可少的：① 在构建异构信 息网络并分析用户社群时，信息节点的相关性分析 与信息净化（去噪、去重等）、以及隐式链接关系分 析均离不开内容分析；② 如果要推荐的信息比原始 信息粒度更小，则需要对原始信息进行内容分割；③ 如果要推荐的是粒度更大的综合信息，则更需要文 本、图像、视频的内容分析和挖掘。 由于用户通过社 会媒体传播和交流的信息形式的多媒体化，内容分 析更需要多模态内容分析技术。 可见，为实现社会媒体的多层次推荐，内容分析 仍然有其他方法不可替代的作用。 当然，内容分析 在进行跨媒体分析时有其局限性，除众所周知的高 维性以外，不同类型媒体之间的相似性度量仅依赖 于内容分析是难以完成的。 考虑一幅图片与一段音 乐是否相似，不借助于其他信息几乎无法实现，因而 也就限制了不同媒体之间（即跨媒体）的推荐。 综上，内容分析能够提供针对单一媒体精细的 分析和比较结果，在推荐系统中的作用是其他分析 方法不可替代的。 但是，当这种分析和比较涉及不 同类型媒体时，内容分析则不能直接应用。 此时，内 容信息之外的语义信息、元数据信息等，成为不同媒 体之间的“桥梁”。 基于此，可以认为，结合社会媒 体中的用户信息，标签、媒体上下文、评论等用户生 成内容，以及这些内容中的术语、视觉、听觉等特征 于一体的分析方法，能够更好地支持社会媒体的多 模态、多层次资源推荐和用户关系挖掘。 表 １ 归纳 了上述讨论的结果，该表解释了图 ２ 中虚线的原因。 表 １ 相关工作总结 Ｔａｂｌｅ １ Ｓｕｍｍａｒｙ ｏｆ ｒｅｌａｔｅｄ ｗｏｒｋ 相关工作 应用的技术 实现的功能 存在的问题 社 会 媒 体 资 源 推 荐 策略 用户社群 好友挖掘、话题挖掘、偏好挖掘、关 注点挖掘、链接挖掘…… 礼物推荐、话题推荐、社群推荐、朋友推 荐、粉丝推荐…… 媒体内容 音频挖掘、文本挖掘、视频挖掘、图 像挖掘、数据流流分析等…… 音乐推荐、新闻推荐、视频推荐、主题推 荐、网站推荐…… 多种因素 用户、标签、文本、图像之间的关联 分析、分类、聚类…… 书籍推荐、链接推荐、旅游推荐、标签推 荐、化妆推荐…… １） 推荐的主要是 原始粒度的资源； ２） 综合资源推荐 领域单一； ３） 缺少多层次资 源推荐。 社 会 媒 体 推 荐 支 撑 技术 用户关系 分析 同构或异构图聚类、显式或隐式链 接分析、频繁图发现…… 发现具有共同话题、偏好、潜在合作关 系的用户社群…… 多模态信 息挖掘 链接挖掘、文本挖掘、多媒体数据挖 掘、情感分析…… 支持多（跨） 媒体信息搜索、各种不同 模态资源的推荐…… 多模态资 源度量 映射各模态特征到同一公共特征空 间、学习潜在语义空间、排序…… 支持相同或不同模态资源、同构或异构 信息资源的相似性计算…… 缺少支持多层次 资源推荐的视觉 特征、 语 义 信 息、 元数据等信息的 综合数据挖掘技 术和方法。 ４．２ 社会媒体多模态、多层次资源推荐面临的挑战 根据图 ２、表 １ 及上节的讨论，社会媒体多模态、 多层次资源推荐仍面临诸多挑战。 １）异构信息网络构建与用户社群发现问题。 传统的推荐系统中，基于内容的推荐不考虑用 户关系，基于协同过滤的推荐主要依据“用户－项 第 ３ 期 王大玲，等：社会媒体多模态、多层次资源推荐技术研究 ·２７１·