第3期 王大玲，等：社会媒体多模态、多层次资源推荐技术研究 ·269. 用户在社交网络中与其他成员的关联关系、社会数 社会网络研究中的一个重要组成部分。在社会媒体 据以及词相关因素进行个性化书籍推荐：Per等[2)] 资源推荐中，由于用户对资源的各种操作而表现出 研究基于用户和标签的社会媒体推荐，表明将两者 的“兴趣相投”、“观点相似”、“关注”、“跟随”等关 结合起来的性能会更为优异：Gy等[2]利用包括帖 系构成了各种网络社群，这些社群所表达的用户之 子内容、帖子间相似度、帖子间或者其与博客间的链 间的关系成为“基于协同过滤推荐”的一个有效的 接以及与外部网站的链接在内的多种特征训练了一 扩展。 个SVM排序分类器，进行用户预测和链接预测，应 在用户关系分析和用户社群发现研究方面，Sun 用预测结果进行推荐：Wu等基于旅行者使用搜 等[列在多类型对象构成的异构信息网络中（如学术 索引擎查询旅游计划的上下文信息，生成一些有代 网络中的术语、作者、文章等)，提出基于元路径与 表性的旅游目的地；Xiang2构建了相同类型的实 用户指导聚类的方法对社会网络中的对象进行聚 体（如用户与用户）和不同类型的实体（如用户与图 类：Guv等[2]根据“认识同一个人或者被同一个人 片)之间的关系图，将推荐任务描述为一个在关系 认识”、“对同样的事情感兴趣”、“都在相同的地点” 图上的随机游走过程；Chidlovskii等[2]挖掘Tweet 发现社会媒体中的用户关系；Barbier等[]基于社会 内容，并用其哈希标签和内容对youtube、Flickr、 媒体存在大量群、数据有噪音、群不断变化的问题， Photobucket、Dailymotion和SoundCloud进行标注，实 提出发现群、根据群建立用户profile、理解群对其他 现对大量的未被充分标注的用户生成的Wb资源 个人或群的影响、探索跨社会媒体群以补充群成员 进行语义上的标注，以此实现标签推荐：L山等[2]获 评价的社会媒体在线群的理解；Yang等[30]针对电 取社会媒体中各种女性面部和发式图像，提取其中 子商务社会网络中“许多具有相似兴趣的社会媒体 化妆品特征，构建一个化妆推荐系统，提出一个多树 用户可能没有直接的交互或购买相同商品、从而导 结构的超图模型来探索各种化妆面部图像的高层美 致社会媒体中显式链接稀疏”的问题，提出识别用 丽属性、中层相关于美丽的属性以及低层图像特征， 户之间这种隐式关系来丰富社会媒体结构的方法： 基于用户输入的短发、素颜正脸图像，为其推荐最合 Jorg等[3]认为链接预测对于社会网络成员未来关 适的发式和化妆模式，并展示合成结果。与上文论 系的发现至关重要，针对此前的“链接预测基于结 述的工作相比，本节中大部分推荐是基于社会媒体 构信息、而结构信息在大规模社会网络中不足以获 的多种因素，包括用户关系和媒体相关内容，但其中 得好的预测性能”的问题，研究将“Twitter”用户的行 的“内容”主要是以标签、链接等元数据或语义信息 为、兴趣等非结构信息引入用户社群分析，改进链接 为主。此外，日常生活中经常接触的如“淘宝”、“当 预测性能。 当”这类购物网站，均具有根据用户访问历史、好友 总体上，社会网络挖掘中的社群发现与推荐均 关系等因素推荐商品的功能，但这种推荐也主要基 属此范畴，还有很多的研究工作，这里不多赘述。上 于标签等语义、文本信息的分析，因此可能出现这样 述工作中，有只考虑用户关系或者文档相似关系的 的例子：对于一个用户，如果本人或其好友关注一条 同构网络，也有考虑用户、资源及其关系的异构网 裙子的图片，推荐的也往往就是各种裙子图片，而不 络，链接关系包括显式链接，也包括隐式链接，其最 去考虑该用户到底是喜欢裙子的款式、花色、进而据 终目标还是发现各种用户社群。 此进行推荐。这个例子表明当前的研究在针对不同 3.2社会媒体多模态信息挖掘 模态和层次细节内容方面的推荐受到一定限制。 社会媒体内容丰富，为推荐系统提供了巨大的 信息资源。但无论是用户兴趣分析、还是推荐资源 3社会媒体推荐的支撑技术 的选择，以及社会媒体信息具有的海量性、有噪音等 作为用户兴趣分析方法的“多模态的用户兴趣 特点，均需要对社会媒体内容（包括不同层次、粒度 内容分析”和“基于社会关系的协同过滤”需要许多 的内容)进行分析。由于当前社会媒体信息呈现多 相关技术的支撑。根据图2，这些相关技术主要包 模态特征，因此多模态信息挖掘成为这种分析的主 括社会媒体用户关系分析、社会媒体多模态信息挖 要技术手段。 掘、以及社会媒体中多模态资源相似性度量等，本节 在社会媒体多模态信息挖掘以及相关的信息检 将从这3个方面综述相关工作。 索方面，Tang等[]提出了社会媒体分析中去除噪 3.1社会媒体用户关系分析 音、多媒体数据及用户的建模、标签代表性与资源相 社会媒体中的用户关系分析和用户社群发现是 关性、大规模社会媒体数据的挖掘与检索的扩展性用户在社交网络中与其他成员的关联关系、社会数 据以及词相关因素进行个性化书籍推荐；Ｐｅｒａ 等［２１］ 研究基于用户和标签的社会媒体推荐，表明将两者 结合起来的性能会更为优异；Ｇｕｙ 等［２２］ 利用包括帖 子内容、帖子间相似度、帖子间或者其与博客间的链 接以及与外部网站的链接在内的多种特征训练了一 个 ＳＶＭ 排序分类器，进行用户预测和链接预测，应 用预测结果进行推荐；Ｗｕ 等［２３］ 基于旅行者使用搜 索引擎查询旅游计划的上下文信息，生成一些有代 表性的旅游目的地；Ｘｉａｎｇ ［２４］ 构建了相同类型的实 体（如用户与用户）和不同类型的实体（如用户与图 片）之间的关系图，将推荐任务描述为一个在关系 图上的随机游走过程；Ｃｈｉｄｌｏｖｓｋｉｉ 等［２５］ 挖掘 Ｔｗｅｅｔ 内容， 并用其哈希标签和内容对 ｙｏｕｔｕｂｅ、 Ｆｌｉｃｋｒ、 Ｐｈｏｔｏｂｕｃｋｅｔ、Ｄａｉｌｙｍｏｔｉｏｎ 和 ＳｏｕｎｄＣｌｏｕｄ 进行标注，实 现对大量的未被充分标注的用户生成的 Ｗｅｂ 资源 进行语义上的标注，以此实现标签推荐；Ｌｉｕ 等［２６］获 取社会媒体中各种女性面部和发式图像，提取其中 化妆品特征，构建一个化妆推荐系统，提出一个多树 结构的超图模型来探索各种化妆面部图像的高层美 丽属性、中层相关于美丽的属性以及低层图像特征， 基于用户输入的短发、素颜正脸图像，为其推荐最合 适的发式和化妆模式，并展示合成结果。 与上文论 述的工作相比，本节中大部分推荐是基于社会媒体 的多种因素，包括用户关系和媒体相关内容，但其中 的“内容”主要是以标签、链接等元数据或语义信息 为主。 此外，日常生活中经常接触的如“淘宝”、“当 当”这类购物网站，均具有根据用户访问历史、好友 关系等因素推荐商品的功能，但这种推荐也主要基 于标签等语义、文本信息的分析，因此可能出现这样 的例子：对于一个用户，如果本人或其好友关注一条 裙子的图片，推荐的也往往就是各种裙子图片，而不 去考虑该用户到底是喜欢裙子的款式、花色、进而据 此进行推荐。 这个例子表明当前的研究在针对不同 模态和层次细节内容方面的推荐受到一定限制。 ３ 社会媒体推荐的支撑技术 作为用户兴趣分析方法的“多模态的用户兴趣 内容分析”和“基于社会关系的协同过滤”需要许多 相关技术的支撑。 根据图 ２，这些相关技术主要包 括社会媒体用户关系分析、社会媒体多模态信息挖 掘、以及社会媒体中多模态资源相似性度量等，本节 将从这 ３ 个方面综述相关工作。 ３．１ 社会媒体用户关系分析 社会媒体中的用户关系分析和用户社群发现是 社会网络研究中的一个重要组成部分。 在社会媒体 资源推荐中，由于用户对资源的各种操作而表现出 的“兴趣相投”、“观点相似”、“关注”、“跟随” 等关 系构成了各种网络社群，这些社群所表达的用户之 间的关系成为“基于协同过滤推荐”的一个有效的 扩展。 在用户关系分析和用户社群发现研究方面，Ｓｕｎ 等［２７］在多类型对象构成的异构信息网络中（如学术 网络中的术语、作者、文章等），提出基于元路径与 用户指导聚类的方法对社会网络中的对象进行聚 类；Ｇｕｖ 等［２８］根据“认识同一个人或者被同一个人 认识”、“对同样的事情感兴趣”、“都在相同的地点” 发现社会媒体中的用户关系；Ｂａｒｂｉｅｒ 等［２９］基于社会 媒体存在大量群、数据有噪音、群不断变化的问题， 提出发现群、根据群建立用户 ｐｒｏｆｉｌｅ、理解群对其他 个人或群的影响、探索跨社会媒体群以补充群成员 评价的社会媒体在线群的理解；Ｙａｎｇ 等［ ３０］ 针对电 子商务社会网络中“许多具有相似兴趣的社会媒体 用户可能没有直接的交互或购买相同商品、从而导 致社会媒体中显式链接稀疏” 的问题，提出识别用 户之间这种隐式关系来丰富社会媒体结构的方法； Ｊｏｒｇｅ 等［３１］认为链接预测对于社会网络成员未来关 系的发现至关重要，针对此前的“链接预测基于结 构信息、而结构信息在大规模社会网络中不足以获 得好的预测性能”的问题，研究将“Ｔｗｉｔｔｅｒ”用户的行 为、兴趣等非结构信息引入用户社群分析，改进链接 预测性能。 总体上，社会网络挖掘中的社群发现与推荐均 属此范畴，还有很多的研究工作，这里不多赘述。 上 述工作中，有只考虑用户关系或者文档相似关系的 同构网络，也有考虑用户、资源及其关系的异构网 络，链接关系包括显式链接，也包括隐式链接，其最 终目标还是发现各种用户社群。 ３．２ 社会媒体多模态信息挖掘 社会媒体内容丰富，为推荐系统提供了巨大的 信息资源。 但无论是用户兴趣分析、还是推荐资源 的选择，以及社会媒体信息具有的海量性、有噪音等 特点，均需要对社会媒体内容（包括不同层次、粒度 的内容）进行分析。 由于当前社会媒体信息呈现多 模态特征，因此多模态信息挖掘成为这种分析的主 要技术手段。 在社会媒体多模态信息挖掘以及相关的信息检 索方面，Ｔａｎｇ 等［３２］ 提出了社会媒体分析中去除噪 音、多媒体数据及用户的建模、标签代表性与资源相 关性、大规模社会媒体数据的挖掘与检索的扩展性、 第 ３ 期 王大玲，等：社会媒体多模态、多层次资源推荐技术研究 ·２６９·