自然语言处理 Natural Language Processing(NLP) 陈家骏，戴新宇，吴震 chenjj@nju.edu.cn daixinyu@nju.edu.cn wuz@nju.edu.cn
自然语言处理 Natural Language Processing(NLP) 陈家骏，戴新宇，吴震 chenjj@nju.edu.cn daixinyu@nju.edu.cn wuz@nju.edu.cn
自然语言处理概述
自然语言处理概述
什么是自然语言处理 口充分利用信息将会给人们带来巨大的收益，而大 量的信息以自然语言（英语、汉语等）形式存在。 口如何有效地获取和利用以自然语言形式出现的信 息？ 自然语言处理(Natural Language Processing,简 称NLP)是指用计算机对自然语言信息进行处理的理论、 方法和技术。 ▣与NLP相近的两个研究领域： 自然语言理解(Natural Language Understanding, NLU):强调对语言含义和意图的深层次解释 计算语言学(Computational Linguistics,CL):强调 可计算的语言理论
什么是自然语言处理 充分利用信息将会给人们带来巨大的收益，而大 量的信息以自然语言（英语、汉语等）形式存在。 如何有效地获取和利用以自然语言形式出现的信 息？ ◼ 自然语言处理（Natural Language Processing，简 称NLP）是指用计算机对自然语言信息进行处理的理论、 方法和技术。 与NLP相近的两个研究领域： ◼ 自然语言理解(Natural Language Understanding, NLU)：强调对语言含义和意图的深层次解释。 ◼ 计算语言学(Computational Linguistics, CL)：强调 可计算的语言理论
NLP技术的典型应用 口机器翻译 口自动摘要 口文本分类与信息过滤 口信息检索 口自动问答 口情感分析 口信息抽取 ▣
NLP技术的典型应用 机器翻译 自动摘要 文本分类与信息过滤 信息检索 自动问答 情感分析 信息抽取
机器翻译 (Machine Translation) 口机器翻译(Machine Translation,简称MT)是指 利用计算机实现自然语言之间的自动翻译。 ■是最早的计算机应用之一 ■分为：文本机器翻译和语音机器翻译 a机器辅助翻译(Machine Aided Translation或 Computer Aided Translation,简称MAT或CAT) 翻译记忆体(Translation Memory,简称TM) ■双语对照的译后编辑
机器翻译（Machine Translation） 机器翻译（Machine Translation，简称MT）是指 利用计算机实现自然语言之间的自动翻译。 ◼ 是最早的计算机应用之一 ◼ 分为：文本机器翻译和语音机器翻译 机器辅助翻译（Machine Aided Translation或 Computer Aided Translation，简称MAT或CAT） ◼ 翻译记忆体（Translation Memory，简称TM） ◼ 双语对照的译后编辑 ◼
自动摘要(Text Summarization) 利用计算机自动地从原始文档中提取全面、准确 地反映该文档中心内容的简洁、连贯的短文。 ■分为单文档摘要和多文档摘要 ■应对信息过载
自动摘要（Text Summarization） 利用计算机自动地从原始文档中提取全面、准确 地反映该文档中心内容的简洁、连贯的短文。 ◼ 分为单文档摘要和多文档摘要 ◼ 应对信息过载
文本分类(Text Classification) 口将一篇文档归于预先给定的一个类别集合中的某一 类或某几类。可用于： ■新闻、出版物等的分类 ■ 网页分类 ·信息过滤（垃圾邮件、黄色网页等） ■推荐系统
文本分类（Text Classification） 将一篇文档归于预先给定的一个类别集合中的某一 类或某几类。可用于： ◼ 新闻、出版物等的分类 ◼ 网页分类 ◼ 信息过滤（垃圾邮件、黄色网页等） ◼ 推荐系统 ◼
信息检索(Information Retrieval,IR) 口基于关键词，从某文档集合中检索出相关的文档。 ■web搜索（谷歌搜索、百度搜索、..） ■属于主题相关的文本获取
信息检索（Information Retrieval，IR） 基于关键词，从某文档集合中检索出相关的文档。 ◼ web搜索（谷歌搜索、百度搜索、... ） ◼ 属于主题相关的文本获取
自动问答(Question Answering,QA) 口针对用户提出的问题，给出具体的答案。 ■各种问答机器人(Applel的Siri、IBM的Natson机器 人、) ■提高信息获取的效率
自动问答（Question Answering，QA） 针对用户提出的问题，给出具体的答案。 ◼ 各种问答机器人（Apple的Siri、IBM的Watson机器 人、…） ◼ 提高信息获取的效率
情感分析 (Sentiment Analysis Opinion Analysis 口分析文章（评论）对某个对象（社会热点事件、 产品或者服务)的态度（正面还是负面）。可用 于： ■政府舆情分析：热点事件发现和预警 ■企业市场决策：产品意见调查 ■消费者购买决策
情感分析（Sentiment Analysis或 Opinion Analysis ） 分析文章（评论）对某个对象（社会热点事件、 产品或者服务）的态度（正面还是负面）。可用 于： ◼ 政府舆情分析：热点事件发现和预警 ◼ 企业市场决策：产品意见调查 ◼ 消费者购买决策 ◼