·184· 智能系统学报 第15卷 斯坦福大学的卫星图像应用 迁移学习的应用案例：对话系统 predomge 2:Candidates 4:Reply aomnanhn intun A1:700的新间2？ A1:您想如道700的最新斋 Flow: A2:股价？A3买卖？ .Cuery -A 3:Rank -RNN Closely related Candidates A1:0.7A20.5A304 .POMDP Ranking .Output 酒 1:Input 設票700 迁移学习也可以用在舆情分析上。比如说我 还有一个智慧城市的例子，这也是我们和一 们已经获得了一个很好的自然语言分类器，只要 些公司合作的成果。比如，在一个城市有很多车 给一个书评或者是影评，我们就可以对它的正负 辆出行，根据车辆的状态，可以区分这是网约车 取向进行一个估算。那么在已经有了这样的一个 还是私家车，这样的一个分类器是可以根据两个 模型以后，我们假设给一个新的领域，这个新的 城市的相似度把它迁移到一个新的领域的。还有 领域有一些数据是我们没有见过的，但是通过两 城市的PM2.5预测，也可以做这种迁移，所以这 个领域之间的相似性、共性，还是可以很快地得 是非常通用的一个做法。 到一个迁移学习模型，使得在第2个领域能很快 地建立起一个舆情模型。 迁移学习的应用案例：智慧城市 那么具体怎么去实现？最近的一个做法是 通过多层的注意力网络机制。这个注意力机制 的网络有两个任务：第1个任务是在本领域能够 获得越来越高的准确度；第2个是在跨领域的任 务当中，希望能够最少地区分两个领域，使得能 够混淆两个领域里面所取的特征词，那些特征词 往往既能告诉我们舆情特征，又能告诉我们与领 域无关的这种共性，这种特征词取得的效果也非 常好。 总的来说，迁移学习有千千万万种，但是能 舆情分析Joint learning 不能只做一个通用的算法，就可以适用于很多领 Domain Classit 域？这是一个终极目标。现在这个目标终于有 希望了，众多的迹象表明，如果在源领域有足够 多的数据，可以形成一个非常大的预训练模型， 那么遇到一个新的领域的时候，往往就可以很快 地进行成功的迁移。所以迁移学习的成功与否， 在于能不能把同一类的问题都挖掘出来，建立一 AMN 个巨大的预训练模型，向小数据领域、新领域做 迁移。 同时迁移学习也可以用在一个非常有商业价 迁移学习新趋势 值的领域，就是对话系统。我们知道对话系统需 从超大数据领迁移到小数据领域 要进行大量的对话的标注。如果换一个领域，比 Source domain:huge labeled or unlabeled data 如说从一个卖咖啡的领域到一个卖股票的领域， Target domain:few labeled data Objective:transfer model from source 这里面虽然有很多具体的、商业的领域知识，但 domain to target domain forsame ifferen tasks 是它的逻辑结构还是有共通性。在这种情况下可 以通过强化学习的迁移机制来区分一个领域里面 Source 的策略：它是本领域的特殊策略，还是一个通用 的对话策略，把这两种策略区分开，学习通用策 略，就能使我们很快地得到一个基于RNN的迁移 这个例子在最近Facebook的一项工作上得到 学习模型。 了印证，他们就是逐字地增加在源领域的数据，迁移学习也可以用在舆情分析上。比如说我 们已经获得了一个很好的自然语言分类器，只要 给一个书评或者是影评，我们就可以对它的正负 取向进行一个估算。那么在已经有了这样的一个 模型以后，我们假设给一个新的领域，这个新的 领域有一些数据是我们没有见过的，但是通过两 个领域之间的相似性、共性，还是可以很快地得 到一个迁移学习模型，使得在第 2 个领域能很快 地建立起一个舆情模型。 那么具体怎么去实现？最近的一个做法是 通过多层的注意力网络机制。这个注意力机制 的网络有两个任务：第 1 个任务是在本领域能够 获得越来越高的准确度；第 2 个是在跨领域的任 务当中，希望能够最少地区分两个领域，使得能 够混淆两个领域里面所取的特征词，那些特征词 往往既能告诉我们舆情特征，又能告诉我们与领 域无关的这种共性，这种特征词取得的效果也非 常好。 同时迁移学习也可以用在一个非常有商业价 值的领域，就是对话系统。我们知道对话系统需 要进行大量的对话的标注。如果换一个领域，比 如说从一个卖咖啡的领域到一个卖股票的领域， 这里面虽然有很多具体的、商业的领域知识，但 是它的逻辑结构还是有共通性。在这种情况下可 以通过强化学习的迁移机制来区分一个领域里面 的策略：它是本领域的特殊策略，还是一个通用 的对话策略，把这两种策略区分开，学习通用策 略，就能使我们很快地得到一个基于 RNN 的迁移 学习模型。 还有一个智慧城市的例子，这也是我们和一 些公司合作的成果。比如，在一个城市有很多车 辆出行，根据车辆的状态，可以区分这是网约车 还是私家车，这样的一个分类器是可以根据两个 城市的相似度把它迁移到一个新的领域的。还有 城市的 PM2.5 预测，也可以做这种迁移，所以这 是非常通用的一个做法。 总的来说，迁移学习有千千万万种，但是能 不能只做一个通用的算法，就可以适用于很多领 域？这是一个终极目标。现在这个目标终于有 希望了，众多的迹象表明，如果在源领域有足够 多的数据，可以形成一个非常大的预训练模型， 那么遇到一个新的领域的时候，往往就可以很快 地进行成功的迁移。所以迁移学习的成功与否， 在于能不能把同一类的问题都挖掘出来，建立一 个巨大的预训练模型，向小数据领域、新领域做 迁移。 这个例子在最近 Facebook 的一项工作上得到 了印证，他们就是逐字地增加在源领域的数据， ·184· 智 能 系 统 学 报 第 15 卷