1新智元校对
译者：Jason Brownlee
校对：朱焕
【新智元编者按】在语义处置应用领域领域，广度自学的允诺是：给新数学模型增添更快的操控性，那些新数学模型可能将须要更多统计数据，但无须须要所以多的社会学专业技能。
在语义处置应用领域领域，广度自学的允诺是：给新数学模型增添更快的操控性，那些新数学模型可能将须要更多统计数据，但无须须要所以多的社会学专业技能。
有关广度自学方式有许多炒作和瞎掰，但除炒以外，广度自学方式已经开始为诱惑力难题获得最一流的结论，的的语义处置应用领域领域。
在这首诗中，您将看见广度自学方式应付语义处置难题的具体内容发展前景。看完这首诗后，你会晓得：
1. 自然语言处置广度自学的允诺。
2. 广度自学从业者和科学研究生物学家对语义处置广度自学的允诺有甚么讲法。
3. 语义处置的关键广度自学方式和应用领域。
让我们开始吧。
广度自学的允诺
广度自学的方式很受欢迎，主要是因为它们兑现了当初的允诺。
这并不是说在技术上没有任何炒，而是说，这种炒是基于非常真实的成果。那些成果已经开始从计算机视觉和语义处置的一系列极具诱惑力的人工智能难题中得到证实。
广度自学力量的第一次大型展现，就是在语义处置应用领域领域，的的语音识别方面。 最近的进展则是在机器翻译方面。
在这首诗中，我们将看见，语义处置应用领域领域的广度自学方式的五个具体内容允诺。那些允诺是这个应用领域领域的科学研究人员和从业人者最近所强调的，而那些人面对那些允诺的态度比一般的新闻报道要克制得多。
总而言之，那些允诺是：
广度自学插入替换现有数学模型 。广度自学方式可以插入现有的语义系统，由此产生的新数学模型可以实现同等或更快的操控性。
新NLP数学模型 。广度自学方式提供了新的建模方式以挑战语义难题（如序列-序列预测）。
特征自学 。广度自学方式可以从数学模型所需的语义中自学特征，而不须要专家指定、提取特征。、
持续改进。语义处置中的深度自学的表现是基于真实世界的结论，并且所增添的改进已经开始持续，还可能将加速。
端对端数学模型 。大型端对端广度自学数学模型可以适应语义难题，提供更一般和更快的方式。
我们现在将仔细看看那些允诺中的每一个。其实自然语言处置广度自学还有一些其他允诺;，那些只是我从中选择的最突出的五个。
广度自学插入替换现有数学模型
语义处置中的广度自学的第一个允诺是，能够用具有更快操控性的数学模型替代现有的线性数学模型，能够自学和利用非线性关系。
Yoav Goldberg在他的《NLP科学研究人员神经网络入门》中强调，广度自学方式获得了令人印象深刻的成果，他说在此文中说：“最近，神经网络数学模型也开始应用领域于文本语义信号，并再次增添了非常有希望的结论。”
他还继续强调，那些方式易于使用，有时可用作批量地替代现有的线性方式。他说：“最近，该应用领域领域在从稀疏输入的线性数学模型切换到稠密统计数据的非线性神经网络数学模型方面获得了一些成功。大多数神经网络技术都很容易应用领域，有时候几乎可以替代旧的线性分类器；不过，在许多情况下仍存在着使用神经网络的障碍。”
新NLP数学模型
另一个允诺是，广度自学方式有助于开发全新的数学模型。
一个很好的例子是，使用能够自学和判断超长序列输出的循环神经网络。 这种方式与从前的完全不同，因为它们允许NLP从业者摆脱传统的建模假设，并实现最一流的结论。
Yoav Goldberg在其NLP广度自学的专著《语义处置的神经网络方式》第xvii页指出，像循环神经网络这样复杂神经网络数学模型可以增添全新的NLP建模机会。他说，“在2014年左右，该应用领域领域已经开始看见，在从稀疏输入的线性数学模型到稠密输入的非线性神经网络数学模型的转换方面，已获得了一些成功。 .……其他的变化更高级，须要科学研究者改变思维，并能增添新的建模机会。特别是，基于循环神经网络（RNNs）的一系列方式减轻了对序列数学模型中普遍存在的马尔可夫假设的依赖，允许以任意长序列为条件，并产生了有效的特征提取器。 那些进步导致了语言建模、自动机器翻译和其他应用领域的突破。”
特征自学
广度自学方式具有自学特征表示的能力，不必要求专家从语义中人工指定和提取特征。
NLP科学研究员Chris Manning在自然语言处置广度自学课程的第一次讲座中突出了这方面的观点。
他描述了人工定义输入特征的局限性：按照这种方式，在之前的应用领域中，机器自学只是在统计NLP中证明人类事先定义的特征，并且计算机几乎没有自学。
Chris 认为，广度自学方式增添的允诺是自动特征自学。 他强调，特征自学是自动的，而不是人工；它易于适应，不脆弱，并可以不断自动地改善。
Chris Mining 在2017年的《语义处置与广度自学》讲座第一讲幻灯片中说，“一般来说，我们人工设计的特征往往被过度地指定，它们不完整，须要很长时间才能设计和验证，会让你忙活一天后只能达到有限的操控性水平。而广度自学到的特征易于适应，能快速训练，它们可以持续自学，以便达到以前未能实现的、更快的操控性水平。
持续改进
NLP的广度自学的另一个允诺是，在诱惑力难题上持续快速改进。
在《语义处置与广度自学》讲座第一讲中，Chris Manning表示，广度自学的方式很受欢迎，因为它们很管用。他说，“广度自学对大多数人来说如此令人兴奋的真正原因是，它确实管用。“
他强调，广度自学的初步结论令人印象深刻。广度自学在语音应用领域领域的表现比过去30年中任何其他方式的表现都更快。
Chris 提到，广度自学增添的不仅是最一流的成果，而且是不断改进的进步速度。他说，”……在过去的六七年中，非常令人惊叹的是，广度自学方式一直在不断改进，并以惊人的速度变得更快。 我其实想说，这是前所未有的，我看见这个应用领域领域飞速地进展，每个月都会推出更快的方式。“
端对端数学模型的允诺
广度自学的最终允诺是，开发和训练语义难题的端对端数学模型能力，而不是为专门数学模型开发流程。
端对端数学模型不仅能改进数学模型的操控性，也能增添更快的开发速度和简洁性。
神经机器翻译（简称NMT）是指，尝试自学将一种语言翻译成另一种语言的大型神经网络。 传统上，这是由一系列手工调整的数学模型组成的流程来处置的，而流程中的每个数学模型都须要专业语言知识。
Chris Manning 在斯坦福大学NLP广度自学课程第十讲《神经机器翻译和注意数学模型》中描述了这一点。他说：”神经机器翻译是指，我们想要做的是构建一个大型神经网络，在这个网络中我们可以对训练整个端到端机器翻译过程并进行优化。……这种远离人工定制数学模型、朝向端到端、序列到序列预测数学模型的趋势，一直是语音识别的趋势。 这样做的系统被称为NMT （神经机器翻译）系统。
设计端到端数学模型，而非为专门系统设计流程，这也是语音识别的一个趋势。
在斯坦福NLP课程第十二讲《语音处置的端到端数学模型》中，目前就职于Nvidia的 NLP科学研究员Navdeep Jaitly强调，语音识别的每个组成部分都可以用神经网络来代替。自动语音识别流程中的几大组块是语音处置，声学数学模型，发音数学模型和语言数学模型。难题是，每个组块的属性和错误类型是不同的。这激发了开发一个神经网络来端到端地自学整个难题的须要。
他说，“随着时间的推移，人们开始注意到，如果我们使用神经网络，那些组件中的每一个都可以做得更快。 ……但是，仍然有一个难题。 每个组件都有各自的神经网络，但是每个组件中的错误都是不同的，所以它们可能将无法很好地协同工作。 所以这让我们拥有动机，尝试去把整个语音识别当作一个大数学模型来训练。”
语义处置广度自学网络的类型
广度自学是一个很大的自学应用领域领域，并不是它的所有内容都与语义处置相关。
哪些类型的广度自学数学模型能提升操控性？自学者在具体内容优化方式上很容易陷入泥沼。
从较高层次看，广度自学中有5种方式在语义处置中应用领域最为广泛。
他们是：
嵌入图层
多层感知器（MLP）
卷积神经网络（CNN）
循环神经网络（RNNs）
递归神经网络（ReNNs）
NLP中的难题类型
广度自学不会彻底解决语义处置难题或人工智能难题。
迄今为止，在语义处置的一系列广泛难题中，已经对广度自学方式进行了评估，并在其中一些难题上获得了成功。那些成功表明，使用广度学习能获得高于以往的表现或能力。
关键的是，广度自学方式获得最大成功的应用领域领域，恰恰是一些更加面对终端用户、更具诱惑力也更有趣的难题。
词表示和词含义
文本分类
语言建模
机器翻译
语音识别
进一步阅读
如果您想深入自学，下面是更多的相关资源：
A Primer on Neural Network Models for Natural Language Processing, 2015.
Neural Network Methods in Natural Language Processing, 2017.
Stanford CS224n: Natural Language Processing with Deep Learning, 2017
原文：https://machinelearningmastery.com/promise-deep-learning-natural-language-processing/
【号外】新智元已经开始进行新一轮招聘，飞往智能宇宙的最美飞船，还有N个座位
