从语言学到深度学习NLP，一文概述自然语言处理

LizierarXiv

电脑之心校对

参予：李亚洲地区、蒋光华

责任编辑从三篇学术论文起程先概要如是说了语义处置的基本上进行分类和基本上原理，再向听众展现了广度自学中的 NLP。这三篇学术论文都是较好的概要性进阶学术论文，期望详尽介绍自然语言处置的听众可以更进一步写作这三篇学术论文。

责任编辑第三部份如是说了语义处置的基本上原理，译者将 NLP 分成语义认知和语义聚合，并说明了 NLP 过程的各层级和应用应用领域，这一则学术论文很适宜听众控制系统的介绍 NLP 的基本上原理。

第三部份叙述的是如前所述广度自学的 NLP，该学术论文具体来说叙述了广度自学中的词表观，即从 one-hot 代码、词袋数学模型到词内嵌和 word2vec 等，我们具体来说需要位数表观词语就可以更进一步做语义处置。随即，本学术论文如是说了各式各样应用应用领域于 NLP 的数学模型，包括传递函数数学数学模型、循环式数学数学模型、Seiches梦境和离子通道循环式数学数学模型等，这一些数学模型加之其他如目光监督机制那般的基本上功就能实现极为强悍的潜能，如用例、概要控制系统和感情预测等。

基本上概念此基础

学术论文门牌号：https://arxiv.org/abs/1708.05148

用例、流氓软件检验、信息提取、手动全文、医疗保健和概要控制系统等应用领域。本学术论文从历史和发展的视角探讨相同层级的 NLP 和语义聚合（NLG）的相同部份，以呈现出 NLP 应用应用领域的各式各样新一代控制技术和现阶段的态势与挑战。

1 前言

语义处置（NLP）是人工智能和社会学的一部份，它致力于使用计算机认知人类语言中的句子或词语。NLP 以降低用户工作量并满足使用语义进行人机交互的愿望为目的。因为用户可能不熟悉电脑语言，所以 NLP 就能帮助这样的用户使用语义和电脑交流。

语言可以被定义为一组规则或符号。我们会组合符号并用来传递信息或广播信息。NLP 基本上上可以分成两个部份，即语义认知和语义聚合，它们演化为认知和聚合文本的任务（图 1）。

图 1：NLP 的粗进行分类

社会学是语言的科学，它包括代表声音的音系学（Phonology）、代表构词法的词态学（Morphology）、代表语句结构的句法学（Syntax）、代表认知的语义句法学（Semantics syntax）和语用学（Pragmatics）。

NLP 的研究任务如手动全文、指代消解（Co-Reference Resolution）、语篇预测、机器翻译、语素切分（Morphological Segmentation）、命名实体识别、光学字符识别和词性标注等。手动全文即对一组文本的详尽信息以一种特定的格式聚合一个全文。指代消解指的是用句子或更大的一组文本确定哪些词指代的是相同对象。语篇预测指识别连接文本的语篇结构，而用例则指两种或多种语言之间的手动翻译。词素切分表示将词语分割为词素，并识别词素的类别。命名实体识别（NER）叙述了一串文本，并确定哪一个名词指代专有名词。光学字符识别（OCR）给出了打印版文档（如 PDF）中间的文字信息。词性标注叙述了一个句子及其每个单词的词性。虽然这些 NLP 任务看起来彼此相同，但实际上它们经常多个任务协同处置。

2 NLP 的层级

语言的层级是表达 NLP 的最具说明性的方法，能通过实现内容规划（Content Planning)、语句规划（Sentence Planning）与表层实现（Surface Realization）三个阶段，帮助 NLP 聚合文本（图 2）。

图 2：NLP 架构的阶段

社会学是涉及到语言、语境和各式各样语言形式的学科。与 NLP 相关的重要术语包括：

音系学

形态学

词语学

句法学

语义学

语篇预测

语用学

3 语义聚合

NLG 是从内在表观聚合有含义的短语、句子和段落的处置过程。它是 NLP 的一部份，包括四个阶段：确定目标、通过场景评估规划如何实现目标、可用的对话源、把规划实现为文本，如下图 3。聚合与认知是相反的过程。

图 3：NLG 的组件

6 NLP 的应用应用领域

NLP 可被他应用应用领域于各式各样应用领域，例如用例、流氓软件检验、信息提取等。在这一部份，该学术论文对以下 NLP 的应用应用领域进行了如是说：

用例

文本进行分类

流氓软件过滤

信息提取

手动全文

对话控制系统

医疗保健

广度自学中的 NLP

以上内容对 NLP 进行了此基础的如是说，但忽略了近年来广度自学在 NLP 应用领域的应用应用领域，因此我们补充了北京理工大学的一则学术论文。该学术论文回顾了 NLP 之中的广度自学重要数学模型与方法，比如传递函数数学数学模型、循环式数学数学模型、递归数学数学模型；同时还探讨了梦境增强策略、目光监督机制以及无监督数学模型、强化自学数学模型、广度聚合数学模型在语言相关任务上的应用应用领域；最后还探讨了广度自学的各式各样框架，以期从广度自学的视角全面简述 NLP 发展近况。

如今，广度自学架构、算法在计算机视觉、模式识别应用领域已经取得惊人的进展。在这种态势之下，近期如前所述广度自学新方法的 NLP 研究有了极大增长。

图4：2012 年-2017 年，在 ACL、EMNLP、EACL、NAACL 会议上呈现出的广度自学学术论文数量增长态势。

十几年来，解决 NLP 问题的电脑自学方法都是如前所述浅层数学模型，例如 SVM 和 logistic 回归，其训练是在非常高维、稀疏的特征上进行的。在过去几年，如前所述密集向量表观的数学数学模型在多种 NLP 任务上都产生了优秀成果。这一态势由词内嵌与广度自学方法的成功所兴起。广度自学使得多层级的手动特征表观的自学成为了可能。传统的如前所述电脑自学方法的 NLP 控制系统极度依赖手写特征，既耗费时间，又总是不完整。

在 2011 年，Collobert 等人的学术论文证明简单的广度自学框架能够在多种 NLP 任务上超越最顶尖的方法，比如在实体命名识别（NER）任务、语义角色标注 (SRL）任务、词性标注（POS tagging）任务上。从此，各式各样如前所述广度自学的复杂算法被提出，来解决 NLP 难题。

这篇学术论文回顾了与广度自学相关的重要数学模型与方法，比如传递函数数学数学模型、循环式数学数学模型、递归数学数学模型。此外，学术论文中还探讨了梦境增强策略、注意监督机制以及无监督数学模型、强化自学数学模型、广度聚合数学模型在语言相关任务上的应用应用领域。

在 2016 年，Goldberg 也以教程方式如是说过 NLP 应用领域的广度自学，主要对分布式语义（word2vec、CNN）进行了控制技术简述，但没有探讨广度自学的各式各样架构。这篇学术论文能提供更综合的思考。

全文：广度自学方法利用多个处置层来自学数据的层级表观，在许多应用领域获得了顶级结果。近期，在语义处置应用领域出现了大量的数学模型设计和方法。在此学术论文中，我们回顾了应用应用领域于 NLP 任务中，与深度自学相关的重要数学模型、方法，同时概览了这种进展。我们也总结、对比了各式各样数学模型，对 NLP 中广度自学的过去、现在与未来提供了详尽认知。

学术论文门牌号：https://arxiv.org/abs/1708.02709

图 2：一个 D 维向量的分布式向量表达，其中 D << V，V 是词语的大小。

图 3：Bengio 等人 2003 年提出的神经语言数学模型，C(i) 是第 i 个词内嵌。

图 4：CBOW（continuous bag-of-words）的数学模型

表 1：框架提供内嵌工具和方法

图 5：Collobert 等人使用的 CNN 框架，来做词级别的类别预测

图 6：在文本上的 CNN 建模 (Zhang and Wallace, 2015）

图 7：4 个 7-gram 核的 Top7 -grams，每个核对一种特定类型的 7-gram 敏感 (Kim, 2014)

图 8：DCNN 子图。有了动态池化，一顶层只需要小宽度的过滤层能够关联输入语句中离得很远的短语 (Kalchbrenner et al., 2014)。

图 9：简单的 RNN 网络

图 10：LSTM 和 GRU 的示图 (Chung et al., 2014)

图 11：相同单元类型关于迭代数量（上幅图）和时钟时间（下幅图）的训练、验证集自学曲线。其中 y 轴为对数尺度叙述的数学模型负对数似然度。

图 12：LSTM 解码器结合 CNN 图像内嵌器聚合图像叙述 (Vinyals et al., 2015a)

图 13：神经图像 QA (Malinowski et al., 2015)

图 14：词校准矩阵 (Bahdanau et al., 2014)

图 15：使用目光进行区域分级 (Wang et al., 2016)

图 16：特定区域语句上的注意模块专注点 (Wang et al., 2016)

图 17：应用应用领域于含有「but」语句的递归数学数学模型 (Socher et al., 2013)

图 18：如前所述 RNN 的 AVE 进行语句聚合（Bowman et al., 2015）

责任编辑为电脑之心校对，。

✄————————————————

加入电脑之心（全职记者/实习生）：[email protected]

投稿或寻求报道：[email protected]

广告&商务合作：[email protected]