一、结语
近期，随着大数学模型的出现，加强自学再一次的引起了本人的浓厚兴趣，责任编辑将应用领域广度加强自学来强化文件格式全文数学模型，使聚合的全文更加的简洁。在此之后，大家都采用了很多种方式体能训练全文系统，例如：采用交叠熵来体能训练这些数学模型，以最小化ground truth的几率全文，在某些文件格式全文数据K568显示出了比传统方式更快的性能。但是，文件格式全文中存在的两个难题：自学最终目标和评估结果国际标准间的不相匹配，即如前所述ROUGE的自动全文评价方式。尽管自学最终目标意在最大限度地提高基本上历史事实全文的几率，但ROUGE打分在很大程度上倚赖基本上历史事实和备选全文间的词语相关联关系。
为的是解决这个难题，责任编辑采用加强自学（RL）来体能训练全文数学模型。透过采用R督体能训练来预测来自原始文件格式的语句是否应该包含在全文中。接着，采用加强自学和两个奖赏数学模型对数学模型进行了松动，该数学模型将词语、语句和URL等级的语法光滑地软件系统到两个奖赏表达式中，资源整合了不同的视点，从而构筑出一份优质的全文。此外，为的是保证两个稳定的松动过程，采用上缘路子强化(PPO)，并透过采用Kullback-Leibler(KL)无限小做为附加的尾端奖赏，使积极探索路子接近监督管理数学模型。
二、软件系统
2.1、萨温齐互联网
BERT+LSTM+Sigmoid萨温齐互联网：
式中：则表示BERT代码后的第i个[CLS]。
2.2、PPO松动
在采用国际标准的交叠熵损失体能训练广度萨温齐互联网数学模型之后，考虑体能训练的萨温齐互联网数学模型做为如上所述路子，接着继续用强化自学完成路子。上缘路子强化控制在每次插值中预览的路子中的更动，以期路子不会移动太长，假定这有利于抽取更快的全文。对KL 奖赏，按照[1]和[2]等表述RL的奖赏方案，设则表示有监督管理体能训练的萨温齐互联网数学模型，则表示用RL强化的萨温齐数学模型，在天数关键步骤i计算酬金为：
其中，是KL常数，n是与文件格式D中语句数目相相关联的最终两个天数步。
对尾端天数常量，奖赏仅为萨温齐数学模型的输入分布与现阶段路子间的负KL差异。它保证防止当前路子聚合与萨温齐数学模型的输入相差无几的输入。对最终两个天数关键步骤i(i=n)，当数学模型获得整个全文S时，设计了两个总体奖赏项来衡量抽取的备选全文做为两个整体的质量。在第2.3节介绍了该奖赏机制。
2.3、总体奖赏表达式设计
传统的采用ROUGE分数的奖赏只考虑抽取的全文和参考全文间的n-grams重叠。它忽略了单词和语句层面的语法方面。笔者认为，奖赏表达式应该对语法进行代码，以引导全文数学模型输入两个良好的全文，从而达到人类的水平。为的是利用语法方面，下面公式中引入了两个总体的奖赏表达式，该表达式度量了两个高质量全文在不同层面的重要性。
其中、和为权重常数，是ROUGE打分表达式，考虑了关键词语法，捕获序列的语法。奖赏功能包括三个部分。ROUGE表达式对抽取的全文和参考全文间的单词重叠进行代码，采用此表达式直接强制萨温齐数学模型抽取与参考全文类似的重要语句。在语法上支持ROUGE表达式。这是因为ROUGE表达式只考虑n-grams重叠方面。在许多情况下，备选全文和参考全文的文字在字符层面是不同的，但它们具有相似的含义。因此，责任编辑设计了表达式来解决这个难题。最终，帮助萨温齐数学模型抽取与最终目标文件格式语法相似的序列。
2.4、URL奖赏表达式
为的是产生URL奖赏表达式,首先采用BERT嵌入短语，并利用余弦表达式计算嵌入向量间的相似度。接着原始文件格式D和全文S聚合两组URL、，对中的每个URL，在中找到最相似的URL。最终，透过所有相似性的平均值计算URL奖赏。
2.5、语句语法的奖赏表达式
由于只鼓励全文中出现类似的URL，因此不能保证整个全文的一致性。因此，责任编辑表述了语句语法的奖赏表达式以加强最终全文和参考全文间的语法相似性(即语法距离d)，语句语法奖赏表达式表述为公式：
其中S为最终全文，为参考全文，，避免除零。
2.6、体能训练与推理
萨温齐互联网数学模型经过体能训练以如上所述化路子，在RL体能训练过程中，采用PPO算法对路子进行强化。Adam强化器用于强化2.3节中的奖赏表达式。在推理时，数学模型选择体能训练路子预测概率最高的前m个语句最为备选全文语句，以形成最终全文。
三、全文效果
3.1、数据
裁判员公文样例：
参考全文样例：
3.2、效果
从实验中选取了两个结果进行观察，初步验证了有效。
总结
该文是本人在研究加强自学时的突发奇想，初步验证了引入合适的奖赏表达式来强化抽取式全文数学模型是有效的。仅作记录。
参考文献
[1] Stiennon N, Ouyang L, Wu J, et al. Learning to summarize from human feedback[J]. arXiv preprint arXiv:2009.01325, 2020.
[2] Ziegler D M, Stiennon N, Wu J, et al. Fine-tuning language models from human preferences[J]. arXiv preprint arXiv:1909.08593, 2019.
