机器学习关于词性标注的翻译

机器学习翻译姓名：陈伟

学号：20124227003

班级：01

机器学习的词性标注

摘要

我们应用统计决策树学习和自然语言处理解决形态语句的消歧问题。这个学习的过程是为了获得一个语言模型，来解决词性标注模糊的问题，在一些相关的文章中，词性标注组成了统计决策树的标签和一些单词。得到的决策树已经直接应用在标签中，这个标签相对简单而且效率较高，在华尔街语料库的精确测量中它得到了检测，价值得到了肯定。但是如果把决策树翻译成支持灵活标签的规则会得到更好的结果。在这个领域，我们描述一个标签是指它能够应用任何信息，特别是机器学习决策树。同时，在解决标签问题时，我们只有有限的培训材料，任何从无到有的建设过程中，标注语料库是至关重要的。我们发现，在这个学习体系中我们的系统可以获得更高的精度，并且可以在开发550万字的西班牙语料库中获得一些结果。

关键词：词性标注基于语料库的统计语言模型决策树归纳满意度约束松弛标签

1.简介

词性标注是一个非常基本的、众所周知的自由自然语言处理问题，这个问题是如何为文章中每个单词在文章的语境中分配正确的形态句法。它对许多自然语言处理问题都非常有用，例如：作为句法分析的前处理工具，信息检索和提取，从文本到语音系统，语料库语言学等。

习性标注的基础是很多单词相对于它们的标签是模糊的，而且在大多数情况下，这些单词可以通过考虑上下文消除歧义。例如表一中出现的句子，单词shot 通过前文将它理解成过去分词，这样就可以消除歧义了。虽然在这种情况下，单词的歧义可以简单的通过前面的标记来消除，但是前面的单词不明确的情况必须考虑，或者说上下文相对于前字的复杂程度是必须考虑的。此外，在一些例子中，仅仅通过上下文是不能够解决模糊性的，这就需要语义或是语法知识。表1如下：

1.1 现有的词性标注方法

使用标注的先驱是TAGGIT，布朗大学最早使用原始的标注，为了提高准确性和效率，人们做了许多的努力。现有的标注使用者可以根据他们所使用的知识分为三个主要群体：语言、统计和机器学习。当然，有些标注者很难进行分类，使用混合方法的人我们也要考虑。

在使用语言的方法中，编译系统所使用的规则是由语言学家来写的。这些语言模型的范围从几百到几千，他们需要付出数年的劳动。在这个领域，TOSCA 的工作和最近赫尔辛基大学对于约束语法的发展是最重要的。

现在大多数扩展的方法是统计的人做的（显然是因为有限的人的工作量）。基本上，它包括建立一个语言的统计模型并利用该模型消除单词的歧义。这个语言模型对不用的语言现象进行同频率的编码。

这种统计结果的获得通常是基于n-gram收集方法，即，一个可能长度为n 的句子通常是看它在训练预料中出现的频率。

在词性标注中，通常的模型是由bi-grams和tri-grams组成的。一旦n-grams 方法已经估计过了，新的例子可能被标注，通过选择最大概率的序列。这个技术是根据隐马尔科夫模型。虽然模型的形成以及决定模型序列可以通过几种方法，但是大多数系统将模型降解成uni-grams,bi-grams或者tri-grams。这个领域的开创性工作是CLAWS系统，它使用bi-grams信息并且是TAGGIT版本。这个系统在1988年被DeRose用动态编程进行了改进。Church的标注者使用了tri-grams 模型。其他的标注者试图减少估计模型所需要的训练数据，用Bsum-Welch重新估计算法，从一个小的手工语料库中反复提炼一个原始的模型。这是Xerox标注者和他的继任者所做的工作。对这个主题感兴趣的人可以通过Merialdo找到一个很好的概括。

其他的标注工作者可以定义在Schmid统计大家庭中，他们用神经网络实现了能源功能的优化。Chanod、Tapanainers和V outilainen代表了目前语言学和统计学之间的比较。

其他的工作方法和通过统计的方法比较接近。语音识别领域是非常有成效的，n-grams建模中使用语音识别比使用词性标注更早。最近，在这个领域中的工作不再限制建模模型，而是通过不同顺序的n-grams、形态学信息、长距离的n-grams或是触发对建立混合模型。在短期内我们可能会看到有一些方法和词性标注任务不一致。

尽管统计方法从训练语料中涉及某种学习，或是不确定性，但是我们只是在机器学习中替换掉那些比n-gram模型需要更多信息的模型。Brill标注者学习一系列能最好的修改错误的转换规则，Samuelsson,Tapanainen和V outilainen从cor-pora中获得了限制语法规则。我们这里展示的工作都是应用标记语料库的来的决策树，这些语料和其他的统计数据以及语言信息，在混合环境中通过轻松的技巧并越过约束规则被利用起来。

绝大多数的统计标记方式的报告精度超过了96-97%，而应用语言限制语法的精度超过了99%，允许剩余的每个单词有1.026个含糊不清的标记。这些精度值通常在还没有被训练阶段使用的测试语料上进行计算。一些语料库经常被用作

测试样本，它包括布朗大学，华尔街日报，柏林墙和英国国家语料库。

1.2 动力和目标

考虑到上面的精确度可能可想到词性标注是一个能被多数自然语言处理系统很好的兼容的已经解决的问题。因此，为什么还要浪费时间设计另外一个标记方式呢？精度0.3%的提升又意味着什么呢？

考虑的原因有几个，在自动标注方面还有许多工作要做。

当在处理巨大的运行文本，并考虑每句话的长度在25-30单词时，如果我们允许错误率在3-4%，那么每句话都会有错误。自从词性标注在大多数自然语言处理系统中成为了一个基本任务，每个句子中出现错误将会是一个严重的缺陷，特别是在考虑到这些错误可能线性增长时。其他的自然语言处理任务对词性标注消岐错误非常敏感，这一点可以在词性的域名消歧和信息检索中得到印证。

另外的一个问题是涉及到适应和调整时，已经从一个文本到另一个文本获得了参数标注，其中包含的文本可能来自其他的域，以尽量减少运输文本。

标注的精确度通常通过对测试语料库相同特性的测试来衡量。虽然，一直没有认真的努力对来自其他域中来的语料库或是不同的特征的可能性进行标注。

最后，当对不是英语的其他语言进行应用词性标注时的明确问题必须进行解决。除了来自一些特殊语言丰富的形态问题时，有一个更普遍的问题，这个问题的产生是因为训练缺乏大型的手动注释语料库。

虽然一个引导的方法能够通过使用低精度的为产生注释文本的标注得到实现，其中，低精度的标记可以用来反复训练标记并学习一个更高精度的模型，这种方法的有用性在很大程度上依赖于再训练材料的质量。因此，如果我们想保证低噪声的再培训语料库，我们必须提供一个无论是对于已知或是未知的单词并且应用一个小的高质量的语料库都能得到更高精度的方法。

在这个方向上，我们参与了一个为西班牙和加泰罗尼亚语料库进行标注并且限制了语言来源的的项目。为了具有可比性，我们对一个参照的英语语料库进行了实验。我们也汇报了通过应用目前的技术对西班牙语料库进行注释所取得的成果，证明了投入相当低的劳动成本也可以达到很好的精度。

本文的结构如下：在第二部分描述应用领域，语言模型的学习算法和模型评估。第三和第四部分我们通过两个标记描述语言模型的应用。包括：一个基于标

记的决策树，一个基于标记的简单标签。在使用一个小的训练语料库并联合使用两个标记来注释在第五部分提到的西班牙语料库的特殊情况下比较它们的结果。最后，将会在第七部分写得出的主要结论，以及对以后工作的展望。

2 语言模型的获得

为了让一个计算机系统来处理自然语言，那这种语言用某种方式建模就是必须的，用这样一种方式，它们可以被用来预测或识别语言在将来的应用。罗森菲尔德在1994定义了语言模型的第一个特点就是捕捉自然语言的规律，他还从目前大量的可变和不确定的自然语言的处理中指出了建立模型的需要。

正如第一方部分中描述的那样，语言模型可以手写，也可以通过统计或是秋机器学习得到。在本文中，我们展示了机器学习模型和统计学习模型的应用。同时也包括对手写模型的测试。

2.1 训练语料和词形词汇的说明

我们已经使用了117万字的华尔街日报的一部分，根据Penn标记规则进行标记，来训练和测试系统。它的功能有以下几个方面。

这个标记的设定包括45个不同的标记。语料库中36.5%的单词是模糊的，歧义比是模糊单词中每个单词有2.44个标记，整个单词的歧义比是1.52。

文献包含243种不同的歧义类，但是它们不是都很重要。事实上，最常用的40种歧义类在文献中占据的比例是83.95%，而194种最常用的歧义类则几乎涵盖了它们的全部。

训练文集被用来一个词汇，对于每49206个输入将它和每个单词的出现的频率联系起来。通过统计每个应用不同标记的单词在文集中出现的次数来估计概率。这条简单的信息为每个简单的消歧算法提供了一个启发，根据词汇的可能性来选择它最可能的标记以此组成消岐算法。请注意，这样的一个标记不使用任何和上下文相关的信息，仅仅只是考虑单个词汇出现的频率。图1显示了这种方法在华尔街日报中对不同的训练语料的性能。

报告中涉及到模糊单词的数量可以被任何一个标记当做下界。更加特殊的是，对于一个超过40万单词的训练语料来说获得的准确性是81-83%。但是，想简单的通过增加更多的语料来更有效的估计词汇是不合理的。

由于文集注释的错误，词汇的结果会有一定量的噪声。为了减少这种噪声，

通过对文集中最常用的200个单词的检查来进行过滤，其中，这200个在文集中最常用的单词代表了文集的一大半。基本单词的原始词汇条目是：它在文集中以六个不同的词性标记出现，包括：CD,DT,JJ,NN和VBP。很显然只有唯一一个是正确的。

2.2 学习算法

从一系列标记中为一个单词在特殊的上下文中选择合适的标记这种方法可以被当做一个问题的分类。在这种情况下，用标记进行分类。决策树在最近的几个自然语言处理任务中得到应用，例如词性标注，语法分析，精度消歧以及信息提取都很适合应用决策树。

2.2.1 歧义类和统计决策树

根据对可能可能标记的设置对文章中出现的所有单词进行标记是有可能的。我们把这些设置叫做歧义分类。很显然在这写分类中有一个包含关系，以此整个歧义类的设置应该被看成是用DAG结构的分类。第二部分展示了这种结构以及包含关系的一部分，摘自华尔街日报。

用这种方法我们可以针对每一个歧义类将词性标注问题分割成一个分类问题。

相比于通常的机器学习中的分类我们确定了一些显著的特点。首先，必须有大量的训练例子：一棵树要有超过60000个例子。第二：在训练和测试数据中要

有显著的噪音，华尔街日报语料库大约包含2-3%的错误单词。

上述特征的主要结果是：简单的根据上下文不能解释所有的模糊的内容，也就是说不能用决策树来对训练例子进行完整的分类。相反，我们渴望根据通过单词在上下文中出现的特殊上下文内容的可能的标记来获得它们调整的概率。因此我们将会使用统计决策树而不是常用的决策树。

我们用来构建统计决策树的算法是TDIDT中一个从实例进行学习的非增量的算法。在实例信息的引导下它用自上而下的方法构建决策树。

2.2.2 训练集和属性

对每一个歧义分类的实例都是通过从训练语料中出现的属于这分类的所有单词来组建。对于单词属性的设置是为了消除歧义，其中描述的例子涉及到语音标签和单词的正交特性。

对于常见的歧义类的属性集包括一个涵盖3个左边标签和2个右边标签的窗口，最后一组属性的设置在词行和经验的基础上决定好了。表2显示了训练样例中的单词可以是借词和副词。

为了处理特殊的歧义分类设置了新的书写特点，也就是说对于未知的内容将在接下来的章节中进行介绍。参见表3，对整个属性的设置进行了描述。

带有多值的属性是根据它的最高频率来动态调整属性值的数目，并且加入一个新的属性值。为了有更均匀的属性，值的最大数目固定在45。

2.2.3 属性选择的功能

测试了几个属性的选择的功能，包括：基尼多样性指数，Quinlan的收益效率，RELIEF-F，但它们没有显著的区别，我们用一个属于以信息理论为基础的范畴的属性选择方法，该方法比其他的方法有更高的稳定性，这证明了无偏属性估计能生成最小代价树，同时不会失去精确度。粗略的说，它定义了一个分区之间的测量距离，并选择分支的属性，产生最近的正确的分区，即一个完全分类的数据。

以X来举一个例子，C是类的集合，P是X根据C值设定的分区。所选择的属性将是X对于P的一个最近的分区。我们需要确定分区的长度。设P（X）是根据属性值设置的X的分区。分区的信息如下：

其中P(X,a)是X中具有属性值a的元素的概率。此信息计量反映了X中具有属性A的元素在区间中随机分布的情况。如果我们现在以属性A和B考虑考虑两个不同的区间，我们可

以得到：

我们很容易测量距离

标准化后，我们得到在0到1区间的值。最后，选定的属性是最大限度减少了标准化距离的值

2.2.4 分支策略

在处理离散属性时，通常TDIDT算法考虑所选属性的每个值的一个分支。但是，还有其他的可能性。例如，一些系统执行以前的属性值来获得二进制属性值。考虑效率（只处理二叉树具有一定的优势），避免过多的数据碎片（当有大量的属性值时）。尽管这种属性的转变是经常有可能发生的，而且得到的属性值失去了它们的直接的意思，并且在数量上变得很大了。我们选择一个分离所有值的混合方法，并把它加入到分组中，对于分组我们有足够的数据来证明它们的分布有不同。对统计数据用进行测试，得到95%的置信水平，为避免零概率我们在测试过程中用平滑的数据。

2.2.5 修剪树

为了降低过拟合，我们应用后修剪技术。首先树被完全展开，然后用训练集的最新的一部分对它进行修剪。另一种方法是：用最新的语料平滑叶子的概率分布，修剪掉多余的叶子，因为我们希望减小树的规模。实验数据表明在我们领域中，我们将树的规模减小到了它原来的50%并且将准确性提高了2-5%。

2.2.6 举例

最后，在了解有明确语言解释的类IN-RB后我们提出了一个决策树分支。

在第三部分中我们可以看到，从叶子到根的每一个编码在具体属性和概率分布上都有一

个问题。在根中它是类的事先概率分布。在其他的节点中，它代表了前节点的对所提问题的答案的概率分布。例如第二个节点说单词as相对于用作副词它通常用作介词，但是叶子节点说单词as肯定是副词，当它出现在另一个副词和介词前面的时候。

3.树标记器：一个基于树的标记

使用在前文中提到的模型我们在约束语法的意义上还原标记。在初始步骤中一个频率辞典从训练语料中形成，其中，训练语料为每一个输入的单词以它们可能出现的词汇形式提供所有可能的标记。在这之后，一个迭代的过程在每个步骤中都减少了歧义，直到达到一定的满意标准。整个过程在第四部分都展示了。参见表4可以看到表1中的句子的一部分的真实消歧过程。

更特殊的是，在每一个步骤中对每一个模糊的单词完成的工作是：

1.使用相应的决策树对单词进行分类。在分类的过程中上下文（或左或右）的模糊性可能为问题节点产生多个答案。在这种情况下，所有的路径都是可以的并且结果是所有路径的加权平均值。每个路径的权重实际上是它的概率，这个概率是根据路径中节点词性标记的概率来计算的。

2.使用所得到的概率分布来更新单词的概率分布。通过简单的乘以每个从树种得到的新的概率来更新概率

3.丢弃概率几乎为零的标签，即，低于一定边界数的概率。

另外很重要的一点就是确定一个适当的停止标准，因为过程是启发式的，收敛性得不到保证，但这不是在试验中的情况。第一个实验似乎表明性能上升到一个唯一的最大值然后随着迭代次数的增加值会减少。Padro研究这种现象，出现这种现象的主要原因是训练预料的噪声和测试规则。为了简单起见，在接下来的试验中迭代次数固定到三个。尽管这看起来是个武断的决定，但是广泛的实验似乎表明这个结果就精度和效率来说有很好的标记效果。3.1 用树标记

我们把华尔街日报语料分成两个部分：1120000个单词用作训练/修剪，50000个单词用来作为一个新的测试集。我们使用2.1节描述的训练语料中的一个词汇，它对每一个单词含有所有可能的标记以及词性概率。对于没有出现在训练预集中的测试语料，我们存储这些单词在训练集中所有的标记，但不包括词法概率。与这种假设对应的方法，有一个词法分析器为未知的单词提供所有可能的标记。在接下来的试验中我们将用一个不是很正规方法来作用于未知的单词。

从243种歧义分类中算法得到了194棵树并且需要500KB存储空间。学习算法在64Mb的主存上运行了12个CPU周期。表5的前四行包括了10棵最具代表性的歧义分类树的信息。它们指出了用来学习一颗树的例子的所有数量，树的节点的数量以及超过修剪样例数量的分类错误数量。最后的一个数字可以作为当在使用树标记时树的估计错误的数量，尽管它不是非常的准确，在修剪样例中临近的标记从监督注释给出了正确的标记，但在左右上下文的标记中可是模糊

的。

标记算法在SUN-UltraSparc2服务器上运行，以每秒大于300个单词的速度进行测试。从所得到的结果可以看出，它在不同的粒度级别上。

学习到的树的一些性能在表5的组后两列展示出来了。相应的歧义分类中一棵最常用的标记树集中了62.5%的错误标记。TT列显示了错误标记的数目和百分比。从表中一方面我们可以看到错误率的显著减少，另外一方面它在找问题方面也有很大的用处。此外，JJ--NN 这两列看起来是最难的歧义分类，因为相关的树从MTF标记中只能少量的减少错误。这并不是很奇怪，因为在形容词和名词之间进行消岐语义知识是必要的。DT-IN-RB-WDT歧义类反映了树的泛化性能估计，估计错误率为6.07%远低于12.08%，其中12.08%可以表示一个问题超过了修剪的必要。

全局的结果如下：当强调一个完整的消岐的准确性必须达到97.29%时，剩余的歧义部分的正确性将会增加到98.22%，每个歧义单词1.08个标记超过了整体1.026标记/单词的水平。换句话说，每个单词仍有2.75%的歧义概率。Marquez表示这些结果和最先进的自动模型产生的标记结果一样好。

另外，在图5中显示了随着训练语料的增加我们可以获得的结果。所有的单词都进行了精确的计算。同一图中包括可以被看做参考基线的MTF的结果。

直观上看，随着训练语料的增加精确度也在增加。正如前面所指出的那样，最大值是在97.29%。一种更简单的来评估类的分类概率的质量的方法是计算一条拒绝曲线。就是绘制一条测试中显示正确分类比率的曲线，其中要求测试样例的置信水平要超过给定的值。在统

计决策树中，这个置信水平可以直截了当的计算出树的叶子的分类概率。

在我们的例子中我们计算了置信水平在最有可能的两种情况下概率之间的差异（如果差异很大，被选择的分类明显比另外一个分类要好；如果差异不大，则被选择的类和另一个类在伯仲之间）。拒绝曲线平滑上升，表明由分类器产生的置信水平可以转化为一个准确的概率测量。

分类的拒绝曲线如图6所示，它平滑的上升，表明获得的统计决策树提供了好的置信水平。这和前面由不需要低置信水平的标记产生的积极结果紧密相连。

3.1 未知的单词

未知单词是指那些没有在词典中出现过的单词（在我们的例子中是指没有在训练预料中出现的单词）。在之前的试验中，我们没有考虑未知单词的概率。相反，我们假定用一个形态分析器提供可能的具有均匀概率分布的标记设置。但是，这不是最现实的情况。首先，一个形态分析器不是经常有的（因为效率的某些要求或是缺乏资源导致处理的语言形态太简单）。其次，即使有效也很有可能有一些错误率，使得需要去考虑噪声。因此，很显然为了获得关于标记实际性能更加真实的数字我们需要处理未知的单词。

处理未知单词有几个方法。一方面，可以假设未知的单词可能会用任何标记，不包括那些和封闭的类别相对应的标记，并尽量在为它们消除歧义。另外一个方面，其他的方法包括预处理，即去猜测每个未知单词的候选标记的设置。Padro 为这种方法提供了详细的解释。

在我们的例子中，我们考虑未知的单词，它们属于包含所有和开放分类对应的可能标记的歧义分类。候选的标记数达到了20种，因此我们用20种不同的类来表述一个分类问题。我们估计出现在华尔街日报中未知单词的比例，并且我们根据这些比例从训练预料中收集例子。最常用的标记NNP几乎占了样品的30%。这实际上在这个领域降低了30%的准确度约束（即一个频繁使用的标签即将获得的性能）。

我们使用关于未知单词上下文的非常简单的信息来提高精确度。特别的，从17个可能的属性值开始，根据经验我们做出判断，如下所示：

1）在词形方面：第一个字母，最后三个字母，其他四个二进制属性决定这个单词是否是多字。2）在上下文中：只有前述和后序记，这组属性在表3中进行了充分的描述。

表6显示的是从拥有50000个单词的训练样例中得到的树的泛化性能。为了比较这些数字我们在一个相近的系统上进行了试验，在同样的条件下进行了精确的测试。

IGTREE系统是一个基于词性标记的内存，它存储了所有的训练样例，然后从保存在存储器中的最相似的情况来为每个新的单词在上下文中进行推断。这里介绍的工作的主要连接点是大的例子都基于树的索引，通过使用生程的分类树进行算法的检索。此外，这些树的构造都基于先前用Quinlan的收益效率决定的属性（为了消岐而确定的上下文和背景的属性）权重的分配。

请注意，最终的修剪步骤由IGTREE来完成，在我们的版本中甚至提高了压缩因子。表6中也包含了IGTREE的结果。图7和图8包含了和结果相关的描述。

在测量泛化性能和尺寸的质量时，可以看到我们应用的系统能够比IGTREE产生更好的结果。一方面，在图7中我们可以看到我们的泛化性能更好。另外一方面，图8似乎表明在这两种情况下节点数目的增长都是线性的，但很明显都比我们的低。规模小的很重要的一个方面是合并的属性值和在算法中使用的后修剪。实验的结果表明在没有减少整体准确性的情况下树的大小减小到了50%。

之所以有更好的结果可能是IGTREES实际上不是决策树，而仅仅只是一个基于拥有加权检索算法的树的压缩形态。属性值的描绘和权重的分配让我们想到IGTREES是决策树，这棵树可以通过用一个非常简单的属性选择功能而实现的自上而下的归纳算法来确定，其中，归纳算法由用Quinlan的效益对所有的例子和根据顺序对属性的选则来唯一排列之前的属性值。

当然，这些结论必须在小的训练树中进行采集，如同图7所示的那样训练样例增加则两种方法的不同度会减少。用训练选择更大的语料库可以显著的提高结果。另外，Dadlemans 在对整个华尔街语料库的未知单词进行实验时报告了90.6%的准确率。因此，我们的结果在系统需要更少的资源而获得相同结果的情况下是更优的。请注意，使用相同的训练规则得到相同的结果。他们用2M的单词量获得96.4%的正确率，而我们仅仅用1.2M的单词量就获得97%的准确率。