中文信息处理

中文信息处理技术浅谈

摘要：随着科学技术的发展，中文信息处理已经深入到了社会生活的各方面。广泛的应用对中文信息处理技术也提出了较高的要求。本文从主流技术、新技术展望等，对中文信息处理技术进行了初步探索。

关键词：中文信息处理N元模型语音识别词性标注

中文信息处理是中文（包括汉语和少数民族语言）语言学和信息技术的融合，它是一门用计算机对汉语(包括口语和书面语)进行转换、传输、存贮、分析等加工的科学。中文信息处理与语言学、计算机科学、心理学、数学、控制论、信息论、声学、自动化技术等多种学科相联系，是自然语言信息处理的一个分支，需要以大量的语言知识、背景知识为依据，对中文信息的人脑处理过程进行模拟。其中，“中文”是指中国通用的所有语言种类，包括汉语及其他少数民族的语言:但一般都是指汉语。“信息”是指能通过视觉、听觉、嗅觉、味觉、触觉等器官或仪器获取，并有一定交际功能的东西，“信息”是不确定性的减少，是负熵。所谓“处理”，是指用计算机对信息进行各种加工，主要的是图像信息和语言信息的识别、模拟、分析、转换和传输。

一、中文信息处理的特点及难点

中文信息处理在许多方面有自己的特点。

1、汉字的特殊性

西方语言只有几十个字母。而汉字由于数量大且字形复杂,也给计算机处理带来了困难。汉字信息处理是中文信息处理的关键和基础,包括汉字信息的输入、汉字信息的加工和汉字信息的输出等方面,其难点是汉字编码问题。根据在汉字信息处理过程中的不同要求,汉字有多种编码,主要可以分为四类,即汉字输入编码,汉字标准编码,汉字内码和汉字形码。

2、书面汉语的特殊性

书面汉语中,词跟记号之间没有分隔标记,自动分词成为书面汉语分析的第一道难关。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。在英文的行文中,单词之间是以空格作为自然分界符的,而中文只是字、句和段可以通过明显的分界符来简单划界,唯独词没有一个形式上的分界符,虽然英文也同样存在短语的划分问题,但是在词这一层上,中文比之英文要复杂的多、困难的多。

3、汉语语音的特殊性

汉语语音的特点是音节结构简单,音节界限分明,但有声调和变调等问题,对于语音识别和语音合成来说,既有有利的一面, 也有不利的一面。

4、汉语语法的特殊性

汉语形态贫乏,难以凭借形态来确定词的句法功能,词序和虚词是主要的语法手段,句法歧义特别复杂,使得汉语语句自动分析这一关键技术迟迟不能取得

突破。

另外，现有的自然语言处理理论和技术大多都是以英语为研究对象语言发展起来的。而汉语无论在语音、文字表示，还是在词汇、语法、语义及其语用等各个层面上，都与之存在着很大的差异。这使得无法直接套用西方已成熟的理论和技术，汉语无疑是计算模型比较不发达的语言。这对从事中文信息处理的研究者来说是一个巨大的挑战和压力。

二、中文信息处理的主流技术

中文信息处理技术从70年代的蓬勃发展至今，仅仅经历了短短20多年的时间，便完成了由初级阶段向比较成熟阶段的过渡，这是微电子技术和IT技术高速发展以及迫切的应用需求所促成的。

中文信息处理技术处于初级阶段的主要特征是以研究为主。在70～80年代，国内曾出现汉字输入方法研究千军万“码”的局面，上千种输入方法应运而生。在汉字字型方面，从15×16点阵到256×256点阵，仿宋、宋、楷、黑等各种字体不断涌现，以CCDOS为代表的20余种汉化DOS不断出台，各具特色，联想汉卡、巨人汉卡、四通汉打等曾风靡一时。

从90年代初开始，中文信息处理技术开始进入比较成熟的阶段。其主要标志是初步实现了“四化”，即标准化、一体化、工程化和产品化。

标准化是指国家相应出台了一系列有关中文信息处理方面的标准。如GB2312-80、GB5007等30余项汉字信息交换码及汉字点阵字型标准，以及GB130001、GB16681/96大字符集和开放系统平台标准等。汉字输入法也在经历了大浪淘沙之后趋于集中。

一体化是指中文信息处理多项技术实现了有机、合理的结合。如软硬件技术的结合、输入输出技术的结合、多领域成果的结合。

工程化、产品化是指中文信息处理解决了在大规模应用、大规模生产以及市场营销中出现的问题。如规范性、可靠性、可维护性、界面友好性及各环节的包装。

经过20多年的努力，我国在中文信息处理方面已取得了十分可喜的成绩，在某些方面的研究已处于世界领先。如北大方正的激光照排技术，其市场份额独占鳌头。汉王公司的手写汉字识别技术及产品，在经历了1996年和1997年的“春秋争霸”之后，超过了实力强大的摩托罗拉的“慧笔”和台湾的“蒙恬”产品，占据了最大的市场份额，它不仅与各种电脑捆绑销售，据悉，最近汉王还与微软签约，将汉王笔输入法作为Windows CE的标准输入接口软件，为其下一步在手持计算机方面的销售铺平了道路。此外，清华文通、紫光OCR也是赫赫有名。在中文平台方面，中文之星和四通利方顽强地与微软争夺市场份额，说明国内产品已具有相当的技术实力。在Internet上，新浪中文网站已成为世界上最大的中文搜索引擎。汉仪、中标、中易的汉字库名噪海内外，湖南华天公司研制的具有10万汉字的曲线汉字库创世界之最。另外，由国家语委和二炮二所研制的7000万字现代汉语语料库也已基本完成，首批将颁布2000万字语料库投入社会应用。国家“863”和国家“九五”预研工作在智能中文人机接口、跨平台中文处理、中文

虚拟平台、中文浏览器、中文文本处理等方面的研究也都取得了令人鼓舞的进展。

目前，中文信息处理的主流技术主要有：

1、N元模型

设wi是文本中的任意一个词,如果已知它在该文本中的前两个词wi-2w-1,便可以用条件概率P(wi|wi-2w-1)来预测wi出现的概率。这就是统计语言模型的概念。一般来说,如果用变量W代表文本中一个任意的词序列,它由顺序排列的n 个词组成,即W=w1w2...wn,则统计语言模型就是该词序列W在文本中出现的概率P(W)。利用概率的乘积公式,P(W)可展开为:

P(W) = P(w1)P(w2|w1)P(w3| w1 w2)...P(wn|w1 w2...wn- 1)

不难看出,为了预测词wn的出现概率,必须知道它前面所有词的出现概率。从计算上来看,这种方法太复杂了。如果任意一个词wi的出现概率只同它前面的两个词有关,问题就可以得到极大的简化。这时的语言模型叫做三元模型(tri-gram):

P(W)≈P(w1)P(w2|w1)Πi(i=3,...,n P(wi|wi- 2w- 1)

符号Πi i=3,...,n P(...)表示概率的连乘。一般来说,N元模型就是假设当前词的出现概率只同它前面的N-1个词有关。重要的是这些概率参数都是可以通过大规模语料库来计算的。比如三元概率有

P(wi|wi- 2wi- 1) ≈count(wi- 2wi- 1wi)/count(wi- 2wi- 1)

式中count(...)表示一个特定词序列在整个语料库中出现的累计次数。

2、语音识别

让人与计算机自由的交谈,机器能听懂人讲话,是语音识别技术的最终目标。语音识别技术所设计的领域包括:信号处理、模式识别、概率论和信息论、发声机原理和听觉原理、人工智能等。

语音识别技术主要包括特征提取技术、模式匹配准则和模型训练技术3个方面,另外还涉及到语音识别单元的选取。

关于语音识别单元的选取,对于大中型词汇量汉语语音识别系统来说,以音节为识别单元基本是可行的。

关于特征参数提取技术,语音信号中含有丰富的信息,这些信息称为语音信号的声学特征。特征参数提取技术就是为了获得影响语音识别的重要信息,特征参数应该尽量多的反映语义信息,尽量减少说话人的个人信息。

关于模式匹配以及模型训练技术,模型训练是按照一定的准则,从大量已知的模式中获取表征该模式本质特征的模型参数。模式匹配是根据一定准则,使未知模式与模型库中的某一个模型获得最佳匹配。其实,语音识别任务可视为对以下条件概率极大值的计算问题:

W*= argmaxW P(W|speech signal)

= argmaxW P(speech signal|W) P(W)/P(speech signal)

= argmaxW P(speech signal|W) P(W)

式中数学符号argmaxW表示对不同的候选词序列W计算条件概率P(W|speech signal)的值,从而使W*成为条件概率值最大的词序列。它也就是当前输入语音信号speech signal所对应的输出词串了。

公式第二行是利用贝叶斯定律转写的结果,因为条件概率P(speech signal|W)比较容易估值。公式的分母P(speech signa)对给定的语音信号是一个常数,不影响极大值的计算,故可以从公式中删除。在公式第三行所示的结果中,P(W)叫做统计语言模型；P(speech signal|W)叫做声学模型。

3、词性标注

用计算机软件标注文本中每个词的词性或义项。这两种标注都是多中选一的问题,关键是如何处理兼类词或多义词。词性标注为句法分析做铺垫, 语义标注为词义结构分析打基础, 关键是如何处理兼类词或多义词。词性标注为句法分析做铺垫,语义标注为语义结构分析打基础。跟西方语言相比,汉语词性标注的主要困难是缺乏形态,词类判定基础根据词的已实现的句法功能,对上下文的依赖特别严重。汉语的自动分词和词性标注的精确率,将直接影响到后续的句法分析结果。据观察,在汉语句法分析结果中,有高达60%的分析错误来源于分词和词性标注的错误。

在英语的词库中约14%的词形(type)具有不只一个词性,而在一个语料库中, 总词次数(tockens)中约30%是兼类词。从这个统计数字中可以估计出词性标注任务的难度。历史上曾经先后出现过两个方法迥异的英语词性标注系统: TAGGIT 系统拥有3000条上下文相关规则, 而CLAWS系统完全采用概率统计方法。两个系统各自完成了100万词次的英语语料库的自动词性标注任务。评则结果表明,采用概率统计方法的CLAWS系统的标注精度达到96%,比TAGGIT系统提高了近20个百分点。经过改进的CLAWS系统日后承担了英国国家语料库BNC一亿条英语词的词性标注任务。

具体来说,CLAWS系统采用的是词类标记的二元模型。如果令C = https://www.360docs.net/doc/785137296.html, 和W = w1...wn分别代表词类标记序列和词序列,则词性标注任务可视为在已知词序列W的情况下,计算如下条件概率极大值的问题:

C*= argmaxC P(C|W)

= argmaxC P(W|C)P(C)/P(W)

≈argmaxCΠi i=1,...,n P(wi|ci)P(ci|ci- 1)

P(C|W)表示:已知输入词序列W的情况下,出现词类标记序列C的条件概率。数学符号argmaxC表示通过考察不同的候选词类标记序列C,来寻找使条件概率P(C|W)取最大值的那个词序列W*。后者应当就是对W的词性标注结果。

公式第二行是利用贝叶斯定律转写的结果，由于分母P(W)对给定的W是一个常数，不影响极大值的计算，故可以从公式中删除。接着对公式进行近似。首先，引入独立性假设，认为词序列中的任意一个词wi的出现概率近似，只同当前词的词性标记ci有关，而与周围(上下文)的词类标记无关。即词汇概率

P(W|C) ≈Πi i=1,...,n P(wi|ci)

其次,采用二元假设,即近似认为任意词类标记ci的出现概率只同它紧邻的前一个词类标记ci- 1有关。因此有:

P(C) ≈Πi i=,...,n P(ci|ci- 1)

P(ci|ci- 1)是词类标记的转移概率, 也叫做二元模型。

上述这两个概率参数也都可以通过带词性标记的语料库来分别估计:

P(wi|ci) ≈count(wi,ci)/count(ci)

P(ci|ci- 1) ≈count(ci- 1ci)/count(ci- 1)

顺便指出，国内外学者用词类标记的二元或三元模型实现的中、英文词性自动标注都达到了约95%的标注精确率。

4、句法分析

句法分析的主要任务是给定一个输入句子,以语言的语法特征为主要知识源,生成一棵短语结构树,通过树的形式指明输入句子各部分之间的关系。其研究的主要内容包括:句子中包含哪些语句；每个语句的句法范畴是什么；句子中更大的成分是什么,句子中包含哪些短语或词组；句子中各成分或短语怎样组合或附着而构成整个句子的句法结构。句法分支中的线图分析法的基本思想是查看任意相邻几条边上的词性串,是否与某条重写规则的局部相同；如果相同,则增加一条新的边跨越原来相应的边,新增加边上的标记为这条重写规则的头(左部)。重复这个过程,直到没有新的边产生。采用的数据结构:

(l)线图chart保存分析过程中已经建立的成分(包括终结符合非终结符)、位置(包括起点和终点)。通常以n×n的数组表示,其甲n为句子包含的词数。

(2)代理表(待处理表)Agenda记录刚得到的一些重写规则所代表的成分,这些重写规则的右端符号串与输入词性串(或短语标志串)中的一段完全匹配。通常以栈或线性队列表示。

(3)活动边集ActiveArc记录那些右端符号串与输入串的某一段,但还未完全匹配的重写规则。通常以数组或队列存储。

三、中文信息处理新技术展望

新的电子设备和新的市场需求，促进了中文信息处理诸多新技术的发展。

1、汉字字库

汉字字库主要包括点阵、矢量和曲线轮廓三种。经过多年的努力，在国家信息标准委员会推出相应点阵字型标准、Windows 95中文版安装了国产的基于20902个GB汉字的True Type字库及汉仪等公司推出了高质量PS字库之后，造字工作趋于平稳。随着移动电话、POS等电子产品的出现，市场急需小于15×16点阵的小点阵显示字库。由于在小点阵下的某些汉字难免缺笔画，因此，如何确保用户既可识别又不失汉字的规范，这里有许多问题需要解决。

目前，由天辰公司研制的8000多字11×12汉字点阵字库已通过国家语委审查，并已用于日本三菱公司的移动电话中。

另一方面，随着多媒体、电子印刷技术的发展，市场需要各种字型的高质量曲线字。如果采用传统的手工制作方法，其周期长、一致性差，难以满足各方面的需要。近年来，日本采用自动生成方法构造汉字，这值得关注和研究。他们首先构造一些基本笔画，而后寻找某种字型的构字规则（如重心位置、密度特征、骨架特征、结构特征等），再根据这些特征在单线体汉字基础上自动生成相应的曲线汉字，并确保精度误差小于视觉误差。

2、数字输入方法

以数字为基础的计算机汉字输入方法在我国早有研究。近两年来，随着移动电话、信息终端等电子设备需求的增强，这方面的研究又成为热点。目前，数字码输入技术大体可分为三类，即基于笔画的，主要有J10、字原、五笔、笔画码等；有基于拼音的，如智能拼音数字码、双拼数字码等；还有将音码与形码结合的，如清华亚奥等。与大键盘相同，数字小键盘的编码主要源于“音、形、义”三个方面，由于“义”缺乏直观性，多用于智能处理；“音”码比较直观易学，但受地方发音限制，且对不识别的字和大字符集无能为力；目前数字编码主要以“形”码为主，由于输入键位大大减少，必然带来码长和重码率增加，而要降低这两点，研究的难度则陡然加大。

目前的主要问题还不在于此。由于国外著名公司的参与，数字输入方法你争我夺，局面逐步形成，如不尽快加以规范，必然要走到过去编码大战的老路上去。现在一些以形为主的数字码不遵循国家已颁布的《现代汉语通用字笔顺规范》和《信息处理用GB13000.1字符集汉字部件规范》，任意定义基本笔画基元的顺序。如有的移动电话采用了T9数字码，有的则拟采用原数字码，而这些编码的基本笔画基元的构成与顺序各异。因此，国家应尽快制定“信息处理用数字符对应的汉字基本构字单元”标准，在此基础上可以百花齐放，经过一段时间的发展再逐步实现统一的标准，同时赋予与汉语拼音同等的地位，实现音有音的标准，形有形的规范，并与小学生识字教育相结合。

3、机器翻译

随着网络应用的日益深入，人们对机器翻译的需求也日益增强。目前，Internet上的信息绝大多数是英文，中文数据不到1％，对各种外文资料实现实时翻译是人们所期盼的。然而，这些对机器翻译来说，除了在算法上要有新的突破外，对汉语词库、语料库、语义理解等方面都有一系列新的要求。对英汉机器翻译来说，需进一步攻克一词多义、结构歧义、语义歧义等难题；汉英机器翻译的难度则更大，这主要是由于汉语词类无形态变化（如单复数、时态、语态等），同一词类担任多种语法成分，使汉语到英语的转换和英语的生成实际是单词膨胀、信息增加的过程。这里仅分析了英汉、汉英翻译，对于其他语言翻译则存在各自不同的难点，针对专门应用（如旅游），搞一些受限范围的自动翻译软件和硬件产品是当前的热点。

4、智能接口

计算机的非键盘输入多年来一直是人们所希望的，被认为是国人使用电脑的

一大瓶颈。非键盘输入就是指通过语音识别、手写识别和光学字符识别手段来实现汉字输入。由于大量采用人工智能技术，故统称智能接口。在语音识别汉字输入方面，IBM的产品占有主导地位，微软中国研究院也将语音识别和自然语言理解作为主攻方向。Intel虽然没有推出具体的语音识别产品，但却提供了一个高性能语音函数库，该函数库包括信号处理库、识别库和数学核心库，大力支持众多应用开发者聚集在Intel的架构之下。

对语音识别来说，硬件的进一步微型化、连续语音识别、噪声背景下的语音识别以及汉语口语理解等都是亟待解决的难点。汉字OCR技术目前已经比较成熟，如清华TH-OCR 97系统，对中等质量样本的识别率已达99％左右，下一步需要解决的技术除进一步提高识别率外，就是增强鲁棒性。对于手写汉字识别虽已出现了像汉王笔这样的拳头产品，但仍有漫长的攻关之路要走。笔输入最大的瓶颈就是字与字间书写的停顿，错字的原因绝大多数是因为多部首的汉字写得慢了，被分了家，或字与字间的停顿太短，将两个单部首的字捏到了一起。非特定人脱机手写汉字识别的困难则更多，可以说目前尚处于实验室研究阶段。现阶段人们采用的识别方法主要包括：结构模式识别法、统计模式识别法、统计与结构相结合的识别法以及人工神经网络识别法等。预处理、特征抽取与分析、识别字典的生成与分类器设计、单字识别后处理等技术是当前的研究热点，人们渴望在算法和理论上有新的重大的突破。

四、结束语

随着信息技术在我国社会生活各个领域应用的深入,中文信息处理正在成为人们工作和生活中不可或缺的手段，中文信息处理将具有更加广阔的市场。这将促使中文信息处理方面的高效中文搜索引擎、实时机器翻译、大规模中文文本处理、跨平台中西文自动识别转换、泛中文语义理解、中文电子商务等技术实现重大突破。中文信息处理已成为我国信息技术研究、发展、应用和产业的基础，在互联网日益成长的今天，中文信息处理技术将会更加成熟并创新。

参考文献

[1] 王建会.中文信息处理中若干关键技术的研究.复旦大学博士论文,2004.

[2] 李英.浅谈对中文信息处理的认识.人工智能及识别技术,2008.

[3] 冯志伟.汉字和汉语的计算机处理.当代语言学,2001.1.

[4] 黄昌宁.中文信息处理的主流技术是什么?.计算机世界报,2002.