MIT自然语言处理第二讲 单词计数_光环大数据培训

https://www.360docs.net/doc/6918553749.html,

MIT自然语言处理第二讲单词计数_光环大数据培训

分词相关

a) Tokenization

i. 目标（Goal）：将文本切分成单词序列（divide text into a sequence of words）

ii. 单词指的是一串连续的字母数字并且其两端有空格；可能包含连字符和撇号但是没有其它标点符号（Word is a string of contiguous alphanumeric characters with space on either side; may include hyphens and apostrophes but no other punctuation marks (Kucera and Francis)）

iii. Tokenizatioan 容易吗（Is tokenization easy）?

b) 什么是词（What’s a word）?

i. English:

1. “Wash. vs wash”

2. “won’t”, “John’s”

3. “pro-Arab”, “the idea of a child-as-required-yuppie-possession must be motivating them”, “85-year-old grandmother”

ii. 东亚语言（East Asian languages）:

1. 词之间没有空格（words are not separated by white spaces）

c) 分词（Word Segmentation）

i. 基于规则的方法（Rule-based approach）: 基于词典和语法知识的形态分析（morphological analysis based on lexical and grammatical knowledge）ii. 基于语料库的方法（Corpus-based approach）: 从语料中学习（learn from corpora(Ando&Lee, 2000)）

iii. 需要考虑的问题（Issues to consider）: 覆盖面，歧义，准确性（coverage, ambiguity, accuracy）

d) 统计切分方法的动机（Motivation for Statistical Segmentation）

https://www.360docs.net/doc/6918553749.html,

i. 未登录词问题（Unknown words problem）:

——存在领域术语和专有名词（presence of domain terms and proper names）ii. 语法约束可能不充分（Grammatical constrains may not be sufficient）——例子（Example）: 名词短语的交替切分（alternative segmentation of noun phrases）

iii. 举例一

1. Segmentation：sha-choh/ken/gyoh-mu/bu-choh

2. Translation：“president/and/business/general/manager”

iv. 举例二

1. Segmentation：sha-choh/ken-gyoh/mu/bu-choh

2. Translation：“president/subsidiary business/Tsutomi[a name]/general manag

e) 一个切分算法：

i. 核心思想（Key idea）: 对于每一个候选边界，比较这个边界邻接的n 元序列的频率和跨过这个边界的n元序列的频率(for each candidate boundary, compare the frequency of the n-grams adjacent to the proposed boundary with the frequency of the n-grams that straddle it)。

ii. 注：由于公式编辑问题，具体算法请自行参考lec02.pdf，此处略。

f) 实验框架（Experimental Framework）

i. 语料库（Corpus）: 150兆1993年Nikkei新闻语料（150 megabytes of 1993 Nikkei newswire）

ii. 人工切分（Manual annotations）: 用于开发集的50条序列（调节参数）和用于测试集的50条序列（50 sequences for development set (parameter tuning) and 50 sequences for test set）

iii. 基线算法（Baseline algorithms）: Chasen和Juma的形态分析器（Chasen and Juman morphological analyzers (115,000 and 231,000 words)）

g) 评测方法（Evaluation Measures）

i. tp — true positive （真正, TP）被模型预测为正的正样本；

https://www.360docs.net/doc/6918553749.html,

ii. fp — false positive （假正, FP）被模型预测为正的负样本；

iii. tn — true negative （真负 , TN）被模型预测为负的负样本；

iv. fn — false negative （假负 , FN）被模型预测为负的正样本；

v. 准确率（Precision）— the measure of the proportion of selected items that the system got right：

P = tp / ( tp + fp)

vi. 召回率（Recall）— the measure of the target items that the system selected:

R = tp / ( tp + fn )

vii. F值（F-measure）:

F = 2 ? PR / (R + P)

viii. Word precision (P) is the percentage of proposed brackets that match word-level brackets in the annotation;

ix. Word recall (R) is the percentage of word-level brackets that are proposed by the algorithm.

五、结论（Conclusions）

a) 语料库被广泛用于文本处理中（Corpora widely used in text processing）

b) 使用的语料库是熟语料或生语料（Corpora used either annotated or raw）

c) 齐夫定律及其与自然语言的联系（Zipf’s law and its connection to natural language）

d) 数据稀疏问题是语料库处理方法中的一个主要问题（Sparsity is a major problem for corpus processing methods）

https://www.360docs.net/doc/6918553749.html,

为什么大家选择光环大数据！

大数据培训、人工智能培训、Python培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请大数据领域具有多年经验的讲师，提高教学的整体质量与教学水准。讲师团及时掌握时代的技术，将时新的技能融入教学中，让学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生较快的掌握技能知识，帮助莘莘学子实现就业梦想。

光环大数据启动了推进人工智能人才发展的“AI智客计划”。光环大数据专注国内大数据和人工智能培训，将在人工智能和大数据领域深度合作。未来三年，光环大数据将联合国内百所大学，通过“AI智客计划”，共同推动人工智能产业人才生态建设，培养和认证5-10万名AI大数据领域的人才。

参加“AI智客计划”，享2000元助学金！

【报名方式、详情咨询】

光环大数据网站报名：https://www.360docs.net/doc/6918553749.html,

手机报名链接：http:// https://www.360docs.net/doc/6918553749.html, /mobile/