英文分词的算法和原理

根据文档相关性计算公式

TF-IDF:https://www.360docs.net/doc/cf15840614.html,/210.htm

BM25:https://www.360docs.net/doc/cf15840614.html,/211.htm

分词质量对于基于词频的相关性计算是无比重要的

英文(西方语言）语言的基本单位就是单词，所以分词特别容易做，只需要3步：l 根据空格/符号/段落分隔,得到单词组

l 过滤，排除掉stop word

l 提取词干

第一步：按空格/符号分词

用正则表达式很容易

pattern = r'''(?x) # set flag to allow verbose regexps

([A-Z]\.)+ # abbreviations, e.g. U.S.A.

| \w+(-\w+)* # words with optional internal hyphens

| \$?\d+(\.\d+)?%? # currency and percentages, e.g. $12.40, 82%

| \.\.\. # ellipsis

| [][.,;"'?():-_`] # these are separate tokens

'''

re.findall(pattern,待分词文本)

第二步：排除stop word

stopword就是类似a/an/and/are/then 的这类高频词，高频词会对基于词频的算分公式产生极大的干扰，所以需要过滤

第三步：提取词干

词干提取(Stemming) 这是西方语言特有的处理，比如说英文单词有单数复数的变形，-ing和-ed的变形，但是在计算相关性的时候，应该当做同一个单词。比如apple和apples，doing和done是同一个词，提取词干的目的就是要合并这些变态

Stemming有3大主流算法

Porter Stemming

Lovins stemmer

Lancaster Stemming

Lucene 英文分词自带了3个stemming算法，分别是

EnglishMinimalStemmer

著名的Porter Stemming

KStemmer

词干提取算法并不复杂，要么是一堆规则，要么用映射表，编程容易，但是必须是这种语言的专家，了解构词法才行啊

https://www.360docs.net/doc/cf15840614.html,/demo/stem/ 是一个在线试验词干提取算法的网站

Lemmatisation

Lemmatisation是和词干提取(Stemming) 齐名的一个语言学名词，中文可以叫做词形还原,就是通过查询字典，把"drove" 还原到"drive"

而stemming会把单词变短，"apples","apple"处理之后都变成了"appl"

wikipedia关于词形还原的简介

European languages lemmatizer 一个c语言的lib

做计算机语言学研究才会涉及到lemmatization，我个人觉得做搜索完全可以不考虑，Stemming已经可以解决大问题了

参考

https://www.360docs.net/doc/cf15840614.html,/

https://www.360docs.net/doc/cf15840614.html, python的自然语言包，非常有用PYTHON自然语言处理中文版.pdf

汉译英常用技巧

词汇汉译英常用技巧（1）对等译法对等是翻译的最高境界，但完全的对等几乎是不可能的。所以，可以采取大致对等的手法（所谓大致对等，是指比喻的方式基本一致，但意象,也就是比喻所用的image发生了改变）： e.g.1.扪心自问，他不得不承认自己错了。 By searching his heart, he could not but admit that he was in the wrong. 2.你真是福星高照。 You have a lucky star above you. 3.我们必须全力以赴，拿下这场比赛。 We must go all out to win this game. 4.你真不该插手他们的事情。 You really shouldn’t have poked your nose into their business. 5.那种情形之下，他除了忍气吞声又能怎样呢？ As things stood, what could he do but swallow the insult? 6.他们个个摩拳擦掌，士气高涨，准备再打一个漂亮仗。 Being in high morale, every one of them rolled up their sleeves, eager to win another brilliant victory.

7.为了救他的母亲，他赴汤蹈火。 He went through fire and flood to save his mother. 8.在纽约市寻找一个失落的小孩，那简直是大海捞针。 Looking for a missing child in New York City. Tha t’s like looking for a needle in a hay stack. 9.对问题视而不见并不能解决问题。 Turning a blind eye to a problem won’t solve the problem. 10.为了迷人眼目，他们把自己打扮成革命者。 To throw dust into the eye of the public, they decked themselves out as revolutionaries. 11.有时候老虎走近些，但对驴子还是敬而远之。 Sometimes the tiger ventured nearer, but still kept a respectable distance from the donkey. Exercise : 1.哀公问于孔子曰，寡人闻之，东益宅不祥，信有之乎？孔子曰，不祥有五，而东益不与焉。夫损人益己，身之不祥也；弃老取幼，家之不祥也；择贤用不肖，国之不祥也；老者不教，幼者不学，俗之不祥也；圣人伏匿，天下之不祥也。兆:presage ;omen 损人益己:to harm others to benefit oneself 贤:solon/sagacious person 不肖:unworthy 俗:custom 圣人:sage/saint 伏匿/匿伏:to stay in concealment

汉译英的几种翻译技巧

汉译英的几种常用技巧（一）常用的翻译技巧1. 增译2. 减译（省译）3. 重复 4. 转译 5. 语序（词序/句序）调整（倒置） 6. 拆句与合并7. 正说反译, 反说正译8. 语态变换 1.增译法：指根据英汉两种语言不同的思维方式、语言习惯和表达方式，在翻译时增添一些词、短句或句子，以便更准确地表达出原文所包含的意义。这种方式多半用在汉译英里。汉语无主句较多，而英语句子一般都要有主语，所以在翻译汉语无主句的时候，除了少数可用英语无主句、被动语态或“There be…”结构来翻译以外，一般都要根据语境补出主语，使句子完整。英语中代词使用频率较高，凡说到人的器官和归某人所有的或与某人有关的事物时，必须在前面加上物主代词。因此，在汉译英时需要增补物主代词，而在英译汉时又需要根据情况适当地删减。英语词与词、词组与词组以及句子与句子的逻辑关系一般用连词来表示，而汉语则往往通过上下文和语序来表示这种关系。因此，在汉译英时常常需要增补连词。英语句子离不开介词和冠词。另外，汉译英时还要注意增补一些原文中暗含而没有明言的词语和一些概括性、注释性的词语，以确保译文意思完整。总之，通过增译，一是保证译文语法结构的完整，二是保证译文意思的明确。 1. I am looking forward to the holidays. 我们等待假日的到

2.Much of our morality is customary. 我们大部分的道德观念都有习惯性。 3.Reading makes a full man; conference a ready man; and writing an exact man. 读书使人充实，讨论使人机智，笔记使人精确。 4.Histories make men wise; poets witty; the mathematics subtle; natural philosophy deep; moral grave; logic and rhetoric able to contend. 读史使人明智，读诗使人灵秀，数学使人周密，科学使人深刻，伦理使人庄重，逻辑修辞之学使人善辩。 5. 没有调查研究就没有发言权。 He who makes no investigation and study has no right to speak. (No investigation, no right to speak.) 6. 虚心使人进步, 骄傲使人落后。 Modesty helps one to go forward, whereas conceit makes one lag behind. 7. 留得青山在, 不怕没柴烧。 So long as green hills remain, there will never be a shortage of firewood. 8. 班门弄斧 Showing off one’s proficiency with the axe before Lu Ban the master carpenter. 9. 三个臭皮匠, 顶个诸葛亮。

汉译英翻译十大技巧

汉译英翻译技巧1：了解中英文区别，避免机械对等翻译英语和汉语是两种差异比较大的语言。在汉英双语互译时，其差异具体体现为词汇、句式、衔接等方面的差异。因此，对于备考大学英语四级考试的考生，了解中英文两种语言的以下主要区别，对段落汉译英答题很有帮助。 1.汉语重意合，英语重形合。汉语强调意义上紧密结合，主要靠词义手段连接，讲究“意境美”，所以有时候语法是不完整的；英语则注重句法、词汇手段等形式上的紧密结合，讲究“结构美”，强调句式完整和上下文的衔接。因此，汉译英需要通过对汉语句子进行句型变换，使用逻辑衔接词、从句等来显现句中的逻辑关系，从而符合英语的表达习惯。 2.汉语多短句，英语多长句。汉语侧重语义，多用短句、分句来表达；英语多用长句及复合句，其结构通过时态、标点符号及关联词来表达。因此，汉译英往往需要对原文进行合译、增补词汇等。 3.汉语多重复，英语多替代。汉语由于结构较松散，常对名词进行重复，使语义更加清晰，对动词进行重复起增强语气的作用：而英语常使用代词、名词及do，do so或so do，so，as或其他词组来代替重复出现的部分。

4.汉语多用主动，英语多用被动。 5.汉语用词多动词，英语用词多名词和介词。汉语句子多用动词，具有动态性和具体性的特点；英语句子则喜用名词和介词，体现静态性和抽象性的特点。这一不同的特点决定了汉译英过程中常常需要转换词性。 6.汉语句中的定语通常放在所修饰的名词之前，英语中定语的位置却可前可后。因此，汉译英时往往需要调整语序，如汉语中定语过多，英语可使用介词短语、分词、不定式、从句等后置定语以求句子结构上的平衡。 7.汉语重心在后，英语重心在前。在表达多逻辑思维时，汉语一般是由因到果、由假设到推论、由事实到结论，即重心在后；英语则往往是判断或结论等在前，事实或描写等在后，即重心在前。【例1】九寨沟气候宜人，夏季凉爽，冬无寒风。译文: Jiuzhaigou enjoys a favorable climate which is cool in summer but free from cold wind in winter. 解析：原句含三个汉语短句，但都是对“九赛沟”的描述，存在逻辑上的联系，译文中将第一个短句处理成主句，后两个短句则处理成 which引导的定语从句，既能体现三个句子间的逻辑联

汉译英的八大技巧

汉译英的八大技巧编辑：liqiao来源：中国教育在线发布时间：2011-05-30 11:46 一、戒“从一而终” 汉语言简意赅，句子灵活，往往是一个汉语词汇对应N个英语(论坛)词汇，具体到在本句中应该采用哪个意项，务必抓住精神实质，不可以不变应万变。至于怎么应变，这就是显示译者功力的地方了。比如：都是“问题”，下面的翻译各不相同。共同关心的问题questions of common interest 解决问题solve a problem 问题的关键the heart of the matter 关键问题a key problem 原则问题a question/matter of principle 没有什么问题without any mishap 摩托车有点问题Something is wrong with the motorcycle. 问题不在这里That is not the point. 译者要掌握这种汉英翻译中的“游击战术”，翻译家应是不同“文化王国”边境线上的“游击战略家”。沙博里将《水浒传》译为：Outlaws of the Marsh(沼泽地上的亡命之徒)，杨宪益译将屈原的《国殇》译为：For Those Fallen for Their Country，北外出版社将《儒林外史》译为：The Scholars。这些都是译者吃透了原文的原意而译出的佳作。二、戒望文生义，机械直译这多半是初学者犯的毛病，他们易于被表面现象所迷惑。黄牛(yellow cow——ox前误后正，下同) 黄鹂(yellow bird ——oriole) 黄瓜( yellow melon——cucumber) 紫菜(purple vegetable ——laver) 红木(red wood——padauk) 红豆杉(red fir——Chinese yew) 黑社会(black society ——sinistergang) 三、戒“水土不服”，习惯搭配失当这的确是难度系数较大的问题，它要求译者既有较高的中文修养，又要有较高的英文造诣，一知半解的人常常在此“翻车”。如：写罢，掷笔在桌上。又歌了一回，再饮数杯酒，不觉沉醉，力不胜酒，便呼酒保计算了，取些银子算还，多的都赏了酒保。And tossed the pen on the table. He intoned the verses to himself, then downed a few more cups of wine. He was very dunk. Song-Jiang asked for the bill, paid, and told the waiter to keep the change. (沙博里译《水浒传·浔阳楼宋江吟反诗》) 目前，《水浒传》最好的英译本要数沙博里先生的本子了。沙博里出生在美国，青年时来到中国，一住就是半个多世纪。为了译好《水浒传》，据说他潜心研究了山东的地方志和旧时方言，可谓精诚所致，译著既“达”又“雅”。然而历史告诉我们，中国古人没有用过钢笔，宋朝时用的还是毛笔，故the pen 应改为the writing-brush。下面的译文就较好地照顾到了西方人的思维和理解习惯：美国把贸易和扯在一起，只会损害两国的经济利益。The US policy of linking trade with hum an rights can only bring harm to the economic interests of the two countries. 关起门来搞建设是不成的，中国的发展离不开世界。 China can't develop in isolation from the rest of the world. 四、戒主语暗淡

最常用的十大英语翻译技巧

最常用的十大翻译技巧转载自：花开有声转载于：2010-06-22 13:41 | 分类：转载的阅读：(1) 评论：(0) 常用十大翻译技巧之一：增译法英汉两种语言在句法、词汇、修辞等方面均存在着很大的差异，因此在进行英汉互译时必然会遇到很多困难，需要有一定的翻译技巧作指导。常用的翻译技巧有增译法、省译法、转换法、拆句法、合并法、正译法、反译法、倒置法、包孕法、插入法、重组法和综合法等。这些技巧不但可以运用于笔译之中，也可以运用于口译过程中，而且应该用得更加熟练，因为口译工作的特点决定了译员没有更多的时间进行思考。 1、增译法：指根据英汉两种语言不同的思维方式、语言习惯和表达方式，在翻译时增添一些词、短句或句子，以便更准确地表达出原文所包含的意义。这种方式多半用在汉译英里。汉语无主句较多，而英语句子一般都要有主语，所以在翻译汉语无主句的时候，除了少数可用英语无主句、被动语态或"There be…"结构来翻译以外，一般都要根据语境补出主语，使句子完整。英汉两种语言在名词、代词、连词、介词和冠词的使用方法上也存在很大差别。英语中代词使用频率较高，凡说到人的器官和归某人所有的或与某人有关的事物时，必须在前面加上物主代词。因此，在汉译英时需要增补物主代词，而在英译汉时又需要根据情况适当地删减。英语词与词、词组与词组以及句子与句子的逻辑关系一般用连词来表示，而汉语则往往通过上下文和语序来表示这种关系。因此，在汉译英时常常需要增补连词。英语句子离不开介词和冠词。另外，在汉译英时还要注意增补一些原文中暗含而没有明言的词语和一些概括性、注释性的词语，以确保译文意思的完整。总之，通过增译，一是保证译文语法结构的完整，二是保证译文意思的明确。如：（1）What about calling him right away? 马上给他打个电话，你觉得如何？（增译主语和谓语）（2）If only I could see the realization of the four modernizations. 要是我能看到四个现代化实现该有多好啊！（增译主句）（3） Indeed, the reverse is true 实际情况恰好相反。（增译名词）（4）就是法西斯国家本国的人民也被剥夺了人权。 Even the people in the fascist countries were stripped of their human rights.（增译物主代词）（5）只许州官放火，不许百姓点灯。 While the magistrates were free to burn down house, the common people were forbidden to light lamps. （增译连词）（6）这是我们两国人民的又一个共同点。 This is yet another common point between the people of our two countries.（增译介词）（7）在人权领域，中国反对以大欺小、以强凌弱。

汉译英常用方法和技巧(8-11)

第四章汉译英常用方法和技巧（教学安排：8课时）与词有关的翻译方法包括： ?直译和意译 ?词义的选择 ?词的增补与省略 ?词类转义法 ?重复法 ?正说反译法和反说正译法 ?分句法和合句法第一节直译和意译首先应当指出，直译不是死译，而是指基本保留原有句子结构，照字面意思翻译。意译也不是胡译、乱译，而是在不损害原文内容和精神的前提下，为了表达的需要，对原文作相应的调整。例1 原文：我们的朋友遍天下。直译：Our friends are all over the world. 意译：We have friends all over the world. 直译以严格意义上的忠实为宗旨，意译则更多考虑英语的特点，更强调译文的效果，不求形式对应，只求语言在深层次中的对应。总之，选择直译还是意译，应该根据文章具体需要而定，两种译法可以并用。 ?能直译则直译例2 原文：爱是耐心和善良；爱不是妒忌和吹嘘；爱不是傲慢和粗鲁。译文：love is patience and kindness; love is not jealous and boast; love is not arrogance and rudeness. 例3 原文：进入21世纪，麦当劳团体的对手们又集合到一面共同的旗帜之下——反对全球化。译文：On stepping into the 21st century, the McDonalds’ groups have again assembled under the same flag——anti-globalization. Upon entering opponents banner rafilled 例4 原文：电学上最常用的两个单位是安培和伏特，前者是电流单位，后者是电压单位。译文：the unit of current the one of voltage 例5 原文：俗话说：“千里搭凉棚，没有不散的筵席”。再过两三年，咱们都要离开这里的。译文：“Even the longest feast must break up at last ,” says the proverb. In two or three years 例6 原文：你们要八仙过海，各显其能，完成这项工作。译文：you should display your special prowess like eight immortals ( in Chinese legend) crossing the sea,

汉译英翻译的技巧

汉译英翻译的技巧一.正确认识翻译技巧从中国人进行的翻译定位上看，无论是英译汉还是汉译英，其根本问题都在译者的英语水平或造诣上。英译汉的题型，关键在于理解原文；而汉译英的题型，关键在于如何综合运用所学的英文知识，将我们原本理解的相当明白的汉语文字，以准确的英语通顺地表达出来。笔者想提醒考生注意的是，各种翻译技巧只是工具。茅盾先生有一句话，如果两种语言的功底不够，那些技巧你也用不上；但若功底深厚，那些条条就成了不足取的框框。因此，我们对于翻译技巧的讲解，只是大致谈几个方面，大家在翻译的过程中了解注意就可以了。关键在于遵循常用方法多做练习，只有经过大量的训练，不懈的练习，才可以熟能生巧。大家的英语水平提高了，词汇量有了一定的积累，各种句型结构熟透于心了，翻译水平自然会上去的。二.关于汉译英的翻译技巧，我们大致需要注意这几方面： 1、翻译的基本方法：关于直译与意译英语和汉语是两种不同的语言,每种语言都有各自独立和分明的系统，在形态和句法方面二者存在很大差异。然而，两种语言之间又存在一些相似性。比如在主谓词序和动宾词序上是一致的。正是由于英汉两种语言既有共同点又有不同点，所以在翻译实践中，我们不能千篇一律地使用一种方法进行翻译。直译和意译是两种重要的翻译方法。直译是既保持原文内容、又保持原文形式的翻译方法或翻译文字。意译，也称为自由翻译，它是只保持原文内容、不保持原文形式的翻译方法或翻译文字。直译与意译相互关联、互为补充，同时，它们又互相协调、互相渗透，不可分割。通过对直译与意译二者关系的正确理解，我们可以更多地认识到什么时候采用直译、什么时候采用意译，以及在运用直译与意译的时候所应该掌握的技巧、遵循的原则和应该注意的问题，最终达到提高翻译能力及水平的目的。考生这里应当注意，直译不是死译，而是指基本保留原有句子结构，照字面意思翻译。例如：我们的朋友遍天下。如果译成“ Our friends are all over the world ” 是直译，而“ We have friends all over the world 就是意译。直译以严格意义上的忠实为宗旨，意译则更多考虑英语的特点。总之，选择直译还是意译，应该根据文章具体需要而定，两种译法可以并用。 2、翻译的变通手段翻译时不能简单地或机械地逐字照译，硬凑成英文，必须认真分析上下文，掌握词的确切含义，然后用适当的英文表达，必要时应采用变通手段。 1 ）增词、减词译文的增词、减词都是为了更确切、更忠实地表达原文的含义和精神。译文中添加一些原文没有的词句，表面上看似不忠实，但仔细分析就会发现这些增加的词句所表达的意思并非无中生有，而是隐含在原文中的。减词则是在不影响原意的情况下省略无关紧要的词语，避免拖泥带水。

汉译英翻译的技巧

汉译英翻译的技巧 Company number：【0089WT-8898YT-W8CCB-BUUT-202108】

汉译英翻译的技巧一. 正确认识翻译技巧从中国人进行的翻译定位上看，无论是英译汉还是汉译英，其根本问题都在译者的英语水平或造诣上。英译汉的题型，关键在于理解原文；而汉译英的题型，关键在于如何综合运用所学的英文知识，将我们原本理解的相当明白的汉语文字，以准确的英语通顺地表达出来。笔者想提醒考生注意的是，各种翻译技巧只是工具。茅盾先生有一句话，如果两种语言的功底不够，那些技巧你也用不上；但若功底深厚，那些条条就成了不足取的框框。因此，我们对于翻译技巧的讲解，只是大致谈几个方面，大家在翻译的过程中了解注意就可以了。关键在于遵循常用方法多做练习，只有经过大量的训练，不懈的练习，才可以熟能生巧。大家的英语水平提高了，词汇量有了一定的积累，各种句型结构熟透于心了，翻译水平自然会上去的。二. 关于汉译英的翻译技巧，我们大致需要注意这几方面： 1、翻译的基本方法：关于直译与意译英语和汉语是两种不同的语言 ,每种语言都有各自独立和分明的系统 ,在形态和句法方面二者存在很大差异。然而 ,两种语言之间又存在一些相似性。比如在主谓词序和动宾词序上是一致的。正是由于英汉两种语言既有共同点又有不同点 ,所以在翻译实践中 ,我们不能千篇一律地使用一种方法进行翻译。直译和意译是两种重要的翻译方法。直译是既保持原文内容、又保持原文形式的翻译方法或翻译文字。意译，也称为自由翻译 ,它是只保持原文内容、不保持原文形式的翻译方法或翻译文字。直译与意译相互关联、互为补充，同时,它们又互相协调、互相渗透,不可分割。通过对直译与意译二者关系的正确理解,我们可以更多地认识到什么时候采用直译、什么时候采用意译，以及在运用直译与意译的时候所应该掌握的技巧、遵循的原则和应该注意的问题，最终达到提高翻译能力及水平的目的。考生这里应当注意，直译不是死译，而是指基本保留原有句子结构，照字面意思翻译。例如：我们的朋友遍天下。如果译成“Our friends are all over the world”是直译，而“We have friends all over the world”就是意译。直译以严格意义上的忠实为宗旨，意译则更多考虑英语的特点。总之，选择直译还是意译，应该根据文章具体需要而定，两种译法可以并用。 2、翻译的变通手段翻译时不能简单地或机械地逐字照译，硬凑成英文，必须认真分析上下文，掌握词的确切含义，然后用适当的英文表达，必要时应采用变通手段。 1）增词、减词译文的增词、减词都是为了更确切、更忠实地表达原文的含义和精神。译文中添加一些原文没有的词句，表面上看似不忠实，但仔细分析就会发现这些增加的词句所表达的意思并非无中生有，而是隐含在原文中的。减词则是在不影响原意的情况下省略无关紧要的词语，避免拖泥带水。

汉译英翻译的技巧

汉译英翻译的技巧一. 正确认识翻译技巧从中国人进行的翻译定位上看，无论是英译汉还是汉译英，其根本问题都在译者的英语水平或造诣上。英译汉的题型，关键在于理解原文；而汉译英的题型，关键在于如何综合运用所学的英文知识，将我们原本理解的相当明白的汉语文字，以准确的英语通顺地表达出来。笔者想提醒考生注意的是，各种翻译技巧只是工具。茅盾先生有一句话，如果两种语言的功底不够，那些技巧你也用不上；但若功底深厚，那些条条就成了不足取的框框。因此，我们对于翻译技巧的讲解，只是大致谈几个方面，大家在翻译的过程中了解注意就可以了。关键在于遵循常用方法多做练习，只有经过大量的训练，不懈的练习，才可以熟能生巧。大家的英语水平提高了，词汇量有了一定的积累，各种句型结构熟透于心了，翻译水平自然会上去的。二. 关于汉译英的翻译技巧，我们大致需要注意这几方面： 1、翻译的基本方法：关于直译与意译英语和汉语是两种不同的语言,每种语言都有各自独立和分明的系统,在形态和句法方面二者存在很大差异。然而,两种语言之间又存在一些相似性。比如在主谓词序和动宾词序上是一致的。正是由于英汉两种语言既有共同点又有不同点,所以在翻译实践中,我们不能千篇一律地使用一种方法进行翻译。直译和意译是两种重要的翻译方法。直译是既保持原文内容、又保持原文形式的翻译方法或翻译文字。意译，也称为自由翻译,它是只保持原文内容、不保持原文形式的翻译方法或翻译文字。直译与意译相互关联、互为补充，同时,它们又互相协调、互相渗透,不可分割。通过对直译与意译二者关系的正确理解,我们可以更多地认识到什么时候采用直译、什么时候采用意译，以及在运用直译与意译的时候所应该掌握的技巧、遵循的原则和应该注意的问题，最终达到提高翻译能力及水平的目的。考生这里应当注意，直译不是死译，而是指基本保留原有句子结构，照字面意思翻译。例如：我们的朋友遍天下。如果译成“Our friends are all over the world”是直译，而“We have friends all over the world”就是意译。直译以严格意义上的忠实为宗旨，意译则更多考虑英语的特点。总之，选择直译还是意译，应该根据文章具体需要而定，两种译法可以并用。