单词计数器

第七周作业

查找排序算法

设计一个单词计数器

·统计一个文件重出现过哪些单词以及它们出现的频次

·把统计结果按单词词典顺序和频次由小到大顺序两种方式进行记录

数据结构描述：

定义结构体类型In, 记录单词及其出现次数。

struct In {

int count;

char str[20];

}voc[N];

第一种算法查找方法比较原始，用O(N^2)的复杂度进行查找。

如果对算法进行改进，则可使用二叉搜索树进行查找。

定义树节点，存放element，左右指针分别指向左右孩子。

typedef struct TreeNode *SearchTree;

struct TreeNode

{

ElementType Element;

SearchTree Left;

SearchTree Right;

};

算法描述及程序：

1、对于是否为单词的判断。

一般情况下，输入的文章中不只有单词，还会包括标点符号等信息，在单词中也可能出现连字符或者乱码，因此单词计数的前提是判断读入的字符串是否为一个单词。

算法实现为对于字符串，遍历其每个字符，如果在非末位出现了符号且不为连字符，则该字符串不是单词。其中使用了C语言函数库里面的函数ispunct来判断特殊符号。

int Isword(char*string)

{

int i,length;

length=strlen(string);

for(i=0;i

{

if(ispunct(string[i])&&i!=length-1&&string[i]!='-')

//如果在非末位出现了符号且不为连字符，则该字符串不是单词

return0;

elsecontinue;

}

if(ispunct(string[length-1]))//如果在末位出现了符号，则删除该符号

string[length-1]='\0';

return1;

}

2、查找方式。

在附录中的程序中，查找方式较为原始，采用直接遍历的方法，复杂度为O(N^2)。对此可以进行改进，在每读一个单词时，按照compare函数中规定的比较方式，将其插入二叉搜索树种，则其查找的时间复杂度变为O(logN)。该算法的另一优点是在按照词典顺序输出时，不需要再进行一次排序，而可以直接通过中序遍历方式输出。

进行插入的伪代码如下：

SearchTree Insert(ElementType X,SearchTree T)

{

if(T==NULL)

{

T=(SearchTree)malloc(sizeof(TreeNode));//Create and return a one-node tree

if(T==NULL)

printf("Out of space!!!\n");

else

{

T->Element=X;

T->Left=NULL;

T->Right=NULL;

}

}

else

if(compare(X,T->Element))

T->Left=Insert(X,T->Left);

else

if(compare(X,T->Element))

T->Right=Insert(X,T->Right);//Else X is in the tree already;we'll do nothing

return T;

}

进行中序输出的伪代码如下：

void inorder(SearchTree T)

{

if(T)

{

inorder(T->Left);

printf("%d",T->Element);

inorder(T->Right);

}

}

3、输出排序方式。

当所有单词被读入后，数组voc中存放了所有单词及其出现次数。

在第一种算法当中，因为数组的存放是无序的，因此在输出时无论按照字典顺序还是频次顺序都要进行排序，这里我们选用实际应用中最快的一种排序方法——快速排序并调用C 语言函数库中的函数。

需要注意的是在按照字典顺序输出时，我们需要对连字符进行处理，即通过在比较时扩大连字符的ASCII码使其大于所有字母。具体代码实现如下：

int compare(char*word1,char*word2)

{

int i,length1,length2;

length1=strlen(word1);

length2=strlen(word2);

for(i=0;i

{

if(word1[i]!='-'&&word2[i]!='-')

{if(word1[i]==word2[i])

continue;

else

return(word2[i]-word2[i]);

}

else{

if(word1[i]=='-')//如果遇到连字符，则提升连字符的ASCII码，使其比字母大

return(-word2[i]+'-'+200);

if(word2[i]=='-')

return(-'-'-200+word2[i]);

}

}

}

如果使用第二种算法即通过二叉搜索树建立我们的单词存储结构，则在按照词典顺序输出时就不需要再次进行排序，可以直接按照中序遍历的顺序输出。

然而在输出频次顺序的时候比较困难，可以通过调整二叉树或者使用堆排等方式实现。运行结果：

输入：

abdff! abc-def abc-z abcde abc-def abc%dfk abdff! abcde abcde

输出：

abcde 3

abdff 2

abc-def 2

abc-z 1

abc-z 1

abdff 2

abc-def 2

abcde 3

附：源代码（C语言）

#include

#include

#include

#include

#define N 100

char temp[20];

int num;

struct In{

int count;

char str[20];

}voc[N];

int Isword(char*string)

{

int i,length;

length=strlen(string);

for(i=0;i

{

if(ispunct(string[i])&&i!=length-1&&string[i]!='-')//如果在非末位出现了符号且不为连字符，则该字符串不是单词

return0;

elsecontinue;

}

if(ispunct(string[length-1]))//如果在末位出现了符号，则删除该符号

string[length-1]='\0';

return1;

}

int compare(char*word1,char*word2)

{

int i,length1,length2;

length1=strlen(word1);

for(i=0;i

{

if(word1[i]!='-'&&word2[i]!='-')

{if(word1[i]==word2[i])

continue;

else

return(word2[i]-word1[i]);

}

else{

if(word1[i]=='-')//如果遇到连字符，则提升连字符的ASCII码，使其比字母大

return(-word2[i]+'-'+200);

if(word2[i]=='-')

return(-'-'-200+word1[i]);

}

}

}

int cmp1(constvoid*a,constvoid*b)//按照单词词典顺序输出的比较

{

struct In*tempa=(struct In*)a,*tempb=(struct In*)b;

return compare(tempa->str,tempb->str);

}

int cmp2(constvoid*a,constvoid*b)//按频次由小到大比较

{

struct In*tempa=(struct In*)a,*tempb=(struct In*)b;

return tempa->count-tempb->count;

}

int main(){

FILE*fp;

int i,check;

if((fp=fopen("test.txt","r"))==NULL){

printf("open file error");

return1;

}

while(!feof(fp)){

if(fscanf(fp,"%s",temp)==EOF)break;

check=Isword(temp);

if(check){//将单词存入数组voc[]

for(i=0;i

if(strcmp(voc[i].str,temp)==0){

voc[i].count++;

break;

}

}

if(i>=num){

strcpy(voc[num++].str,temp);

}

}

else

continue;

}

qsort(voc,num,sizeof(voc[0]),cmp1);//使用快速排序进行排序，然后输出

for(i=0;i

printf("%s %d\n",voc[i].str,voc[i].count+1);

}

printf("\n");

qsort(voc,num,sizeof(voc[0]),cmp2);

for(i=0;i

printf("%s %d\n",voc[i].str,voc[i].count+1);

}

return0;

}