信息检索技术论文论搜索引擎中文自动分词技术【摘要】搜索引擎是应用在web上的软件系统，它以一定的策略搜集和发现信息，再对信息进行处理和组织后为用户提供web下面是小编为大家整理的信息检索技术论文8篇,供大家参考。
信息检索技术论文篇1
论搜索引擎中文自动分词技术
【摘要】
搜索引擎是应用在web上的软件系统，它以一定的策略搜集和发现信息，再对信息进行处理和组织后为用户提供web信息查询服务。搜索引擎分三个大模块：网页搜集，预处理和查询服务。其中对搜索信息的预处理阶段的关键技术是中文分词和建立倒排文件，本文主要论述搜索引擎工作过程中的中文自动分词技术。
【关键字】：搜索引擎，中文分词，分词方法，分词难题 【正文】
信息的飞速增长，使搜索引擎成为人们查找信息的首选工具，Google、百度等大型搜索引擎一直是人们讨论的话题。目前在中文搜索引擎领域，国内的搜索引擎已经和国外的搜索引擎效果上相差不远。之所以能形成这样的局面，有一个重要的原因就在于中文和英文两种语言自身的书写方式不同，这其中对于计算机涉及的技术就是中文分词。
一、为什么要进行分词？
汉语是世界上最古老和最丰富的语言之一，但是汉语语法才有将近一百年的历史，而且现代汉语白话文的形成历史也比较短，加上汉语自身的特点，因此它的形式化研究更加困难。对英文而言，是以词为单位，词与词之间有空格隔开，而中文是以字为单位，多个字连在一起才能构成一个表达具体含义的词，词与词之间没有分割，因此，对于支持自然语言检索的工具，从语句中划分出具有独立意义的词的过程即进行中文分词必不可少。
二、什么是中文分词？
中文分词技术就是搜索引擎针对用户提交查询的关键串进行的查询处理后，根据用户的关键词串用各种匹配方法进行的一种技术。中文分词技术属于自然语言处理技术范畴，对于一句话，人可以通过自己的知识来明白哪些是词，哪些不是词，但如何让计算机也能理解？其处理过程就是分词算法。例如，英文句子I am a student，用中文则为：'我是一个学生“。计算机可以很简单通过空格知道student是一个单词，但是不能很容易明白'学“、'生“两个字合起来才表示一个词。把中文的汉字序列切分成有意义的词，就是中文分词，有些人也称为切词。我是一个学生，分词的结果是：我 是 一个 学生。
三、中文分词与搜索引擎
分词技术使用在搜索引擎网页预处理阶段。搜索引擎网页预处理第一步是为原始网页建立索引，形成索引网页库；第二步是对网页进行切分，也就是分词，将每一篇网页转化为一组次的集合；最后将网页索引词的映射转化为索引词到网页的映射，形成倒排文件。
中文分词到底对搜索引擎有多大影响？对于搜索引擎来说，最重要的并不是找到所有结果，因为在上百亿的网页中找到所有结果没有太多的意义，没有人能看得完，最重要的是把最相关的结果排在最前面，这也称为相关度排序。中文分词的准确与否，常常直接影响到对搜索结果的相关度...
(想阅读全部图文内容，您需要先登陆！)
推荐访问:信息检索 论文 技术 信息检索技术论文目录 信息检索技术论文摘要 信息检索技术论文题目 信息检索技术论文范文 信息检索技术论文怎么写 信息检索论文2000字 信息检索技术论文结论 信息检索3000字课程论文 关于信息检索的论文5000字 信息检索与利用论文1500字
