搜索引擎的中文分词方法

admin10年前 (2014-03-15)SEO优化400

中文的搜索引擎,主要以百度,360,搜狗为首。对于中文分词方法繁多,也比较复杂。

搜索引擎在完成网页的查重工作后,在分析系统准备将结果发往索引系统前进行分词工作。相对来说,英文的分词方法会比中文的分词方法简单,因为中国的语言文字博大精深的缘故,中文并没有明显的文字分隔,句子都是连续书写完成。中文分词的意义就是将句子切割成小的词汇单元。

中文分词的难点主要体现在以下三点。

1,交集型歧义

例如,“从小学”这三个字就有多种划分方法

像"从小学科学",正常的理解的是"从小/学/科学" 。

像“从小学懂事”,可以理解为"从/小学/懂事",也可以理解为"从小/学/懂事"。

以图示表示为“

image

2.组合型歧义

例如,“中国”这两个字,单独出来大家都很容易理解,但是在下面这两种情况下将有不同的分词方法

像"美国中国面临严重经济问题”,正确的分词是美国/中国/面临/严重/经济/问题“

像"这次地震中国人损失很大",可以理解为”这次/地震中/国人/损失/很大“,也可理解为”这次/地震/中国人/损失很大”


3.混合型歧义

例如:“人才能”,可切分为“人才/能”、“人/才能”、“人/才/能”。


以上种种的各种歧义型类型给中文分词增加了难度,搜索引擎为了解决这些歧义类型,主要还是借助字典和统计学的方法。《新华字典》及中文词汇量最大的《辞海》,都只是包含了日常生活中常用的词汇。但是社会在发展,特别是如今网络的崛起,涌现出大量的网络词汇,这些都是这些字典所不具备的。而对于搜索引擎来说,必须要能够有效地将这些词汇存储在搜索引擎的字典中。

可以理解为搜索引擎是以中国的《辞海》为基础,然后不断扩充的过程。


相关文章

2016要过去了,珠海SEO为你整理百度SEO算法规则

2016要过去了,珠海SEO为你整理百度SEO算法规则

国内基本上都是在做百度优化,近期百度调整很快,很多新人站长表示头痛。越来越多的站长已经离开了这个舞台。2016年,百度优化又有哪些调整呢?盘点最新优化方式,让您如鱼得水。百度进一步提高了自身产物的排名...

百度MIP效果演示及站点改造资料

百度MIP效果演示及站点改造资料

8月21号,第一时间给大家介绍了百度的MIP计划,相信SEO人员对MIP计划都有所了解了,短时间内应该还没来得及动手改造网站。继续关注百度的MIP,手机搜索“百度MIP" ,可以看到搜索结果...

zblog分类页和文章页导航优化

zblog分类页和文章页导航优化

珠海SEO技术博客立足于珠海,服务于全国各地,笔者使用的这套博客程序zblog也在逐步修改完善中,一直想调整Zblog分类页和文章页导航,这里就把笔者自己调整Zblog程序的过程分享给大家。栏目导航的...

SEO问答四:如何交换友情链接,交换友情链接的作用?

SEO问答四:如何交换友情链接,交换友情链接的作用?

什么是友情链接友情链接是指互相在自己的网站上放对方网站的链接,必须要能在网页代码中找到网址和网站名称。一般是指网站之间相互加对方的网站名字和链接地址,友情链接大多是显示在网站页面的下方,用鼠标点击它,...

最全的seo作弊手法

最全的seo作弊手法

作为专业的SEO人员,我一直反对黑帽SEO,反对SEO作弊行为,始终提倡白帽SEO,因为急功近利采取一些极端的手段,是不可取是要付出巨大代价的,有太多的网站就因为采用了SEO作弊手段,最终导致K站。S...

干货:6大seo优化方法助你提升关键词排名

干货:6大seo优化方法助你提升关键词排名

只要是做seo的,或者是自己有过网站运营经验的,都对关键词排名提升的技术很感兴趣,或许每天做的工作就是围绕着关键词排名这点。珠海SEO告诉你,提升关键词排名,请掌握以下6点,持之以恒,你定会有收获。优...

评论列表

互传电商网
9年前 (2015-07-18)

不错

民间偏方大全
10年前 (2014-07-29)

外链才是最重要的

无锡SEO
10年前 (2014-06-21)

利用好搜索引擎分词技术可以命中更多长尾

互传站长网
10年前 (2014-05-17)

不知细叶谁裁出,二月春风似剪刀

kindle之家
10年前 (2014-04-01)

明白了分词的用法

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。