请教搜索引擎的工作原理？
发布时间：2010-01-03来源：互联网 编辑：圆圆
主 要 技 术
一个搜索引擎由搜索器、索引器、检索器和用户接口等四个部门组成
1.搜索器
搜索器的功效是在互联网中漫游，发明和搜集信息它常常是一个盘算机程序，日夜不停地运行它要绝可能多、绝可能快地搜集各种类型的新信息，同时因为互联网上的信息更新很快，所以还要按期更新已经搜集过的旧信息，以避免死衔接和无效衔接目前有两种搜集信息的策略-
● 从一个起始URL聚集开端，顺着这些URL中的超链（Hyperlink），以宽度优先、深度优先或启示式方法轮回地在互联网中发明信息这些起始URL可以是任意的URL，但常常是一些非常流行、包含良多链接的站点（如Yahoo！）
● 将Web空间依照域名、IP地址或国度域名划分，每个搜索器负责一个子空间的穷绝搜索
搜索器搜集的信息类型多种多样，包含HTML、XML、Newsgroup文章、FTP文件、字处置文档、多媒体信息
搜索器的实现常常用散布式、并行盘算技术，以进步信息发明和更新的速度商业搜索引擎的信息发明可以到达每天几百万网页
2.索引器
索引器的功效是懂得搜索器所搜索的信息，从中抽掏出索引项，用于表现文档以及生成文档库的索引表
索引项有客观索引项和内容索引项两种-客观项与文档的语意内容无关，如作者名、URL、更新时光、编码、长度、链接流行度（Link Popularity）等等-内容索引项是用来反应文档内容的，如要害词及其权重、短语、单字等等内容索引项可以分为单索引项和多索引项（或称短语索引项）两种单索引项对于英文来讲是英语单词，比拟容易提取，因为单词之间有天然的分隔符（空格）-对于中文等持续书写的语言，必需入行词语的切分
在搜索引擎中，一般要给单索引项赋与一个权值，以表现该索引项对文档的区分度，同时用来盘算查询成果的相干度使用的方法一般有统计法、信息论法和概率法短语索引项的提取方法有统计法、概率法和语言学法
索引表一般使用某种情势的倒排表（Inversion List），即由索引项查找相应的文档索引表也可能要记载索引项在文档中呈现的地位，以便检索器盘算索引项之间的相邻或接近关系（proximity）
索引器可以使用集中式索引算法或散布式索引算法当数据量很大时，必需实现即时索引（Instant Indexing），否则不能够跟上信息量急剧增添的速度索引算法对索引器的机能（如大范围峰值查询时的响应速度）有很大的影响一个搜索引擎的有效性在很大水平上取决于索引的质量
3.检索器
检索器的功效是依据用户的查询在索引库中快速检出文档，入行文档与查询的相干度评价，对将要输出的成果入行排序，并实现某种用户相干性反馈机制
检索器常用的信息检索模型有聚集理论模型、代数模型、概率模型和混合模型四种
4.用户接口
用户接口的作用是输入用户查询、显示查询成果、提供用户相干性反馈机制重要的目标是便利用户使用搜索引擎，高效力、多方法地从搜索引擎中得到有效、及时的信息用户接口的设计和实现使用人机交互的理论和方法，以充足适应人类的思维习性 用户输入接口可以分为简略接口和庞杂接口两种
简略接口只提供用户输入查询串的文本框-庞杂接口可以让用户对查询入行限制，如逻辑运算（与、或、非-+、-）、相近关系（相邻、NEAR）、域名范畴（如.edu、.com）、呈现地位（如题目、内容）、信息时光、长度等等目前一些公司和机构正在斟酌制订查询选项的尺度
一个搜索引擎由搜索器、索引器、检索器和用户接口等四个部门组成
1.搜索器
搜索器的功效是在互联网中漫游，发明和搜集信息它常常是一个盘算机程序，日夜不停地运行它要绝可能多、绝可能快地搜集各种类型的新信息，同时因为互联网上的信息更新很快，所以还要按期更新已经搜集过的旧信息，以避免死衔接和无效衔接目前有两种搜集信息的策略-
● 从一个起始URL聚集开端，顺着这些URL中的超链（Hyperlink），以宽度优先、深度优先或启示式方法轮回地在互联网中发明信息这些起始URL可以是任意的URL，但常常是一些非常流行、包含良多链接的站点（如Yahoo！）
● 将Web空间依照域名、IP地址或国度域名划分，每个搜索器负责一个子空间的穷绝搜索
搜索器搜集的信息类型多种多样，包含HTML、XML、Newsgroup文章、FTP文件、字处置文档、多媒体信息
搜索器的实现常常用散布式、并行盘算技术，以进步信息发明和更新的速度商业搜索引擎的信息发明可以到达每天几百万网页
2.索引器
索引器的功效是懂得搜索器所搜索的信息，从中抽掏出索引项，用于表现文档以及生成文档库的索引表
索引项有客观索引项和内容索引项两种-客观项与文档的语意内容无关，如作者名、URL、更新时光、编码、长度、链接流行度（Link Popularity）等等-内容索引项是用来反应文档内容的，如要害词及其权重、短语、单字等等内容索引项可以分为单索引项和多索引项（或称短语索引项）两种单索引项对于英文来讲是英语单词，比拟容易提取，因为单词之间有天然的分隔符（空格）-对于中文等持续书写的语言，必需入行词语的切分
在搜索引擎中，一般要给单索引项赋与一个权值，以表现该索引项对文档的区分度，同时用来盘算查询成果的相干度使用的方法一般有统计法、信息论法和概率法短语索引项的提取方法有统计法、概率法和语言学法
索引表一般使用某种情势的倒排表（Inversion List），即由索引项查找相应的文档索引表也可能要记载索引项在文档中呈现的地位，以便检索器盘算索引项之间的相邻或接近关系（proximity）
索引器可以使用集中式索引算法或散布式索引算法当数据量很大时，必需实现即时索引（Instant Indexing），否则不能够跟上信息量急剧增添的速度索引算法对索引器的机能（如大范围峰值查询时的响应速度）有很大的影响一个搜索引擎的有效性在很大水平上取决于索引的质量
3.检索器
检索器的功效是依据用户的查询在索引库中快速检出文档，入行文档与查询的相干度评价，对将要输出的成果入行排序，并实现某种用户相干性反馈机制
检索器常用的信息检索模型有聚集理论模型、代数模型、概率模型和混合模型四种
4.用户接口
用户接口的作用是输入用户查询、显示查询成果、提供用户相干性反馈机制重要的目标是便利用户使用搜索引擎，高效力、多方法地从搜索引擎中得到有效、及时的信息用户接口的设计和实现使用人机交互的理论和方法，以充足适应人类的思维习性 用户输入接口可以分为简略接口和庞杂接口两种
简略接口只提供用户输入查询串的文本框-庞杂接口可以让用户对查询入行限制，如逻辑运算（与、或、非-+、-）、相近关系（相邻、NEAR）、域名范畴（如.edu、.com）、呈现地位（如题目、内容）、信息时光、长度等等目前一些公司和机构正在斟酌制订查询选项的尺度