搜索引擎（Search Engine）是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。搜索引擎包括全文索引、目录索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、门户搜索引擎与免费链接列表等。

定义

一个搜索引擎由搜索器 、索引器 、检索器 和用户接口 四个部分组成。搜索器的功能是在互联网 中漫游，发现和搜集信息。索引器的功能是理解搜索器所搜索的信息，从中抽取出索引项，用于表示文档 以及生成文档库的索引表。检索器的功能是根据用户的查询在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并实现某种用户相关性反馈机制。用户接口的作用是输入用户查询、显示查询结果、提供用户相关性反馈机制。

组成

搜索引擎一般由搜索器、索引器、检索器和用户接口四个部分组成。

搜索器

其功能是在互联网中漫游，发现和搜集信息。

索引器

其功能是理解搜索器所搜索到的信息，从中抽取出索引项，用于表示文档以及生成文档库的索引表。

检索器

其功能是根据用户的查询在索引库中快速检索文档，进行相关度评价，对将要输出的结果排序，并能按用户的查询需求合理反馈信息。

用户接口

其作用是接纳用户查询、显示查询结果、提供个性化查询项。

分类

全文索引

搜索引擎分类部分提到过全文搜索引擎从网站提取信息建立网页数据库的概念。搜索引擎的自动信息搜集功能分两种。一种是定期搜索，即每隔一段时间（比如Google一般是28天），搜索引擎主动派出“蜘蛛”程序，对一定IP地址范围内的互联网网站进行检索，一旦发现新的网站，它会自动提取网站的信息和网址加入自己的数据库。另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，它在一定时间内（2天到数月不等）定向向你的网站派出“蜘蛛”程序，扫描你的网站并将有关信息存入数据库，以备用户查询。随着搜索引擎索引规则发生很大变化，主动提交网址并不保证你的网站能进入搜索引擎数据库，最好的办法是多获得一些外部链接，让搜索引擎有更多机会找到你并自动将你的网站收录。

当用户以关键词查找信息时，搜索引擎会在数据库中进行搜寻，如果找到与用户要求内容相符的网站，便采用特殊的算法——通常根据网页中关键词的匹配程度、出现的位置、频次、链接质量——计算出各网页的相关度及排名等级，然后根据关联度高低，按顺序将这些网页链接返回给用户。这种引擎的特点是搜全率比较高。

目录索引

目录索引也称为：分类检索，是因特网上最早提供WWW资源查询的服务，主要通过搜集和整理因特网的资源，根据搜索到网页的内容，将其网址分配到相关分类主题目录的不同层次的类目之下，形成像图书馆目录一样的分类树形结构索引。目录索引无需输入任何文字，只要根据网站提供的主题分类目录，层层点击进入，便可查到所需的网络信息资源。

虽然有搜索功能，但严格意义上不能称为真正的搜索引擎，只是按目录分类的网站链接列表而已。用户完全可以按照分类目录找到所需要的信息，不依靠关键词（Keywords）进行查询。

与全文搜索引擎相比，目录索引有许多不同之处。

首先，搜索引擎属于自动网站检索，而目录索引则完全依赖手工操作。用户提交网站后，目录编辑人员会亲自浏览你的网站，然后根据一套自定的评判标准甚至编辑人员的主观印象，决定是否接纳你的网站。其次，搜索引擎收录网站时，只要网站本身没有违反有关的规则，一般都能登录成功；而目录索引对网站的要求则高得多，有时即使登录多次也不一定成功。尤其像Yahoo这样的超级索引，登录更是困难。

此外，在登录搜索引擎时，一般不用考虑网站的分类问题，而登录目录索引时则必须将网站放在一个最合适的目录（Directory）。

最后，搜索引擎中各网站的有关信息都是从用户网页中自动提取的，所以用户的角度看，我们拥有更多的自主权；而目录索引则要求必须手工另外填写网站信息，而且还有各种各样的限制。更有甚者，如果工作人员认为你提交网站的目录、网站信息不合适，他可以随时对其进行调整，当然事先是不会和你商量的。

搜索引擎与目录索引有相互融合渗透的趋势。一些纯粹的全文搜索引擎也提供目录搜索，如Google就借用Open Directory目录提供分类查询。而像Yahoo! ；这些老牌目录索引则通过与Google等搜索引擎合作扩大搜索范围（注）。在默认搜索模式下，一些目录类搜索引擎首先返回的是自己目录中匹配的网站，如中国的搜狐、新浪、网易等；而另外一些则默认的是网页搜索，如Yahoo。这种引擎的特点是找的准确率比较高。

元搜索

元搜索引擎（METASearch Engine）接受用户查询请求后，同时在多个搜索引擎上搜索，并将结果返回给用户。著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等，中文元搜索引擎中具代表性的是搜星搜索引擎。在搜索结果排列方面，有的直接按来源排列搜索结果，如Dogpile；有的则按自定的规则将结果重新排列组合，如Vivisimo。

垂直搜索

垂直搜索引擎为2006年后逐步兴起的一类搜索引擎。不同于通用的网页搜索引擎，垂直搜索专注于特定的搜索领域和搜索需求（例如：机票搜索、旅游搜索、生活搜索、小说搜索、视频搜索、购物搜索等等），在其特定的搜索领域有更好的用户体验。相比通用搜索动辄数千台检索服务器，垂直搜索需要的硬件成本低、用户需求特定、查询的方式多样。

集合式搜索

集合式搜索引擎：该搜索引擎类似元搜索引擎，区别在于它并非同时调用多个搜索引擎进行搜索，而是由用户从提供的若干搜索引擎中选择，如HotBot在2002年底推出的搜索引擎。

门户搜索

门户搜索引擎：AOLSearch、MSNSearch等虽然提供搜索服务，但自身既没有分类目录也没有网页数据库，其搜索结果完全来自其他搜索引擎。

免费链接

免费链接列表（Free For All Links简称FFA）：一般只简单地滚动链接条目，少部分有简单的分类目录，不过规模要比Yahoo！等目录索引小很多。

工作原理

第一步：爬行

搜索引擎是通过一种特定规律的软件跟踪网页的链接，从一个链接爬到另外一个链接，像蜘蛛在蜘蛛网上爬行一样，所以被称为“蜘蛛”也被称为“机器人”。搜索引擎蜘蛛的爬行是被输入了一定的规则的，它需要遵从一些命令或文件的内容。比如：蜘蛛如果跟踪链接想去爬行一个站点的时候，先要通过robots文件说明，如果robots文件不允许蜘蛛爬行的话，蜘蛛是不能跟踪链接的。当然，蜘蛛也需要理解HTTP返回码、nofollow标签、mate标签等等，所以蜘蛛的爬行是在一定规律和要求下进行的。除了搜索引擎蜘蛛要遵循的一些规则外，还有一些搜索引擎蜘蛛无法做到的事情。比如：要求注册的站点，FLASH里的链接，图片里的链接等等。所以，我们了解搜索引擎蜘蛛爬行的时候，不能一味的认为搜索引擎蜘蛛无所不能。

第二步：抓取存储

搜索引擎是通过蜘蛛跟踪链接爬行到网页，并将爬行的数据存入原始页面数据库。其中的页面数据与用户游览器得到的HTML是完全一样的。搜索引擎蜘蛛在抓取页面是，也做一定的重复内容检测，一旦遇到权重很低的网站上有大量抄袭、采集或者复制的内容，很可能就不在爬行。这也就是为什么有一些采集站的数据量很大，但是收录量很低的原因。不过，大部分的去重工作，还是在预处理阶段进行。

第三步：预处理

搜索引擎将蜘蛛抓取回来的页面，进行各种步骤的预处理。

1、提取文字

现在搜索引擎的排名,还是主要以文字内容为基础。蜘蛛抓取到数据库里的原始页面文件，需要进行文字提取，去除页面中的标签、JS程序、图片等无法用于排名的内容。当然，搜索引擎也会提取游览器中发现显示的标签文字、图片注释文字、FLASH注释文字和锚文本文字等。

2、中文分词

中文分词主要是针对中文搜索引擎的特有步骤，英文搜索引擎不存在这个步骤。由于中文字和词是连载一起的，搜索引擎要分辨哪些字组成的一个词，所以进行一种分词步骤。中文分词一般都是按照两种方法，一种是词典匹配;一种是基于统计分析。词典匹配比较容易理解，是根据以往词典中出现的词语匹配。而基于统计分析，主要是分析大量的文字样本，计算出字与字相邻出现的频率，来判断是不是一个词。在这里，我们就比较容易理解关键词里所说到的完全匹配，基本上是基于词典匹配，反之则是根据统计分析出来的词。

3、去停词

去停词主要是去除对内容无关紧要的一些助词(如中文的：的，地，哈。英文的the.a,an等)，使索引数据主题更为突出，减少无谓的计算量。

4、消除噪音

消除噪音主要是去除一些对页面主题内容没什么贡献，并且大量重复出现的文字。比如，导航、页脚、和广告等

5、去重

去重处理，其实就是搜索引擎判断是否原创的一种计算方式。一般情况，搜索引擎运用的方法是对页面特征关键词计算指纹，也就是说从页面主题内容中选取最有代表性的一部分关键词，然后计算这些关键词的数字指纹。实验证明，一般复制的内容即使增加了的、地、哈等文字或者把段落重新组合，都能被搜索引擎轻易判断出来。这些只能从推理上来理解，现阶段的搜索引擎还不能完全判断原创内容，因为还会涉及到页面被抓去的时间的先后，网站的信任度等很多方面的信息。

6、正向索引

正向索引主要是指搜索引擎在完成了以上5个步骤后，就得到了独特的、能反应页面内容的、以词为单位的内容。搜索引擎就可以分词程序划分好的词，把页面转化成关键词组成的集合。搜索引擎索引程序将页面及关键词形成词表的结构存储进索引库。实际上在搜索引擎索引库中，关键词也已经转换成为关键词的ID，这样的数据库结构就称为正向索引。

7、倒排索引

倒排索引是指搜索引擎将正向索引数据库重新构造为倒排索引，把文件对应到关键词的影视转换为关键词到文件的映射。在倒排索引中是以关键词为主，每个关键词对应着一系列文件，这些文件都出现了这个关键词。这样当用户搜索某个关键词的时候，排序程序在倒排索引中定位到这个关键词就可以马上找到所有包含这个关键词的文件。一般用户在搜索引擎中搜索关键词时，都是运用的倒排索引。

8、链接关系计算

链接关系是搜索引擎排名的重要依据。所以，搜索引擎对于大量网页的导入及导出链接、链接的权重、相关性等数据进行充分的计算，从而作为某个文件对应关键词的排序依据。

9、特殊文件处理

对于搜索引擎无法爬行和读取的flash、图片、js等文件，暂时无法作为搜索引擎的排名考量指标，仅能以特殊文件的代替文件作为唯一有价值的排序依据。

搜索引擎的预处理阶段也是在后台完成的，用户搜索时感觉不到这个过程。

除了HTML 文件外，搜索引擎通常还能抓取和索引以文字为基础的多种文件类型，如 PDF、Word、WPS、XLS、PPT、TXT 文件等。我们在搜索结果中也经常会看到这些文件类型。 但搜索引擎还不能处理图片、视频、Flash 这类非文字内容，也不能执行脚本和程序。

第四步：排名

用户在搜索框输入关键词后，排名程序调用索引库数据，计算排名显示给用户，排名过程与用户直接互动的。但是，由于搜索引擎的数据量庞大，虽然能达到每日都有小的更新，但是一般情况搜索引擎的排名规则都是根据日、周、月阶段性不同幅度的更新。

因此网站在做SEO时，对于关键词的选择有一下几点建议，主关键词与网站内容相关，不可太宽泛也不能太特殊，搜索次数多但竞争不是太激烈，有商业价值，当然具体情况还要针对不同行业具体分析，这里就不多说了。

语言判断

人们喜欢以他们所知道的语言列出的搜索结果，这对搜索营销人员是十分重要的。当一个搜索者输入上面图中的搜索请求时，只有用中文写的网页将被显示在搜索结果里面。

在有些国家，例如日本和中国，大部分搜索者想要结果限制在母语上。但是在其他地方例如瑞典，搜索可以采用瑞典语和英语来进行。不同国家的搜索者有不同的语言偏好。

对搜索营销人员而言，重要的是搜索引擎知道网页所使用的语言，如果网页没能被正确地识别，可能就会从本应发现它的搜索者面前消失，从而降低你的引荐访问。

搜索引擎判断网页所使用的语言有很多不同的方法：

语言meta标签

很多网页通过一个HTML标签来表明网页使用的语言，例如<META http-equiv=”content-language” content="ja"> ；表示使用的是日语，看起来简单，搜索蜘蛛程序读取标签，于是搜索引擎知道是什么语言了。但是相对多的语言meta标签是完全错误的，没有标签，句法错误，以及语言编码错误等等。搜索引擎确实查看这些标签，但是它们很少只从这些标签来判定网页的语言。

字符编码

计算机文件（包括HTML网页）需要“对译本（Key）”正确翻译文件中的字符（字母，数字等等）。这种对译本被称为字符编码。由网页中meta标签里声明，例如<META http-equiv=content-type content="text/html；charset=GBK">。

网站浏览器和搜索蜘蛛程序假定网页按照西方语言编码，因此使用这些语言写的网页不需要这个标签。为了浏览器显示正确，亚洲、阿拉伯和古代斯拉夫语的文本确实需要这个标签。因此，当搜索引擎看到针对这些语言的标签，它对正确显示网页的语言有了很高的保证。

内容分析

搜索引擎通过研究内容中的字符模式来最终判定网页的语言，哪怕是短到只有两句话的网页，内容分析的精确度也非常高。Meta标签只有在内容分析后还不确定的情况下才被使用。

多数情况下，搜索引擎会自行正确地判断网页的内容，对于只有很少几个词的网页，要保证网页被正确识别，正确的编码语言和meta语言标签很重要。

起源

互联网发展早期，以雅虎为代表的网站分类目录查询非常流行。网站分类目录由人工整理维护，精选互联网上的优秀网站，并简要描述，分类放置到不同目录下。用户查询时，通过一层层的点击来查找自己想找的网站。也有人把这种基于目录的检索服务网站称为搜索引擎，但从严格意义上讲，它并不是搜索引擎。

1990年，加拿大Montreal的麦吉尔大学（University of McGill）计算机学院的三名学生（Alan Emtage、Peter Deutsch、Bill Wheelan）开发出Archie（Archie FAQ）。当时，万维网（World Wide Web）还没有出现，人们通过FTP来共享交流资源。Alan Emtage等想到了开发一个可以用文件名查找文件的系统，于是便有了Archie。Archie是第一个自动索引互联网上匿名FTP网站文件的程序，但它还不是真正的搜索引擎。Archie能定期搜集并分析FTP服务器上的文件名信息，提供查找分别在各个FTP主机中的文件。Archie是一个可搜索的FTP文件名列表，用户必须输入精确的文件名搜索，然后Archie会告诉用户哪个FTP服务器能下载该文件。虽然Archie搜集的信息资源不是网页（HTML文件），但和搜索引擎的基本工作方式是一样的：自动搜集信息资源、建立索引、提供检索服务。所以，Archie被公认为现代搜索引擎的鼻祖。

由于Archie深受欢迎，受其启发，Nevada System Computing Services大学于1993年开发了一个Gopher（Gopher FAQ）搜索工具Veronica（Veronica FAQ）。Jughead是后来另一个Gopher搜索工具。

作用

搜索引擎对网站的影响

搜索引擎是网站建设中针对“用户使用网站的便利性”所提供的必要功能，同时也是“研究网站用户行为的一个有效工具”。高效的站内检索可以让用户快速准确地找到目标信息，从而更有效地促进产品/服务的销售，

而且通过对网站访问者搜索行为的深度分析，对于进一步制定更为有效的网络营销策略具有重要价值。

1、从网络营销的环境看，搜索引擎营销的环境发展为网络营销的推动起到举足轻重的作用。

2、从效果营销看，很多公司之所以可以应用网络营销是利用了搜索引擎营销。

3、就完整型电子商务概念组成部分来看，网络营销是其中最重要的组成部分，是向终端客户传递信息的重要环节。

一个网站的命脉就是流量，而网站的流量可以分为两类。一类是自然流量，一类就是通过搜索引擎而来的流量。如果搜索引擎能够能多能有效的抓取网站内容，那么对于网站的好处是不言而喻的。所以，SEO也应运而生了。

在两大搜索引擎的工作中，百度的工作周期相对来说比google短一些，百度大约在10天左右重新访问网站一次，Google大约在15天左右重新访问一次网站。由于一天之内不能游历全球所有的网站，如果推广网站时，能到更多的网站上提交相应的网站信息，也是加快蜘蛛收录网站内容的重要环节。

商务模式

在搜索引擎发展早期，多是作为技术提供商为其他网站提供搜索服务，网站付钱给搜索引擎。后来，随着2001年互联网泡沫的破灭，大多转向为竞价排名方式。

搜索引擎的主流商务模式（百度的竞价排名、Google的AdWords）都是在搜索结果页面放置广告，通过用户的点击向广告主收费。这种模式最早是比尔·格罗斯（Bill Gross）提出的。他于1998年6月创立GoTo公司（后于2001年9月更名为Overture），实施这种模式，取得了很大的成功，并且申请了专利。这种模式有两个特点，一是点击付费（Pay Per Click），用户不点击则广告主不用付费。二是竞价排序，根据广告主的付费多少排列结果。 2001年10月，Google推出AdWords，也采用点击付费和竞价的方式。2002年，Overture起诉Google侵犯了其专利。2004年8月，和Yahoo！（Yahoo！于2003年7月收购Overture）达成和解，向后者支付了270万普通股（合3亿美元不到）作为和解费。

AdSense是Google于2003年推出的一种新的广告方式。AdSense使各种规模的的第三方网页发布者进入Google庞大的广告商网络。Google在这些第三方网页放置跟网页内容相关的广告，当浏览者点击这些广告时，网页发布者能获得收入。AdSense在blogger中很受欢迎。同时，Google武断地删除一些帐号，引起部分人的不满。类似的广告方式，其他搜索引擎也先后推出。雅虎的广告方式是YPN（Yahoo Publisher Network），YPN ；除了可以在网页上显示与内容相关的广告以外，还可以通过在 RSS ；订阅中来显示广告。微软的广告计划叫AdCenter。百度也推出主题推广。