搜寻引擎的任务进程大致上能够分红三个阶段。
（1）匍匐和抓取：搜寻引擎蛛蛛经过追踪链接拜访主页，失掉页面代码取出数据库。
（2）预解决：索引顺序对于抓取来的页面数据停止文字提取、中文分词、索引等解决，以备名次顺序调用。
（3）名次：使用者输出要害词后，名次顺序调用索引库数据，打算有关性，而后按定然体例生成搜寻后果页面。
匍匐和抓取
匍匐和抓取是搜寻引擎任务的第一步，实现数据搜集的使命。
1．蛛蛛
搜寻引擎用于匍匐和拜访页面的顺序被称为蛛蛛（），也称为工具人（）。
搜寻引擎蛛蛛拜访站点页面时相似于一般使用者运用的阅读器。蛛蛛顺序收回页面拜访要求后，效劳器前往代码，蛛蛛顺序把收到的代码取出原始页面数据库。搜寻引擎为了进步匍匐和抓取进度，都运用多个蛛蛛并发散布匍匐。
蛛蛛拜访任何一度站点时，都会先拜访站点根节目下的.资料。假如.资料制止搜寻引擎抓取某些资料或者节目，蛛蛛将恪守协定，没有抓取被制止的站点。
和阅读器一样，搜寻引擎蛛蛛也有表明本人身份的代理称号，站长能够正在日记资料中看到搜寻引擎的一定代理称号，从而辨识搜寻引擎蛛蛛。上面列出罕见的搜寻引擎蛛蛛称号：
&; +（+:...） 度娘蛛蛛
&; z5.0 （; ！  ; :....） 雅虎中国蛛蛛
&; z5.0 （; ！ 3.0; :..） 英优雅虎蛛蛛
&; z5.0 （; 2.1; +:...） 蛛蛛
&; 1.1 （+:...） 微软 蛛蛛
&; +++（+:...#07）搜狗蛛蛛
&; +（+:...） 搜搜蛛蛛
&; z5.0 （; 1.0; :..; ） 有道蛛蛛
2．追踪链接
为了抓取网上过分多的页面，搜寻引擎蛛蛛会追踪页面上的链接，从一度页面爬到下一度页面，就如同蛛蛛正在蛛网上匍匐这样，这也就是搜寻引擎蛛蛛某个称号的由来。
整个互联网络是由彼此链接的站点及页面组成的。从实践上说，蛛蛛从任何一度页面起程，顺着链接都能够匍匐到网上的一切页面。千万，因为站点及页面链接构造异样简单，蛛蛛需求采取定然的匍匐战略能力遍历网上一切页面。
最容易的匍匐遍历战略分成两种，一种是深浅优先，另一种是广度优先。
叫做深浅优先，指的是蛛蛛沿着发觉的链接没有断向前匍匐，直到后面再也没有其余链接，而后前往到第一度页面，沿着另一度链接再没有断往前匍匐。
如图220所示，蛛蛛追踪链接，从页面匍匐到1，2，3，4，到4页面后，曾经没有其余链接能够追踪就前往页面，顺着页面上的另一度链接，匍匐到1，2，3，4。正在深浅优先战略中，蛛蛛没有断爬到无奈再向前，才前往爬另一条线。
广度优先是指蛛蛛正在一度页面上发觉多个链接时，没有是顺着一度链接没有断向前，而是把页面上一切第一层链接都爬一遍，而后再沿着第二层页面上发觉的链接爬向其三层页面。
如图221所示，蛛蛛从页面顺着链接匍匐到1，1，1页面，直到页面上的一切链接都匍匐完，而后再从1页面发觉的下一层链接，匍匐到2，3，4，&;&;页面。
图220 深浅优先遍历战略
图221 广度优先遍历战略
从实践上说，没有管是深浅优先还是广度优先，只需给蛛蛛剩余的工夫，都能爬完好个互联网络。正在实践任务中，蛛蛛的带宽资源、工夫都没有是有限的，也没有能够爬完一切页面。实践上的搜寻引擎也但是匍匐和收录了互联网络的一小全体。
深浅优先和广度优先一般是混合运用的，那样既能够携带到过分多的站点（广度优先），也能携带到一全体站点的内页（深浅优先）。
3．吸收蛛蛛
由此可见，固然实践上蛛蛛能匍匐和抓取一切页面，但实践上没有能、也没有会这样做。人员要想让本人的更多页面被收录，就要千方百计吸收蛛蛛来抓取。既是没有能抓取一切页面，蛛蛛所要做的就是过分抓取主要页面。哪些页面被以为比拟主要呢？有多少范围反应要素。
1、站点和页面权重。品质高、资历老的站点被以为权重比拟高，这种站点上的页面被匍匐的深浅也会比拟高，因为会有更多内页被收录。
2、页面复旧度。蛛蛛历次匍匐都会把页面数据存储兴起。假如第二次匍匐发觉页面与第一次收录的彻底一样，注明页面没有复旧，蛛蛛也就没有多余时常抓取。假如页面形式时常复旧，蛛蛛就会愈加屡次地拜访这种页面，页面上涌现的新链接，也做作会被蛛蛛更快地追踪，抓取新页面。
3、导出链接。没有管是内部链接还是同一度站点的外部链接，要被蛛蛛抓取，就必需有导出链接进入页面，要不蛛蛛基本没无机会晓得页面的具有。高品质的导出链接也时常使页面上的导入链接被匍匐深浅增多。
4、与BOB游戏APP官网·(官网)登录入口点击间隔。正常来说站点上权重最高的是BOB游戏APP官网·(官网)登录入口，大全体内部链接是指向BOB游戏APP官网·(官网)登录入口的，蛛蛛拜访最屡次的也是BOB游戏APP官网·(官网)登录入口。离BOB游戏APP官网·(官网)登录入口点击间隔越近，页面权重越高，被蛛蛛匍匐的时机也越大。
4．地点库
为了防止反复匍匐和抓取站点，搜寻引擎会构建一度地点库，记载曾经被发觉还没有抓取的页面，以及曾经被抓取的页面。
地点库中的有多少个起源：
（1）野生录入的果实站点。
（2）蛛蛛抓取页面后，居中解析出新的链接，与地点库中的数据停止比照，假如是地点库中没部分站点，就取出待拜访地点库。
（3）站长经过搜寻引擎主页提交表格提交出去的站点。
蛛蛛按主要性从待拜访地点库中提取，拜访并抓取页面，而后把某个从待拜访地点库中芟除，放进已拜访地点库中。
大全体支流搜寻引擎都需要一度表格，让站长提交站点。没有过该署提交来的站点都但是存上天址库罢了，能否收录还要看页面主要性如何。搜寻引擎所收录的绝大全体页面是蛛蛛本人追踪链接失去的。能够说提交页面根本上是毫顶用途的，搜寻引擎更喜爱本人沿着链接发觉新页面。
5．资料存储
搜寻引擎蛛蛛抓取的数据取出原始页面数据库。内中的页面数据与使用者阅读器失去的是彻底一样的。每个都有一度共同的资料编号。
6．匍匐时的复制形式检测
检测并芟除复制形式一般是正在上面引见的预解决进程中停止的，但现正在的蛛蛛正在匍匐和抓取资料时也会停止定然水平的复制形式检测。遇到权重很低的站点上少量连载或者剽窃形式时，很能够没有再接续匍匐。这也就是部分站长正在日记资料中发觉了蛛蛛，但页面素来没有被真正收录过的缘由。