搜索引擎“蜘蛛”指的是网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取信息的程序或者脚本。
基于目标网页特征的爬虫所抓取、存储并索引的对象一般为网站或网页。根据种子样本获取方式可分为:
(1)预先给定的初始抓取种子样本;
(2)预先给定的网页分类目录和与分类目录对应的种子样本[52石斛网www.52shihu.com],如Yahoo!分类结构等;
(3)通过用户行为确定的抓取目标样例,分为:
(a)用户浏览过程中显示标注的抓取样本;
(b)通过用户日志挖掘得到访问模式及相关样本。
其中,网页特征可以是网页的内容特征,也可以是网页的链接结构特征等等。