基于网站目录及链接关系的Spider爬行策略,刘亦科,山岚,现有针对高质量网页的网络机器人爬行策略都是将单个网页作为统计计算的基本单位,这样的爬行策略虽然可以获得一部分高质量网页,