- 博客(0)
- 资源 (1)
空空如也
( heritrix-1.14.4.zip )
Heritrix是一个开源，可扩展的web爬虫项目。Heritrix设计成严格按照robots.txt文件的排除指示和META robots标签。Heritrix是一个爬虫框架，可加如入一些可互换的组件。 它的执行是递归进行的，主要有以下几步： 1。在预定的URI中选择一个。 2。获取URI 3。分析，归档结果 4。选择已经发现的感兴趣的URI。加入预定队列。 5。标记已经处理过的URI
2011-12-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人