技术进展国际期刊
开放获取

抽象的

PARCAHYD：基于增强超文本文档的并行爬虫架构

AK 夏尔马、JP 古普塔、DP 阿加瓦尔

搜索引擎使用网络爬虫来收集文档以存储、索引和分析信息。由于网络的惊人增长，创建高性能的爬行系统变得至关重要。提出了对超文本文档的增强[6]，以便文档适合并行爬虫。PARCAHYD 是一个正在进行的项目，旨在设计基于增强超文本文档的并行爬虫。本文提出了这种并行爬虫的架构。