DotnetSpider是开源的.NET跨平台数据采集爬虫框架。需要 Scheduler，Downloader，Processor，Pipeline四部分。