网络爬虫 DotnetCrawler是一个简单,轻量级的Web爬网/抓取库,用于基于dotnet core的Entity Framework Core输出。 该库的设计与其他强大的爬网程序库(如WebMagic和Scrapy)类似,但用于实现可扩展的自定义要求。 您可以在中找到该库的详细说明 有关详细说明: : 入门 该项目旨在提供EF.Core数据库插入,但是它具有非常大的规模体系结构,可以实现您的自定义方案。 因此,对于Web爬虫/抓取框架,体系结构的主要设计非常普遍,您可以看到下图。 如上图所示,在此库中创建了包括DotnetCrawler.Request-Downloader-