Java爬虫引擎cfw.http.jar详解

这个Java爬虫引擎基于HttpClient技术实现，具备http和https协议的支持，并提供了自定义UserAgent和Header的功能。它还能够处理Proxy代理，允许进行HTML和图片的抓取任务。该框架的核心模块分为三个部分：WebClient、Webquest和ResponseResult。WebClient负责资源下载，Webquest用于处理请求，包括自定义UserAgent、Header和Proxy设置，ResponseResult则涉及响应的各个方面，包括响应头、响应流以及响应cookie等内容。已对HTML抓取功能进行了充分测试。