webmagic是一个开源的Java垂直爬虫框架目标是简化爬虫的开发流程让开发者专注于逻辑功能的开发webmagic的核心
webmagic的主要特色完全模块化的设计强大的可扩展性.核心简单但是涵盖爬虫的全部流程灵活而强大也是学习爬虫入门的好材料.提供丰富的抽取页面API.无配置但是可通过POJO注解形式实现一个爬虫.支持多线程.支持分布式.支持爬取js动态渲染的页面.无框架依赖可以灵活的嵌入到项目中去.
文件列表
基于java的一款webmagic开源的Java垂直爬虫框架
(预估有个318文件)
mock-github.html
113KB
mock-webmagic.html
2KB
package.html
93B
mock-github.html
113KB
package.html
95B
package.html
111B
package.html
101B
package.html
154B
package.html
111B
HEAD
24B
暂无评论