令人毛骨悚然一个简单的Node.js网络爬虫,可将下载的文件转换为Markdown。为什么是另一个爬虫?我只是想要一些简单的方法将我的PmWiki转换为一组Markdown文件。我希望能够将我在wiki中建立的特殊语义转移到基于文件的系统。Kreepy允许您做类似的事情,并且使用简洁的代码库很容易理解和扩展。请注意,这是一个非常小的实现,并且没有处理很多边缘情况。
入门使用Kreepy,您将抓取逻辑放入app.js
,覆盖engine.js
Engine类提供的功能。提供的app.js
以爬取我的PmWiki,并演示了如何执行此操作。
令人毛骨悚然的逻辑:这里有一个关于Kreepy如何运行的简要说明:
- 加载网址:通过
engine.start()
启动Kreepy,它将第一个URL添加到它继续处理的队列中。如果config.c
...
暂无评论