wiki reindexer lambda 源码
Wiki Reindexer Lambda函数。 函数的集合,用于与的搜索引擎相关的任务。 这些功能通过平台进行管理和部署。 功能 push_hook 该功能已连接到 ,因此可以通过URL进行访问。 该URL被配置为的Web挂钩,当推送到存储库时触发。 该函数所做的全部就是调用run_crawler函数并返回。 此函数本身不会进行任何爬网,因为由于已连接到API网关,因此它需要在30秒内返回,并且爬网可能需要更长的时间。 run_crawler 该函数由push_hook函数调用。 首先,它Hibernate了几分钟,使Jekyll有机会为Wiki构建GitHub Pages网站。 然后,它使用模块为网站建立,使用将HTML转换为文本,然后将文本索引到我们的域中。 delete_orphans 该函数每2个小时按计划调用一次。 它从Wiki检索所有URL(使用run_crawl
文件列表
wiki-reindexer-lambda-master.zip
(预估有个11文件)
wiki-reindexer-lambda-master
pylintrc
17KB
handler.py
2KB
crawl_wiki.py
7KB
Pipfile.lock
30KB
README.md
6KB
Pipfile
318B
serverless.yml
4KB
.gitignore
214B
notes.md
404B
暂无评论