wiki reindexer lambda 源码

Wiki Reindexer Lambda函数。 函数的集合,用于与的搜索引擎相关的任务。 这些功能通过平台进行管理和部署。 功能 push_hook 该功能已连接到 ,因此可以通过URL进行访问。 该URL被配置为的Web挂钩,当推送到存储库时触发。 该函数所做的全部就是调用run_crawler函数并返回。 此函数本身不会进行任何爬网,因为由于已连接到API网关,因此它需要在30秒内返回,并且爬网可能需要更长的时间。 run_crawler 该函数由push_hook函数调用。 首先,它Hibernate了几分钟,使Jekyll有机会为Wiki构建GitHub Pages网站。 然后,它使用模块为网站建立,使用将HTML转换为文本,然后将文本索引到我们的域中。 delete_orphans 该函数每2个小时按计划调用一次。 它从Wiki检索所有URL(使用run_crawl