competition scraper:收集和收集舞厅比赛数据的程序 源码

宴会厅比赛刮板 该系统旨在从O2CM等网站收集有关舞厅比赛的数据,以分析结果和排名。 确保您安装了以下软件包: libpq开发 PostgreSQL python3-tidylib 确保您已安装以下python软件包: urllib3 pytidylib bs4 pygresql 另外,您将需要一个数据库,该数据库以src / config.json中指定的配置运行,并且指定的数据库中装有src / db中SQL文件。 该存储库分为几个软件包: 。 crawler.py创建运行webparsing框架的线程的脚本 D b比赛数据库对象的访问器和对象 测试用于在存储库中测试代码的unittest软件包 效用 网页解析器单页解析器和其他Webparsing框架代码 要运行搜寻器,您只需要运行: $ python3 crawler.py --numWorkers <number-o