分布式视频信息爬虫videoSpider.zip
分布式视频信息爬虫,从豆瓣,bilibili等收集电视剧、电影、动漫、演员等信息,使用:requests 发送请求,BeatufulSoup解析html,SQLAlchemy 作为ORM,Alembic数据库版本控制。 使用:协程(gevent)+多进程,分布式(Celery) model:流程: 标签:videoSpider
文件列表
videoSpider-master.zip
(预估有个65文件)
videoSpider-master
alembic
env.py
2KB
script.py.mako
494B
versions
ae347beeb622_celebrities_table_add_is_detail_column.py
833B
2e43193729c3_video_table_add_total_count_column.py
809B
cc825dd0b55a_model_refactoring.py
8KB
bb7c7b46fba0_media_table_add_is_detail_column.py
816B
1b2d2f1a1d56_add_tv_and_animation_table_and_media_.py
2KB
暂无评论