bigdataProject:使用brawlstars api进行抓取并保存到hadoop 源码
大数据项目 브롤스타즈api를이용한터수집이터수집 프로젝트 파이썬을이용해로그 mysql테이블에 mysql의터를이터를스쿱을이용해hdfs로이동 hdfs파일을하이브외부테이블이디렉토리로이동 제플린에서하이브를이용해데이터를 데이터 获取(/ rankings / {countryCode} / players)플레랭커들의이어태그를태그를 Get(/ players / {playerTag} / battlelog)플레이어배틀로배틀 데이터 Python DB_connection.py sqlalchemy的python的vm的mysql的다。 crawl
文件列表
bigdataProject-master.zip
(预估有个27文件)
bigdataProject-master
crawling_code
.DS_Store
6KB
DB_connection.py
190B
ranking.py
579B
battlelog.py
3KB
crawling_ranking.py
410B
__pycache__
DB_connection.cpython-37.pyc
327B
crawling_ranking.cpython-37.pyc
1KB
暂无评论