总项目 0,大数据生态解决方案数据平台 数据平台: bdp-dataplatform:基于大数据、数据平台、微服务、机器学习、商城、自动化运维、DevOps、容器部署平台、数据平台采集、数据平台存储、数据平台计算、数据平台开发、数据平台应用搭建的大数据解决方案。 数据来源: 商城:使用SpringBoot,Java,Vue,React,Android开发多端商城,包括网站、App、微信小程序; 日志:使用Java开发服务端日志、客户端日志收集系统,使用DataX实现数据的导入导出系统; 爬虫:爬虫平台支持可配置的爬取公网数据的任务开发; 数据存储: 分布式文件系统使用HDFS,分布式