NULL博文链接:https://coolsunchen.iteye.com/blog/2242076Arch Summit明略 Hadoop实践之道明略数据杨威InfoQMININGLAMP明略数据MININGLAMP明略数据Outline明略数据简介明略金融大数据平台案例分享·案例背景·几个典型需求场景以及明略解决方案Arch Summit全球架构师峰会Powered by InfoQMININGLAMP明略数据明略数据简介方DISCOVER BUILDRELATIONSHIPS THROUGHDATA CONNECTIVITY中国最领先的大数据整体解决方案提供商吧路数胞具有自主知识产大数技术,为全行业供端到国的大数决方需,利用数阻的连性,发大数的我正价jiaozhen值,决企业乃中国实际的,困难的,最要的发MININGLAMPArch Summit全球架构师峰会Powered by InfoQMININGLAMP明略数据金融大数据平台案例背景50TB14个妈户函索供《g成)、读扩展到100TB业务系统恋案数据中必t水数盘中在信误碳全流水传统存储的扩容成本难分孙绽水以接受周边业务系统交互复杂,结算系统说水交要说水·一代始水需要考虑数据分级存储逻辑繁杂,定向胜平台系加工,处型存尽下分支机汇总类百户交拉据实时文交量文件交互6大终满交器80个里受分不同业务主愿,获4毕汇总后参线计各蛋系析业务功能汇总口径数三穷平台管系统使用 Oracle存储过程编随机查询、固定报表写,难以有效应对口径交童务数乒示动多维分析、数据下发等的变化普心新一代数据中引水神人达数入还到清对文人风险系统5秒300亿务器k交易流水导入/实时满水同步500TPs下结筧一去货导入受金系的业务流水总分公司希望連行业务创新,保小时级处理是理想的业持业界的先迪性,实时UnkeN的提供服务务目标,查询要求分钟LDAPArch Summit全球架构师峰会Powered by InfoQMININGLAMP明略数据金融大数据平台案例背景Questions户的问题我们具有大量的基于关系数据库的传统业务系统性能问题我们想发展新业务更复杂的更实时的报表业务更新型的数据挖掘应用Arch Summit全球架构师峰会Powered by InfoQMININGLAMP似乎是一个很典型但是没什么特别的犬数据项目?报表查询网服风险系统持卡人画像消费预测‖数据魔方商圈聚类现有数据平台明略大数据平台Congos汇总结果汇总数据数据权阡OozieBaseOn oracle计算工备份OLAP理任务调度DDL DML JDBC Exporter(管理工查询引擎具业条数据北数数据元数据Hadoop数据仓库Arch Summit全球架构师峰会Powered by InfoQMININGLAMP明略数据还是有一些问题的实际并没有那么简单45报表查询网服风险系统持卡人画像消费预测数据魔方商圈聚类现有数据平台明略大数据平台Congos32汇总结果汇总数据数据权阡OozieBaseOn oracle计算工备份OLAP管理任务调度DDL DML JDBC Exporter(管理工查询引擎具1业条数据北数数据1数据增量同步元数据2数据权限3.百亿数据、百万用户的OLAPHadoop数据仓库4消费预测5商圈聚类6客户画像Arch Summit全球架构师峰会Powered by InfoQMININGLAMP明略数据问题1.关系数据库到 Hadoop的增量同步+++典6萨*函函J司(分p关系型数R01%山心Body Mass index据库中的数据在丌1朵%断变化前台业务三1B23挡甲野們操作人员0rrHDFS文件96S9G99orGt系统又丌Sr3支持修改,066增量数据如何同步?IumE.HETArch Summit全球架构师峰会Powered by InfoQ