大数据分析平台技术及IBM解决方案
大数据简介 – 什么是大数据 – 大数据新技术 – 大数据价值链 IBM大数据分析平台架构 电信运营商大数据应用场景SmarterAnalytics大数据特性:4个"V"Vo|ume有效地处velocity应对不断增加vae收集分析更多类理日益增加的数据的数据流动性型的数据容量50X35ZB300亿RFD传感器及事件80%是非结处理构化的数据20102020Veracity建立大数1/3业务决策者不信任共用于决策的信息据源的真实性“大数据”属于低密度价值数据,具有价值的数据隐藏在大量的噪音和昇常数据屮,因此真实性是大数据分析的最大挑战之C 2015 IBM CorporationSmarterAnalytics大数据时代的技术变革雳求技术描述结构化数据处理大数据时代Data Warehouse并行处理引擎引入的新技术海量非结构化、Hadoop结构化数据存储分布式文件系统Map Reduce尺实时数据处理....oo%:. Streaming Data流计算引擎非结构数据分析Text Analytics Engine文木内容分词与分析Visual Data Modeling图像、音视频分析各类信悬整合xETL, Data Quality信息整合、元数据Meta Data Governance4C 2015 IBM CorporationSmarteranalytics大数据与传统数据的关系超越和补充传统数据处理技术传统传统关系型数据处理数据源Database At-Rest dataResultsWarehouse Analytics实时非传统/非关系型数据处理数据源InfosphereStreamsIn-MotionUltra Low LatencyAnalyticsResults传统/关系型noosphereInternet数据源Big Insights级别海量数据Internet Scale存储与分析非传统非关系型Hadoop Data Analytics,DataResultsperatiions: Model数据源Building菲菲排菲菲o 2015 IBM Corporation5SmarterAnalytics大数据带来了计算模式的变革传统计算模式流计算模式静态数据的历史分析动态数据的实时分析流数据批处理模式结构或非结构化动态数据流查询驱动:静态数据提交查询流计算实时对流数据进行分析计算依靠数据库,数据仓库MemoryEventAlertsDiskDataStreamActionsQueriesQueriesSTORAGESTORAGEo 2015 IBM CorporationSmarterAnalyticsingtooProvisionCloudsXML Data AffinityEC2Dynamic shariAtatticsustr SQL ServerSOAC井NE Schedulers eportHadoop GpF↓十gLinuxcacche HDFS HivHbMPIaseECLIPSE WindowsOracleApacche Pig DB2AIX Visual StuchroizationerverCompute InfrastructureData Infrastructure企业在部署大数据平台的时候面临非常大的集成挑战o 2015 IBM CorporationSmarterAnalytics大数据平台还需要考虑数据安全问题●●●■大数据必须满足企业的安全要求某个查询是否人教了大是否有未经授然量的敏感数据?的/0b在运行?是否有未知的用户运行大数据的查询!?是有某个程序的算法视图坊问效感有人离开了公示数据?却运行了一个殊的0b?o 2015 IBM Corporation大数据时代数据分析应用的演进市场发展分析[全网业务分析[网络质量分析[客户体验分析[全网渠道分析[客户行为分析分折应互联网业务分析[流量分析门[智能终端分析][行业应用分析[情感分析社交网络分析合Data marts基于Had技术的海量分布式数据存储与传统关系数据库系统基于大规模并行处理(MPP)架构折平台和实时流计算引擎,面向半结构化如:DB2、 Oracle等数据仓库平台或数据仓库一体树非结构化数据和实时数据处理tL: IBM Big Insight&Infosphere Streas,如: Teradata、DB2、 Exadata、数据存储Netezza、 GreenplumEMC Greenplum等数据管理数据理ODSEDWBig datahadt数据集成传统ETL处理流数据处理A正市技术结构化数据合实时数据合个半结构化、非结构化数据数据源CRM「计费系统[营销管台[培值业务半台s.可联小、终端、WAP日志等效据Corpore?SmarterAnalytics议程大数据简介IBM大数据分析平台架构运菅分析系统参考架构大数据分析平台重要平台技术点及IBM解决方案电信运营商大数据应用场景o 2015 IBM Corporation