开源力量公开课第26期 大数据的实时分析与应用案例分享 吴朱华
大数据的时代 〉来自麦肯锡的报告,未来的10年里,数据和内容将增长44 倍,并且这些数据有无法估量的价值; 岀现很多以数据为资产的行业,数据本身和数据相关的分析 能力决定了整个公司的核心竞争力。比如互联网广告,金融 机构,大数据实时分析工具对他们而言,就等同于竞争武 器,快或慢一秒钟,往往就意味着财富的得与失 关于各种数据的创新想法层出不穷, Google,关联关系 等 PEoplEYun 大数据的好处 More Findings(更多的发现),比如说,一家快消公司现在不仅可以获得具 体销售数据来判断产品的走势,而且可以抓取网页来进行舆情方面的分析,来 帮助他们进行决策,比如,一个男性护肤品公司在通过分析网页,从而产生的 舆情信息来判断在亚洲杯投广告比在世界杯投广告更合适。 Deep Insights(更深入的挖掘),比如说,另一家快消公司,现在不仅能获 知那些人是他们的顾客,而且能获取更多关于这些顾客的信息,比如,年龄, 性别,工资和所在地等,从而能对客户进行画像,从而能发展更多同类型的客 户或者其他相关类似的客户 丶 Priceless results(无价的结果),我们有一个客户,他们是做车联网,他们有 几十万台终端,这些终端每隔一段时间会发具体位置的消息给后端的数据集 群,之后这些集群会分析一下这些海量的位置信息,最终分析出那些路段在什 么时候比较堵,之后将这些非常有价值信息推送给客户,帮助用户减少在路上 的受消耗的时间,假如北京所有司机都能使用这种服务,我觉得天下第一堵将 不再是帝都的专利 PEoplEYun 大数据需求 业务 终端数量激增新兴数据分析决定竞争力 例如智能电网: 社交网络 一个业务系统每 大 电商实时 天20亿条记录 数据挖 大 快 掘,广告 跟踪 部署 传统 简单 新兴 行业 例如电信账单分拣: 阿里巴巴:从商品销 从两周到一天 售到保险信贷转型 快 快 般务质量提开 竞争格局改变 传统 PEoplEYun 大数据生态发展的三个阶段 第一个阶段:自身业务需求产生大量数据,利用这些数据, 通过深入证析,优化相关业务 第二个阶段:搜集与目标业务直接或间接关联的大量异质数 据,建立复杂的分析和预测模型,产生针对目标业务的输 出 第三个阶段:随着整体数据相关的法律不断补充,以及技术 不断成熟,形成一个完善的数据生态,包括数据市场,数据 运营商和数据商店等。 PEoplEYun 大数据技术发展的三个阶段 第一个阶段:先将大量数据先存下来,并做初步和简单的处 理和分析 第二个阶段:对大数据,实时处理和分析的趋势非常明显, 用户越快越好,越实时越好; 第三个阶段:用户会有更多全面数据分析需求,包括SQL、 挖掘算法,以及以 Deep Learning为代表机器学习技术。 PEoplEYun 什么是大数据实时分析? 就是在几秒或者一秒內完成对亿万级数据的处理和分析 快:10秒以内,100毫秒为佳; 大:数据应该是10亿/TB以上级别; 分析操作多样:可以是简单的查询,也可以是逻辑复杂的 算法和数据分析; PEoplEYun 大数据实时分析的目的 实时决策能力; 提高业务效率 〉快速智能发现新观点和商业机会; 提供业务产出; 提升∏率; PEoplEYun 大数据实时分析场景 目标市场 他行业 高频易 联网 量化交易 互联网与电商 用户行为分新 大数据资产 电信 务文撑系统 商品模型分折 统一营帐 信用分新 商业智能 离厂丝 用地信集分 PEoplEYun
暂无评论