阿里的HBase业务和容灾实践

阿里的HBase业务和容灾实践，阿里穆公大作，深入阿里内部使用，使用方向推荐必备。淘宝网Taobao. com简介Nosal: column-based storage system· Large volume of dataHigh write(esp random)through-put/Goodramdon read performanceRange queryRoW-base transactionAuto-sharding· Compare to bigtab|eHbase Based on Hadoop HdFS or other HDFSBigtable based on GFS淘宝网Taobao. comLarge volume三层索引结构Region的大小默认最大是256M按照平均128M算;User table1假设:一个 rowley1KBOther1. Root table 128M=128* 1024KBMETADATA二二二二tablets即27*2A10=2^17 bucket2. Meta table: (2A172=234 bucketRoot tablet3.记录数:2A51条记录file (1st META DATA te bletUsertableN二二Figure 4: Tablet location hierarchy淘宝网Taobao. com其它特征·三层B+树的扩展 LSMTree适合于范围查询Rockey的字母顺序来排序(byte数组存储)RoW-base事务级别仅限于 rockey级别Auto-shardingRegion的自动sp|move问题:牺牲了CAP中的?I Jim Gray and Franco Putzolu, The Five Minute Rule for Trading Memory for Disk Accesses and The 10 ByteRule for Trading memory for CPU Time", Proceedings of the 1987 ACM SIGMOD Conference pp 395-398型四已有适合的使用场景海量数据写入历史数据批量写入消息类(类似 Facebook的 message)消息类Schema-free业务监控LOG-Append类的业务全网志全网每天上百亿大表的复杂/多维度索引检索索引,主数据在mysq分析类大批量读取HBase+缓存TAR淘宝网Taobao. com现有集群状况集群名称TPs(avg1111最是高QPs(a1111最是高版本业务7k1.8W1.6W3.4W0.90.2业务1.8W2W2W1.4W业务3W2W5W业务1k2k2k6k业务2.5W5W2WOW业务10W25W(最高50w)W2W0.94业务4W20W(压测)2k3W(压测)0.94业务每天RT在0.90.22-3kWms级别定制版业务10W25W15W100W0.94业务3k1.4W3k6k0.94业务1.5W2W6k8k0.94淘宝网Taobao. com与 MYSQL的对比场景HBase优点 HBase缺点 MySQL优点 MySQL缺点业务表使用使用简单不过没有SQL有SQL;分库分库后张表即可分表,灵活更新模式插入多的适合 UPdate差DML二级索引策略需借助索引表强DDL问题客户端接口灵活自己掌握无标准 SQLSQL写性能非常强顺序写入时瓶较强几千tps/单套颈在一台rs读性能较强;支持依赖内存很强;支持依赖索弓scanscan可扩展性强借助愚公/弱datax工具可动态扩展运维方便自己定制不够成熟成熟DDL时间短;92版若有索引表, Create index时间长; block本可以在线需要自己填充即可以稳定性 CAP CPAP淘宝网Taobao. comNOSQL使用情况ALIBABAHbase/otsBAIDUBAILING/ARMORUITENCENTTDB/TSSD· FACEBOOKHBASET1http://wenku.it168.com/d000926299.shtml淘宝网Taobao. com大纲简介·数据模型·业务设计立品线使用建议·容灾总结