网易杭研大数据实践:ApacheHive稳定性测试

Hive是Apache开源的数据仓库工具,主要是将基于Hadoop的结构化数据文件映射为数据库表,并提供类SQL查询功能。Hive最初的目标是为了降低大数据开发的门槛,它屏蔽了底层计算模型的复杂开发逻辑,类SQL的查询功能也便于数据应用的开发,但Hive并不适合哪些低延迟的查询服务,如联机事务处理(OLTP)类查询,主要用于离线数据分析,数据量一般都巨大,一般会有分钟级的查询延迟。随着大数据的发展,Hive衍生出了基于Thrift的RPC服务Hiveserver2、Metastore,便于进行规模化的运维及扩展。网易杭研研发的大数据平台网易猛犸的数仓建设及离线分析均是基于Hive,权限、血缘及