Elasticsearch亿级数据检索性能优化案例实战!
数据平台已迭代三个版本,从头开始遇到很多常见的难题,终于有片段时间整理一些已完善的文档,在此分享以供所需朋友实现参考,少走些弯路,在此篇幅中偏重于ES的优化,关于HBase,Hadoop的设计优化估计有很多文章可以参考,不再赘述。项目背景:在一业务系统中,部分表每天的数据量过亿,已按天分表,但业务上受限于按天查询,并且DB中只能保留3个月的数据(硬件高配),分库代价较高。改进版本目标:1.数据能跨月查询,并且支持1年以上的历史数据查询与导出。2.按条件的数据查询秒级返回。谈到优化,必须能了解组件的基本原理,才容易找到瓶颈所在,以免走多种弯路,先从ES的基础结构说起(如下图):
用户评论
推荐下载
-
论文研究基于期限的多请求数据检索问题研究.pdf
给定一个包含多条信道的集合以及一个包含多个请求的集合,其中每一个请求包含多个请求数据项并且希望在一定期限内下载到,基于期限的多请求数据检索问题指当客户配有多条天线时寻找一个在期限内下载多个请求的数据检
13 2020-07-16 -
Goozzodbx强大的数据检索方法以及DB无关的查询构建能力
ozzo-dbx-强大的数据检索方法以及DB-无关的查询构建能力
83 2019-12-31 -
AI Earth地球科学云平台数据检索及管理介绍
AI Earth地球科学云平台基于达摩院在深度学习计算机视觉地理空间分析等方向上的技术积累结合阿里云强大算力支撑提供多源遥感对地观测数据的云计算分析服务用数据感知地球世界让AI助力科学研究.
5 2022-12-28 -
ElasticSearch学习案例
elasticsearch 的学习案例练习 包括原理的讲解: 结构化搜索 深度探秘搜索技术 深入聚合数据分析
12 2020-11-24 -
Elasticsearch搜索案例
Spring Data 的使命是给各种数据访问提供统一的编程接口,不管是关系型数据库(如MySQL),还是非关系数据库(如Redis),或者类似Elasticsearch这样的索引数据库。从而简化开发
29 2020-11-25 -
Elasticsearch案例.zip
附件elasticsearch-6.3.0就es的windows版本带ik(也是6.3.0版本)和head插件的(已配置好的)。 案例里面是针对es的基本插入查询等操作。 两个版本一个是低版本(ela
14 2020-08-29 -
上亿级日志数据分析
上亿级日志数据分析
12 2021-02-27 -
elasticsearch性能测试
NULL 博文链接:https://mitchz.iteye.com/blog/2085365
15 2020-08-30 -
Java性能优化打造亿级流量秒杀系统视频教程附赠秒杀项目.rar
分享课程——Java性能优化 -打造亿级流量秒杀系统视频教程(附赠秒杀项目),完整版15章,附源码,非常棒的一套课程;课程中借由“电商秒杀”案例,通过多种性能优化技术,总结了互联网项目中“秒杀”的经典
49 2020-09-28 -
支付宝亿级APP的性能稳定性优化及运维实践
产品和架构演进,1.0->2.0->3.0性能及稳定性挑战、优化实践超级APP的运维体系,监控->诊断->修复架构上的容灾规划
22 2019-07-11
暂无评论