Tachyon:Spark生态系统中的分布式内存文件系统
摘要:Tachyon把内存存储的功能从Spark中分离出来,使Spark可以更专注计算的本身,以求通过更细的分工达到更高的执行效率。Tachyon是Spark生态系统内快速崛起的一个新项目。本质上,Tachyon是个分布式的内存文件系统,它在减轻Spark内存压力的同时,也赋予了Spark内存快速大量数据读写的能力。Tachyon把内存存储的功能从Spark中分离出来,使Spark可以更专注计算的本身,以求通过更细的分工达到更高的执行效率。本文将先向读者介绍Tachyon在Spark生态系统中的使用,也将分享百度在大数据平台上利用Tachyon取得的性能改善的用例,以及在
暂无评论