gleam:快速高效可扩展的分布式mapreduce系统在内存或磁盘上以纯Go编写的DAG执行可独立运行或分布式运行 源码

闪闪发光 Gleam是一个高性能,高效的分布式执行系统,并且简单,通用,灵活且易于定制。 Gleam是内置在Go中的,用户定义的计算可以用Go,Unix管道工具或任何流式程序编写。 高性能 Pure Go映射器和缩减器具有高性能和并发性。 数据流经内存,可以选择流向磁盘。 多个map reduce步骤合并在一起以获得更好的性能。 高效记忆 Gleam没有困扰其他语言的通用GC问题。 每个执行程序在单独的OS进程中运行。 内存由操作系统管理。 一台机器可以容纳更多执行器。 Gleam主服务器和代理服务器的内存效率很高,消耗约10 MB的内存。 Gleam尝试根据数据大小提示自动调整所需的内存大小,从而避免了反复尝试手动进行内存调整的麻烦。 灵活的 Gleam流可以独立运行,也可以分布式运行。 在内存模式或OnDisk模式下可调。 易于定制 Go代码比Scala,Java,C +