spark annoy:在Apache Spark上构建Annoy索引 源码

Spark-Annoy(WIP) 在Apache Spark上构建 Index。 然后使用Annoy查询邻居。 注意 我在5分钟内使用100个节点构建了117M个64维向量的索引。 设置为; // version: 0.1.4 // spark.executor.instances = 100 // spark.executor.memory = 8g // spark.driver.memory = 8g val fraction = 0.00086 // for about 100k samples val numTrees = 2 val numPartitions = 100 va