CoCoA:大规模机器学习的分布式优化通用框架

去年,MichaelI.Jordan实验室发表论文《CoCoA:AGeneralFrameworkforCommunication-EfficientDistributedOptimization》提出了一种用于机器学习的分布式优化的通用框架CoCoA。机器之心技术顾问YanchenWang对该研究进行了深度解读。在做深度学习时,现代数据集的规模必需高效的设计和开发,而且理论上算法也要进行分布式优化。分布式系统可以实现可扩展性——不管是垂直扩展还是水平扩展,提升计算和存储能力;但同时也让算法设计者面临着一些独特的难题。其中一个尤其关键的难题是在机器学习负载的背景下,