某些ML算法的实现 《统计学习方法》一书中算法的实现 《统计学习方法》 python实现 使用MNIST数据集来验证算法。 该存储库仍在更新中。 已实施: kd-tree用于实现KNN 使用SGD或准牛顿优化目标函数。 当使用准牛顿法时,可能会遇到一些数值问题。该错误尚未修复。 (以后再说吧呜呜呜) 使用准牛顿优化目标函数。 似然函数的导数不同于《统计学习方法》中的导数。对于MNIST数据集,导数为: 请参阅论文序列最小优化:训练支持向量机的快速算法 将整个内核函数矩阵存储在内存中。为了节省内存,将来我可能会使用LRU缓存来存储内核函数矩阵。 由于计算w * x非常耗时,因此我将每个样本的w * x值存储在内存中(作为列表)。更新此列表时,我使用线性近似来代替计算w * x,如下所示: 这样,就可以完全避免w * x的计算。