寻找数据中模式的问题是⼀个基本的问题，有着很长的很成功的历史。例如，16世纪TychoBrahe的⼤量的观测使得JohannesKepler发现⾏星运⾏的经验性规律，这反过来给经典⼒学的发展提供了跳板。类似地，原⼦光谱的规律的发现在20世纪初期对于量⼦⼒学的发展和证明有着重要的作⽤。模式识别领域关注的是利⽤计算机算法⾃动发现数据中的规律，以及使⽤这些规律采取将数据分类等⾏动。考虑⼿写数字识别的例⼦，如图1.1所⽰。每个数字对应⼀个28×28像素的图像，因此可以表⽰为⼀个由784个实数组成的向量x。⽬标是建⽴⼀个机器，能够以这样的向量x作为输⼊，以数字0到9为输出。这不是⼀个简单的问题，因为⼿写体变化多端。这个问题可以使⽤