伯禹公益AI《动手学深度学习PyTorch版》Task 07 学习笔记

伯禹公益AI《动手学深度学习PyTorch版》Task 07 学习笔记 Task 07:优化算法进阶;word2vec;词嵌入进阶 微信昵称:WarmIce 优化算法进阶 emmmm,讲实话,关于所谓的病态问题是什么,条件数在复杂优化目标函数下的计算,讲者也没说,咱也没法问,只知道要计算一个Hessian矩阵,然后计算得到特征值,但是具体怎么操作实属未知,还得去参看别的材料。总而言之,很多机器学习的优化目标函数是个病态的函数,整体就是个病态问题。其实在《数值分析》里面也有提到过条件数的计算,不过那个是放在“线性代数方程组数值解法”中提及的,如果对应的矩阵条件数过大,那么也构成病态问题,使用迭