去噪变压器自动编码器 源码

降噪变压器自动编码器 此回购保存了我对Kaggle竞赛解决方案中的降噪自动编码器部分。 我的大部分工作都花在了训练降噪自动编码器网络上,以捕获输入之间的关系,并将学习到的表示形式用于下游监督模型。 复制单个模型 获取代码并移至代码目录。 按照指定安装python软件包。 下载比赛数据并修改的路径。 在单个GPU机器上运行python train.py并等待大约20个小时。 通过岭回归,其交叉验证的RMSE得分应为0.8412。 关于网络 该网络是一个AutoEncoder网络,中间层是变压器样式的编码器块。 训练网络执行以下两项任务:1)预测数据损坏掩码,2)重建干净的输入。 可以从变压器编码器输出中提取功能以用于下游任务。 网络图如下: 观察与思考过程 获取一个好的DAE。 我首先用(linear->relu) x 3作为中间层的老式自动编码器进行了实验,所学习的表示形