Ascend NNN介绍➢ Ascend NNN为新一代图像分析工具加速器,前端支持开源AA框架(Caffe),后端支持NNN /CPU的异构计算,提供完整的软硬件计算加速方案。 ##部署架构NNN环境包含PC端工具侧开发环境和单板侧板端环境,支持TensorFlow、PyTorch、Caffe、ONNX四种模型,当一个训练好的模型传递过来后: ➢首先可以经过AMCT(Ascend Model Compression Toolkit,昇腾模型压缩工具)进行量化,将模型中部分层量化为8bit计算,提升计算效率; ➢其次使用ATC(Ascend Tensor Compiler)工具将量化后的模型或非量化的模型转换为Ascend NNN认识的离线模型; ➢最后,离线模型放置在板端环境,即可进行推理。