深度学习与MindSpore实践

　　作者简介

　　陈雷：香港科技大学计算机科学与工程系教授，大数据研究所主任，IEEE Fellow和ACM杰出科学家。研究方向包括数据驱动AI、人力机器学习、知识图谱、社交媒体上的数据挖掘等。在国际著名期刊和会议上发表300余篇论文，曾获得2015年SIGMOD时间测试奖。现任VLDB 2019程序委员会联合主席、VLDB期刊主编、IEEE TKDE期刊副总编辑、VLDB Endowment执行成员。

　　内容简介

　　本书系统地介绍了深度学习理论，并基于MindSpore AI计算框架进行实践。全书共分14章，内容涵盖深度学习概况、深度学习基础知识、深度神经网络、卷积神经网络、循环神经网络、无监督学习、深度强化学习、自动化机器学习、端云协同、深度学习可视化及深度学习的数据准备等。为便于读者学习，书中还给出了基于MindSpore实现的关于深度学习的开发实例及线上资源。本书可作为普通高等学校人工智能、智能科学与技术、计算机科学与技术、电子信息工程、自动化等专业的本科生及研究生教材，也可作为从事深度学习相关工作的软件开发工程师与科研人员的学习、参考用书。

　　图书目录

　　第1章引言

　　1.1人工智能的历史变迁

　　1.2什么是深度学习

　　1.3深度学习的现实应用

　　1.3.1自动语音识别

　　1.3.2图像识别

　　1.3.3自然语言处理

　　1.3.4其他领域

　　1.4本书的组织架构

　　1.5MindSpore简介

　　1.5.1编程简单

　　1.5.2端云协同

　　1.5.3调试轻松

　　1.5.4性能卓越

　　1.5.5开源开放

　　第2章深度学习基础知识

　　2.1回归问题算法

　　2.2梯度下降算法

　　2.3分类问题算法

　　2.4过拟合与欠拟合

　　第3章深度神经网络

　　3.1前向网络

　　3.2反向传播

　　3.3泛化能力

　　3.4用MindSpore实现简单神经网络

　　3.4.1各层参数说明

　　3.4.2详细步骤

　　第4章深度神经网络的训练

　　4.1深度学习系统面临的主要挑战

　　4.1.1大数据集需求

　　4.1.2硬件需求

　　4.1.3过拟合

　　4.1.4超参数优化

　　4.1.5不透明性

　　4.1.6缺少灵活性

　　4.2正则化

　　4.2.1L2范数正则化

　　4.2.2L1范数正则化

　　4.3Dropout

　　4.4自适应学习率

　　4.4.1AdaGrad

　　4.4.2RMSProp

　　4.4.3Adam

　　4.5批标准化

　　4.6用MindSpore 实现深度神经网络

　　4.6.1各层参数说明

　　4.6.2详细步骤

　　第5章卷积神经网络

　　5.1卷积操作

　　5.2池化

　　5.3残差网络

　　5.4应用：图片分类

　　5.5用MindSpore实现基于卷积神经网络图片分类

　　5.5.1加载MindSpore模块

　　5.5.2定义ResNet网络结构

　　5.5.3设置超参数

　　5.5.4导入数据集

　　5.5.5训练模型

　　第6章循环神经网络

　　6.1循环神经网络概述

　　6.2深度循环神经网络

　　6.3长期依赖的挑战

　　6.4长短期记忆网络和门控循环神经网络

　　6.4.1长短期记忆网络

　　6.4.2门控循环神经网络

　　6.5应用：文本预测

　　6.6用MindSpore实现基于长短期记忆网络的文本预测

　　6.6.1加载MindSpore模块

　　6.6.2数据准备

　　6.6.3定义网络

　　6.6.4参数介绍

　　6.6.5训练模型

　　参考文献

　　第7章无监督学习：词向量

　　7.1Word2Vec

　　7.1.1提出背景

　　7.1.2发展现状

　　7.1.3技术原理

　　7.1.4技术难点

　　7.1.5应用场景

　　7.1.6框架模块

　　7.2GloVe

　　7.2.1提出背景

　　7.2.2发展现状

　　7.2.3技术原理

　　7.2.4技术难点

　　7.2.5应用场景

　　7.2.6框架模块

　　7.3Transformer

　　7.3.1提出背景

　　7.3.2发展现状

　　7.3.3技术原理

　　7.3.4技术难点

　　7.3.5应用场景

　　7.3.6框架模块

　　7.4BERT

　　7.4.1提出背景

　　7.4.2发展现状

　　7.4.3技术原理

　　7.4.4技术难点

　　7.4.5应用场景

　　7.4.6框架模块

　　7.5词向量典型生成算法对比

　　7.6应用：自动问答

　　7.6.1自动问答的相关概念

　　7.6.2传统的自动问答方法

　　7.6.3基于深度学习的自动问答方法

　　7.7用MindSpore 实现基于BERT的自动问答

　　7.7.1数据集准备

　　7.7.2训练BERT网络

　　参考文献

　　第8章无监督学习：图向量

　　8.1图向量简介

　　8.2DeepWalk算法

　　8.2.1DeepWalk算法原理

　　8.2.2DeepWalk算法实现

　　8.3LINE算法

　　8.3.1LINE算法原理

　　8.3.2LINE算法实现

　　8.4Node2Vec算法

　　8.4.1Node2Vec算法原理

　　8.4.2Node2Vec算法实现

　　8.5GCN算法

　　8.5.1GCN算法原理

　　8.5.2GCN算法实现

　　8.6GAT算法

　　8.6.1GAT算法原理

　　8.6.2GAT算法实现

　　8.7应用：推荐系统

　　8.7.1工业界中的推荐系统

　　8.7.2推荐系统中的图神经网络模型

　　参考文献

　　第9章无监督学习：深度生成模型

　　9.1变分自编码器

　　9.1.1提出背景

　　9.1.2发展现状

　　9.1.3技术原理

　　9.1.4技术难点

　　9.1.5应用场景

　　9.2生成对抗网络

　　9.2.1提出背景

　　9.2.2发展现状

　　9.2.3技术原理

　　9.2.4技术难点

　　9.2.5应用场景

　　9.2.6框架模块

　　9.3应用：数据增强

　　9.3.1数据增强的定义

　　9.3.2数据增强的目的

　　9.3.3传统数据增强的方法

　　9.3.4基于深度学习的数据增强方法

　　9.4用MindSpore实现基于生成对抗网络的数据增强

　　参考文献

　　第10章深度强化学习

　　10.1强化学习基本概念

　　10.1.1基础概念与理论

　　10.1.2马尔可夫决策过程

　　10.1.3贝尔曼方程

　　10.2基本求解方法

　　10.2.1动态规划法

　　10.2.2蒙特卡罗法

　　10.2.3时间差分法

　　10.3深度强化学习算法

　　10.3.1DQN算法

　　10.3.2DDPG算法

　　10.3.3A3C算法

　　10.4最新应用

　　10.4.1推荐系统

　　10.4.2博弈游戏

　　10.5用MindSpore实现基于DQN的博弈游戏

　　参考文献

　　第11章自动化机器学习

　　11.1AutoML框架

　　11.1.1NAS算法

　　11.1.2超参调优

　　11.2现有AutoML系统介绍

　　11.2.1AutoWeka/AutoSklearn/HyperOpt

　　11.2.2Microsoft NNI

　　11.3元学习

　　11.3.1学习优化器

　　11.3.2学习参数初始化

　　11.3.3学习损失函数

　　11.3.4学习度量

　　11.4用MindSpore实现AutoML

　　参考文献

　　第12章端云协同

　　12.1端侧推理

　　12.2端云迁移学习

　　12.3端云联邦学习

　　12.3.1联邦平均

　　12.3.2梯度压缩

　　12.4端云协同框架

　　参考文献

　　第13章深度学习可视化

　　13.1深度学习可视化概述

　　13.1.1数据分析

　　13.1.2模型建立与理解

　　13.1.3训练

　　13.1.4评估

　　13.2MindSpore可视化实践

　　13.2.1可视化流程

　　13.2.2数据集可视化

　　13.2.3模型与训练可视化

　　13.2.4Summary汇总数据格式

　　参考文献

　　第14章深度学习的数据准备

　　14.1数据格式概述

　　14.2深度学习中的数据格式

　　14.2.1原始输入

　　14.2.2标注信息

　　14.3常用的深度学习数据格式

　　14.3.1TFRecord格式

　　14.3.2LMDB存储

　　14.3.3Rec格式

　　14.3.4MindSpore数据格式

　　14.3.5MindSpore数据集

　　14.4使用MindSpore数据格式进行训练数据准备

　　14.4.1MindSpore数据格式生成

　　14.4.2MindSpore数据格式统计与检索

　　14.4.3MindSpore数据格式训练数据读取

　　附录A中、英文对照词汇表

　　附录BMindSpore白皮书

　　参考文献

　　编辑推荐

　　MindSpore是华为公司开发的深度学习框架，兼容目前主流的深度学习框架，支持端/边/云全场景全栈协同开发。本书由陈雷教授倾力编著，陈雷教授是香港科技大学计算机科学与工程系教授，大数据研究所主任，IEEE Fellow和ACM杰出科学家。《深度学习与MindSpore实践》系统介绍了深度学习的基础理论、常用的深度神经算法设计，并以大量基于MindSpore的实例帮助读者掌握深度学习算法的实现。此外，本书还对深度学习中的样本数据处理、可视化及端云协同进行了深入的探讨，因此我相信本书适合广大读者作为深度学习技术的入门读物。

　　专家点评

　　深度学习在最近十年得到了巨大发展，它使人工智能产生了革命性的突破，让我们切实地领略到人工智能给生活带来改变的潜力。《深度学习与MindSpore实践》对深度学习的基础技术进行了深入浅出的阐述，既给出了富于启发性和思想性的见解，又强调通过深度学习框架MindSpore的操作和实践，特别适合从事深度学习的研发人员参考阅读！

　　——叶杰平滴滴出行副总裁、滴滴AI Labs负责人，美国密西根大学教授

　　人工智能已成为我国发展的战略性方向，而人工智能的发展离不开计算框架的合理应用。MindSpore是开源的深度学习计算框架，支持端/边/云全场景全栈协同开发，适配所有的AI 应用场景。很高兴看到《深度学习与MindSpore实践》系统介绍了深度学习的基础知识和各种网络模型，并通过MindSpore给出不同领域的应用，对深度学习的推广具有重大意义。

　　——常毅吉林大学人工智能学院院长

　　MindSpore是华为公司开发的深度学习框架，兼容目前主流的深度学习框架，支持端/边/云全场景全栈协同开发。《深度学习与MindSpore实践》在总结深度学习的理论基础上，系统地介绍了MindSpore框架，适合作为以MindSpore为工具开发人工智能系统的研发人员的参考读物。本书理论联系实践，不仅讲解深度学习的模型、概念和算法，还给出了在MindSpore上实现的具体程序及步骤，强烈推荐阅读。

　　——李航北京字节跳动科技有限公司AI实验室主任

　　我从事人工智能教学已经十三年了，深刻感受到人工智能尤其是深度学习的教学效果很大程度上要依赖于实践环节。特别是未来一段时间，深度学习仍然依赖于大数据和强大的算力，缺乏解释性。华为公司硬件与软件齐头并进，不仅构造了令人骄傲的强大算力平台，还推出了MindSpore全场景AI计算框架，为人工智能人才的培养提供了优秀的实践平台。相信《深度学习与MindSpore实践》会很快进入全国各大高校的课堂，并建议华为公司能把整个教学生态建好，打造人工智能人才培养的高地。

　　——公茂果西安电子科技大学计算智能研究所所长

　　深度学习在人工智能领域有着广泛的应用。《深度学习与MindSpore实践》系统介绍了深度学习的基础理论、常用的深度神经算法设计，并以大量基于MindSpore的实例帮助读者掌握深度学习算法的实现。此外，本书还对深度学习中的样本数据处理、可视化及端云协同进行了深入的探讨，因此我相信本书适合广大读者作为深度学习技术的入门读物。

　　——谭焜华为分布式与并行软件实验室主任

　　教学资源

　　本书提供部分配套教学资源，可以关注「人工智能科学与技术」公众号，在对话框界面输入“教学资源”即可获得本书的部分“教材样章”。

　　申请样书

　　一、您若是教师，可按以下方式申请图书

　　（1）关注「人工智能科学与技术」公众号，将本篇文章分享至朋友圈；

　　（2）打开「人工智能科学与技术」公众号对话框界面，输入文字“图书申请”，系统会弹出申请样书二维码；

　　（3）申请人须是普通高校教师并担任所申请样书对应课程，申请表中需要上传相近课程的教学大纲证明身份。

　　注：申请图书长期有效，五个工作日内寄出图书。

　　二、您若不是教师，可按以下方式图书抽奖

　　（1）关注「人工智能科学与技术」公众号，将本篇文章分享至朋友圈；

　　（2）打开「人工智能科学与技术」公众号对话框界面，输入文字“深度学习抽奖”，系统会弹出抽奖二维码；