深度学习模型与算法基础

第1章绪论
1．1人工神经网络发展史
1．1．1人工神经网络的提出
1．1．2人工神经网络的陨落
1．1．3人工神经网络的兴起
1．1．4深度学习的提出
1．2人工神经网络学习机理
1．2．1生物学机理
1．2．2浅层学习
1．2．3深度学习
1．2．4特征学习
第2章神经网络基础
2．1概述
2．2感知器
2．2．1感知器学习规则
2．2．2感知器原理
2．3线性单元
2．4δ学习规则
2．5BP神经网络结构
2．5．1BP神经网络原理
2．5．2BP神经元偏移量
2．5．3BP神经网络非线性表达能力
2．6反向传播算法
2．6．1误差项推导
2．6．2误差反向传播算法流程
2．6．3误差反向传播算法计算示例
2．7梯度检查
2．8超参数的确定
2．9模型训练与评估
2．10向量化编程
第3章自编码器
3．1自编码器原理
3．2不同种类的自编码器
3．2．1正则自编码器
3．2．2稀疏自编码器
3．2．3去噪自编码器
3．3堆叠自编码器
3．4预训练与深度学习
3．5Softmax与交叉熵函数融合
3．6深度神经网络权值初始化方法
3．6．1Xavier初始化方法
3．6．2Kaiming初始化方法
3．6．3LeCun初始化方法
第4章卷积神经网络
4．1全连接神经网络局限性
4．2卷积神经网络原理
4．3卷积神经网络前向计算
4．3．1新的激活函数
4．3．2卷积层
4．3．3池化层
4．3．4全连接层
4．4卷积网络计算实例
4．5卷积神经网络训练
4．5．1池化层误差传递
4．5．2卷积层误差传递
4．5．3卷积层参数训练
4．5．4卷积神经网络训练流程
4．5．5卷积神经网络训练计算实例
4．6深度神经网络计算模式
4．6．1卷积计算加速
4．6．2自动微分方法
第5章卷积神经网络结构演化
5．1典型的卷积神经网络
5．1．1卷积网络加深
5．1．2卷积网络拓宽
5．1．3残差网络
5．2轻量化网络
5．3卷积操作模式设计
5．4全卷积网络
第6章深度残差网络
6．1概述
6．2残差网络结构
6．3残差网络讨论
6．4Highway Network
6．5残差网络变体
6．5．1Wide Residual Network
6．5．2ResNeXt
6．5．3DenseNet
6．5．4DPN
第7章目标检测算法
7．1传统目标检测方法
7．2基于深度学习的目标检测方法
7．2．1目标检测常用技术
7．2．2R睠NN
7．2．3SPP睳et
7．2．4Fast R睠NN
7．2．5Faster R睠NN
7．2．6YOLO
7．2．7SSD
7．3目标检测算法的改进
第8章循环神经网络
8．1循环神经网络概述
8．1．1循环神经网络原理
8．1．2双向循环神经网络
8．1．3深度循环神经网络
8．1．4典型循环神经网络结构
8．2循环神经网络训练算法
8．2．1BPTT训练算法
8．2．2实时循环学习算法
8．2．3梯度爆炸与消失问题
8．3RNN应用

第9章长短时记忆网络
9．1LSTM原理
9．2LSTM前向计算
9．3LSTM网络训练
9．3．1网络训练算法
9．3．2误差项沿时间传递
9．3．3误差项沿网络层次传递
9．4GRU
9．4．1GRU前向计算
9．4．2GRU训练算法
第10章Transformer
10．1神经网络注意力机制
10．1．1神经网络注意力机制原理
10．1．2自注意力机制
10．2Transformer模型
10．2．1编码器模块
10．2．2解码器模块
10．3神经网络语言模型
10．3．1GPT模型
10．3．2BERT模型
10．3．3GLM模型
第11章生成式模型
11．1概述
11．2生成对抗网络
11．2．1生成模型
11．2．2判别模型
11．2．3目标函数
11．2．4典型生成对抗网络
11．3变分自编码器
11．3．1模型推导
11．3．2讨论
11．3．3VAE实现
11．4自回归模型
11．5扩散模型
第12章深度学习框架
12．1计算图
12．2典型深度学习框架
12．2．1国外深度学习框架
12．2．2国内深度学习框架
参考文献