课程时长：３天

第1部分 深度学习入门基础

　　2.1 K-means特征学习

　　1）通过最小化数据点和最近邻中心的距离来寻找各个类中心

　　2）矢量量化vector quantization

　　3）数据、预处理、初始化

　　4）与稀疏特征学习的比较

　　5）在图像识别上的应用

　　6）构建深度网络

　　7）案例实现与分析

　　2.2 稀疏滤波Sparse Filtering

　　1）核心思想

　　2）非监督特征学习

　　3）特征分布

　　4）Sparse filtering

　　5）Deep Sparse filtering

　　6）与divisive normalization的联系

　　7）与ICA 和sparse coding的联系

　　8）案例实现与分析

　　2.3 单层非监督学习网络

　　1）网络中隐含层神经元节点的个数，采集的密度和感知区域大小

　　2）非监督特征学习框架

　　3）特征学习：

　　4）特征提取与分类

　　5）案例实现与分析

　　2.4 CNN卷积神经网络推导和实现

　　1）全连接的反向传播算法

　　2）Convolutional Neural Networks 卷积神经网络

　　3）CNN的训练过程

　　4）案例实现与分析

　　2.5 Multi-Stage多级架构分析

　　1）分级多层

　　2）滤波器组层Filter Bank Layer-FCSG

　　3）校正层Rectification Layer-Rabs

　　4）局部对比度归一化层Local Contrast Normalization Layer

　　5）平均池化和子采样层Average Pooling and Subsampling Layer

　　6）最大值池化和子采样层Max-Pooling and Subsampling Layer

　　7）案例实现与分析

　　2.6 深度网络高层特征可视化

　　1）模型：DBNs、降噪自动编码器

　　2）Maximizing the activation 最大化激活值

　　3）Sampling from a unit of a Deep Belief Network 从DBN的一个节点中采样

　　4）Linear combination of previous layers’ filters 上层滤波器的线性组合

　　5）实验：Data and setup、Activation Maximization、Sampling a unit、Comparison of methods

　　6）综合案例实现与分析

第2部分 深度学习进阶大纲

　　1）关于特征

• ① 特征表示的粒度
• ② 初级（浅层）特征表示
• ③ 结构性特征表示
• ④ 需要有多少个特征？

　　2）Deep Learning的基本思想

　　3）浅层学习（Shallow Learning）和深度学习（Deep Learning）

　　4）Deep learning与Neural Network

　　5）Deep learning训练过程

• ① 传统神经网络的训练方法
• ② deep learning训练过程

　　6）Deep Learning的常用模型或者方法

• ① AutoEncoder自动编码器
• ② Sparse Coding稀疏编码
• ③ Restricted Boltzmann Machine(RBM)限制波尔兹曼机
• ④ Deep Belief Networks深信度网络
• ⑤ Convolutional Neural Networks卷积神经网络

　　7）CNN

　　8）DNN

　　9）TDNN

　　10）LSTM