1.AI

1.1Machine Learning

Classification
Regression
Clustering
Dimensionality reduction
Model selection
Preprocessing

1.1.1 Deep Learning

基础单元：MCP神经元模型

基础结构 ：

全连接层
卷积层/反卷积层
Pooling层
Dropout层
BN层

损失函数：

SoftMax Loss
欧氏损失
Sigmoid交叉熵损失
Contrastive Loss
Triplet Loss
Moon Loss

激活函数：

Sigmoid
Tanh
ReLU
PReLU
ELU
Maxout

网络训练：

BP
AdaGrad / AdaDelta
Mini-batch SGD
NAG
LR Policy
RMSprop