神经网络知识点总结
神经网络知识点总结
绪论
神经网络，深度学习和人工智能的关系：
神经网络和深度学习是人工智能的一个子领域，神经网络是一种以神经元为基本单位的模型，深度学习是一类机器学习问题，主要解决贡献度分配问题。
人工智能发展的三个阶段：
符号主义（规则驱动）——>联结主义（数据驱动）——>行为主义（交互驱动）
机器学习和深度学习步骤的区别：
输入——>特征工程——>分类——>输出
输入——>特征工程+分类——>输出
什么是表示学习：通过深度模型学习特征（底层特征——>中层特征——>高层特征）
什么是深度学习：构建具有一定深度的模型，可以让模型来自动学习好的特征表示，最终提升预测或识别的准确性。
人工神经网络三部分：
神经元激活规则、网络拓扑结构、学习算法
机器学习概述
什么是机器学习：
通过算法使得机器能从大量数据中学习规律从而对新样本做决策
机器学习的分类：
有监督学习、无监督学习、（半监督学习）、强化学习
机器学习四要素：
数据、模型、学习准则、优化方法
风险函数：
经验风险：只考虑了损失
结构风险：损失+惩罚项
线性模型
交叉熵损失
二分类：$-\frac{1}{N}\sum_{i=1}^{N}(y^ilog(\hat{y}^i) + (1-y^i)log(1-\hat{y}^i ))$
均方误差：
二分类：$-\frac{1}{N}\sum_{i=1}^N (y^i - \hat{y}^i)^2$
前馈神经网络
感知机模型的功能：
单计算节点感知机能实现逻辑运算“与”，“或“问题，却无法解决线性不可分问题
两计算层感知机能解决线性不可分问题，实现逻辑运算”异或“
双隐层感知器足以解决任何复杂分类问题
激活函数的性质：
（1）连续可导的非线性函数
（2）单增
（3）函数值和其导数值在一个合适范围内
常见的激活函数：
（1）S型：$\sigma(x)$， $tanh(x)$ 都是饱和函数，会出现梯度消失现象
（2）斜坡函数：ReLU （在一定程度上缓解梯度消失）， LeakyReLU, PReLU, ELU, softplus(x)
（3）符合函数：$swish(x) = x \sigma(\beta x) $， $GELU (x )= xP(X \leq x)$
前馈神经网络的结构：
（1）层内无连接
（2）两层之间两两神经元相连
（3）网络无反馈，信号从输入向输出单向传播，无反馈
前馈计算：
万能逼近定理：对任意一个函数，可以使用两层网络来近似实现。
反向传播计算：
step1: 正向传播，计算每一层的净输入和激活后的值
step2：反向传播，计算每一层的误差
step3：计算参数的导数，更新每一层的参数
卷积神经网络
卷积类型：
窄卷积：步长为1，无填充，输出：
宽卷积：步长为1，两侧填充，输出：
等宽卷积：步长为1，两端填充，输出：
二维卷积的定义
卷积神经网络的结构
卷积：局部特征提取，参数学习，每个卷积核提取特定模式的特征
池化：降维，增强感受野，提高平移不变性
全连接：特征提取到分类的桥梁
卷积神经网络的结构特性：
局部连接、权重共享、空间或时间上的次采样
多个卷积核的卷积结构的计算
整个卷积网络的结构组织方式
resnet结构
循环神经网络
- 递归神经网络的结构
- 递归神经网络正向传播
- RNN梯度消失和梯度爆炸的原因
- LSTM结构
- LSTM能解决梯度消失和梯度爆炸的原因
网络优化
- BGD
- SGD
- mini-batch GD
深度生成模型
- 生成模型定义
- 生成模型和判别模型的区别
- GAN结构（生成器和判别器）