应用统计——线性回归
线性回归一元线性回归
贝叶斯统计学
贝叶斯统计学统计推断中可用的三种信息 总体信息 样本信息 先验信息 贝叶斯公式 事件形式 密度形式 $p(\theta|x_1, x_2,…,x_n) = \frac{p(\theta ) p (x_1,x_2,…,x_n|\theta)}{\int p(\theta ) p (x_1,x_2,…,x_n|\theta) d\theta} $ 离散形式 若$\theta$是离散形式
数理统计初步
数理统计初步数理统计：由样本推断总体情况 基本概念总体、样品、样本总体：统计上要研究的对象的全体 $X$ 样品：从总体中随机抽取的一个个体 $X_i$ 样本：由若跟样品构成的样本 $X_1, X_2,..,X_n$ 对简单随机样本（i.i.d)而言，其联合分布函数： 样本的联合分布统计量统计量定义 常用统计量 定理1 三大分布卡方分布、t分布、F分布 三大结论 参数估计点估计矩估计 极大似然估计
神经网络知识点总结
神经网络知识点总结绪论 神经网络，深度学习和人工智能的关系： 神经网络和深度学习是人工智能的一个子领域，神经网络是一种以神经元为基本单位的模型，深度学习是一类机器学习问题，主要解决贡献度分配问题。 人工智能发展的三个阶段： 符号主义（规则驱动）——>联结主义（数据驱动）——>行为主义（交互驱动） 机器学习和深度学习步骤的区别： 输入——>特征工程——>分类——>输
深度生成模型
深度生成模型生成模型机器学习的两种范式 生成模型：用于随机生成可观测数据的模型，是一种密度估计问题。 包括两个步骤： 密度估计：分显式密度估计（明确定义模型，直接从样本来估计概率分布）和隐式密度估计（通过拟合模型，使其能够生成符合数据分布的样本）。 采样 深度生成模型： 👉变分自编码器VAE 👉生成对抗网络GAN 变分自编码器自编码器对一组$D$维的样本$x^n \in R^D, 1 \
网络优化与正则化
网络优化与正则化网络优化网络优化的难点： 不同网络的结构差异大，没有通用的优化算法，超参数多 非凸优化问题，如何继续参数初始化和逃离局部最优 梯度消失和梯度爆炸问题 网络优化的方法 梯度下降法（GD） 批量梯度下降法（BGD) 批量梯度下降得到的是一个所有训练数据上的全局最优解，每一次的参数更新都用到了所有的训练数据，如果训练数据非常多的话，执行效率较低。 $\theta_j^{‘} &#x
循环神经网络
循环神经网络递归神经网络RNNRNN按照时间序列展开： 正向传播$t$时刻中间隐层输入$s_t = Ux_t + Wh_{t-1}$ $t$时刻中间隐层输出$h_t = f(s_t)$（其中$f$为sigmoid函数） $t$时刻输出层输出$o_t = g(Vh_t)$（其中$g$为softmax函数） 损失函数为$L_t = -[y_tlogo_t