# Machine-Learning-Notes

**Repository Path**: merchantliao/Machine-Learning-Notes

## Basic Information

- **Project Name**: Machine-Learning-Notes
- **Description**: just a notebook
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2017-11-13
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# Machine-Learning-Notes
just a notebook

9月24日
Loss function L
L= 残差平方和+𝞴(系数平方和）
𝞴越大，函数越平滑
系数越小，函数越平滑

9月25日

数学类笔记：

标准差是方差的算术平方根

样本均值的方差=样本方差除以总个数
根据方差的性质，有D(X+Y)=DX+DY，以及D(kX)=k^2*DX，其中X和Y相互独立，k为常数。
于是D(ΣXi/n)=ΣD(Xi)/(n^2)=DX/n

变异系数：是方差和平均数的比值，用于对比平均值不同或者单位不同的离散数据；系数越大，数据越离散

预测变量x的平均值
1.用样例取平均算出预估平均值u
2.反复步骤一
3.u的期望值可以准确预估x的平均值

预测变量x的方差
1.用样例算出预估方差(𝞼平方)
2.反复步骤一
3.(𝞼平方)的期望值=（总个数-1）/总个数*真正方差



机器学习类笔记：

Error = Bias + Variance
Bias反映的是模型在样本上的输出与真实值之间的误差，即模型本身的精准度
Variance反映的是模型每一次输出结果与模型输出期望之间的误差，即模型的稳定性

每一个模型都是一个函数集合
模型越简单，涵盖的情况越少，在训练集上的误差越大

简单模型：bias大，variance小
复杂模型：bias小，variance大

overfitting:
原因：variance error过大
特征：model可以拟合训练数据，但test error过大
解决：再设计model，加入更多特征项，运用更复杂的模型


underfitting:
原因：bias error过大
特征：model无论如何都无法拟合训练数据
解决：增加更多的训练数据（很有效，但不太实际）
	运用loss function L= 残差平方和+𝞴(系数平方和），调整𝞴，使曲线平滑
	（越平滑，对数据的伤害越大，bias会越大，有些function会被忽略）



K-fold cross-validation
K层交叉检验就是把原始的数据随机分成K个部分。在这K个部分中，选择一个作为测试数据，剩下的K-1个作为训练数据。
交叉检验的过程实际上是把实验重复做K次，每次实验都从K个部分中选择一个不同的部分作为测试数据（保证K个部分的数据都分别做过测试数据），剩下的K-1个当作训练数据进行实验，最后把得到的K个实验结果平均。
取avg.error最小的一个model，用全部train data统一测试