机器学习入手几大问题:
1.选择模型
根据模型复杂度,选择线性(linear, logistic, lasso)还是非线性模型(svm, ann, dt)以及其复合版本(dnn, rf)。
2.目标函数(可微分)
似然函数 –> 交叉熵(分类)–> 最小二乘法(回归)
3.优化方法(求梯度)
牛顿法 ,随机梯度下降(SGD)
4.正则化(可适应更多复杂情况)
SVM中维度控制。 经验:越是复杂的问题,正则化条件需要越严格。
1.选择模型
根据模型复杂度,选择线性(linear, logistic, lasso)还是非线性模型(svm, ann, dt)以及其复合版本(dnn, rf)。
2.目标函数(可微分)
似然函数 –> 交叉熵(分类)–> 最小二乘法(回归)
3.优化方法(求梯度)
牛顿法 ,随机梯度下降(SGD)
4.正则化(可适应更多复杂情况)
SVM中维度控制。 经验:越是复杂的问题,正则化条件需要越严格。