1.只是知道算法和数学，而不知道如何将算法实际运用于你所关心的问题并不是一件好事。
【机器学习定义】
从经验中学习关于某些类别的任务T和表现度量P，并且在做任务T时，在P标准的衡量下，提高了对经验的学习的计算机程序。（Tom Mitchell，modern）
Example: playing checkers。
E = the experience of playing many games of checkers
T = the task of playing checkers。
P = the probability that the program will win the next game。
分类：有监督和无监督学习，强化学习、推荐系统……
监督学习：给算法数据集，也给它正确答案
回归问题中，尝试预测连续输出值，回归指尝试预测连续的值属性
分类问题中，尝试预测离散输出值0或1，有时候我们会有不只两个可能的输出值（有多个类的情况）
eg.存货市场预测：公司接下来一周会破产吗（通过对同类有破产风险的公司的数据进行分析）是回归还是分类？
是分类问题！
无监督学习：处理我们未标记或很少标记结果的问题
从数据获取结构，不一定要知道变量的效果，也没有基于预测结果的反馈
非聚类："Cocktail Party Algorithm"帮助我们在混乱的环境里找到结构
回归问题：连续值如预测房价
【代价函数】Cost Function
用途：衡量预测的准确性（利用预测结果与实际输出）
尝试最小化代价函数：选择最恰当的theta使J最小
【梯度下降】
如果再在某个方向迈出小小的一步，并且希望下山越快越好，应该在哪个方向迈步呢？
有两种方法可以到两个局部最优处
同时更新参数（非常重要！）
【梯度下降的直觉】
斜坡是负的，theta1的值增加
α即学习率太小，梯度下降很慢
所以需要调整α，确保梯度下降算法在合适的时间收敛
【线性回归的梯度下降】
梯度下降可能受局部最优解的影响，而这里最优化问题只有一个全局而没有其他局部最优解，所以梯度下降总是可以收敛到全局最优解
对于线性回归里特殊的损失函数的特殊形式，依然没有局部最优解
这是一张（等高线？）图，显示了theta的收敛过程
编程笔记 » 吴恩达机器学习:监督学习/无监督学习/模型表示/损失函数/直觉Ⅰ/直觉Ⅱ/梯度下降及其直觉/线性回归的梯度下降