文章标签 ‘机器学习’
经验损失不为0的情况 在上面的部分中，经验损失为0意味着我们得到了一个完全符合训练样本要求的discriminative function f，即\(\forall ({x_i},{y_i}),f({x_i}) = {y_i}\)\forall ({x_i},{y_i}),f({x_i}) = {y_i}。然而，多数时候，我们无法得到满足前面式子中所有约束的可行解。因此，我们还是借鉴SVM 的思想，在优化问题中加入松弛变量，这样就使模型不必完全拟合训练集中的样本，从而得到下面的优化问题：
以前就听说过Structured Learning，但只知道其大体的概念。听师兄说现在用的挺多的，于是前一段时间断断续续的看了有关这方面的一些资料，在此总结一下。 在利用机器学习方法建模时，我们往往是寻找一个映射函数 f：X -> Y，将输入X 映射为输出Y。输入X的形式是多种多样的，但在“常规”的机器学习方法中，输出Y是一个number或者一个label，比如分类、回归、分布密度估计的各种方法。而Structured Learning中，Y不再局限在一个number，而可以是complex structured object，比如说是一副image，一个image region，一个label sequence，或是parse tree 等等。个人感觉，structured learning使我们能更加直接的解决问题，它提供了一种框架是我们能直接得到具体问题中想要的输出。理论上，感觉你可以把任何输出都作为一种结构。
高斯分布（Gaussian distribution），是一个在数学、物理及工程等领域都非常重要的连续概率分布函数，它描述了一种围绕某个单值聚集分布的随机变量。生活中，各种各样的心理学测试分数和物理现象比如光子计数都被发现近似地服从高斯分布。同时，高斯分布也是统计学以及许多统计测试中最广泛应用的一类分布。中心极限定理表明，采样的均值近似服从高斯分布；还可以证明，高斯分布的信息熵在所有的已知均值及方差的连续分布中最大，这使得高斯分布成为一种均值以及方差已知的分布的自然选择。然而，直觉上可知高斯分布是一个单模态（只有一个最大值）的分布，不能对多模态的数据分布提供一个较好的近似（如图1所示）。 为了解决这个问题，人们提出了高斯混合模型（GMM），顾名思义，就是数据可以看作是从数个高斯分布中生成出来的。虽然我们可以用不同的分布来随意地构造 XX Mixture Model ，但是 GMM是 最为流行。另外，Mixture Model 本身其实也是可以变得任意复杂的，通过增加 Model 的个数，我们可以任意地逼近任何连续的概率密分布。
