月度归档:2017年04月

Machine Learning-逻辑回归(Logistic Regression)

本文覆盖Coursera Machine Learning Week 3的内容。

二元分类问题(Binary Classification Problem)
所谓的二元分类问题,指的是他的预测输出结果只有两个值 y = {0,1},比如“预测某封邮件是否为垃圾邮件”就是一个二元分类问题。之所以称之为二元分类是相对于多分类问题(Multi Classfication Problem)而言的,比如识别10个数字就是一个多分类问题(一共有10个类别,分别是0-9)。而二元分类问题的求解是解决多分类问题的基础,具体方法下文会介绍。
现在如果要你使用一个函数来模拟分类问题,你最先想到的肯定是一个分段函数(或者叫阶跃函数:unit-step function),简单的如下:
seg_function
这个函数是非常契合我们对这个问题的直觉的,模型非常简单,大于某个值输出1,否则输出0。看上去很理想,但是这个模型却存在很多问题,比如它不够光滑,不连续,在数学上不容易被处理。那么有没有替代的模型呢?

逻辑回归(Logistic Regression)
为了达到和分段函数一样的效果,并且是连续,光滑的,我[……]

继续阅读