6 - 3 - Decision Boundary (15 min).
判定边界
本节课程讲解决策边界这个概念,它能够帮助我们理解逻辑回归的假设函数在干什么?
我们先来回忆一下逻辑回归的假设函数:
上面就是我们逻辑回归的假设,hθ(x)可以直观的理解为样本x对应y=1的概率,在逻辑回归中我们预测:
当hθ(x)≥0.5时y=1,此时z≥0
当hθ(x)≤0.5时y=0,此时z≤0
又因为z=θTx,所以我们可以说:
θTx≥0的时候y=1
θTx≤0的时候y=0
现在假设我们有一个训练集如下所示:
我们可以看出我们训练集中数据的正负样本如上所示:
我们定义我们的此时逻辑回归的假设函数为:
假设我们现在已经通过一种方式拟合好了这个假设函数,比如我们选择θ0=-3,θ1=1,θ2=1,那么也就是说hθ(x)=g(x1+x2-3),所以我们可以说只要:
x1+x2-3≥0则y=1,表示正类
x1+x2-3≤0则y=0,表示负类
我们的x1+x2-3=0这条线就是上图中的蓝色的那条线,它成功的将篮圈和红叉分开了,这条线上是y=1的区域,这条线下方区域是y=0,那么这条线就是我们所说的决策边界,这条线上就是z=0的,也就是hθ(x)=0.5的,决策边界是我们的假设函数hθ(x)的一个属性。
下面来让我们看一个更加复杂的例子:
如果我们的数据集如上所示,那么如何才能通过逻辑回归来拟合这样的数据呢?
我们很难通过一条直线来分开我们的正负样本,我们需要二次方的特征,我们在讨论线性回归的多项式回归的时候,我们增加了额外的高阶多项式,同样逻辑回归也可以使用相同的方法,具体的来说,我们可以把我们的逻辑回归算法的假设函数弄成这个样子:
我们增加了两个额外的特征x1²和x2²,所以现在有5个参数θ0~θ4,假设我们现在使用了一种方法算出了θ0=-1,θ1=0,θ2=0,θ3=1,θ4=1,这就意味着这种情况下参数向量为:
所以hθ(x)=g(x1²+x2²-1),所以说只要:
X1²+x2²-1≥0就预测y=1
X1²+x2²-1≤0就预测y=0
所以我们可以说X1²+x2²-1=0就是此时训练集的决策边界,则我们得到的判定边界恰好是圆点在原点且半径为 1 的圆形。
这个决策边界外的表示y=1的类别,这个决策边界内的表示y=0的类别
再次强调一点就是:决策边界并不是训练集的属性,而是假设函数本身的属性,所以不同的假设决策边界也不一样,只要我们确定参数θ,那么决策边界就确定了。我们可以用非常复杂的模型来适应非常复杂形状的判定边界。
本节课程我们就像告诉大家,我们逻辑回归中的z其实就是决策边界函数,决策边界的一侧就是大于0的(z>0),决策边界的另外一侧就是小于0的(z<0),那么把z带入sigmoid激活函数我们就可以得出y=0还是y=1,从而辨别样本的类别是什么?