每天五分钟机器学习:逻辑回归算法的决策边界究竟是什么?

6 - 3 - Decision Boundary (15 min).

判定边界

本节课程讲解决策边界这个概念,它能够帮助我们理解逻辑回归的假设函数在干什么?

我们先来回忆一下逻辑回归的假设函数:

每天五分钟机器学习:逻辑回归算法的决策边界究竟是什么?

上面就是我们逻辑回归的假设,hθ(x)可以直观的理解为样本x对应y=1的概率,在逻辑回归中我们预测:

当hθ(x)≥0.5时y=1,此时z≥0

当hθ(x)≤0.5时y=0,此时z≤0

又因为z=θTx,所以我们可以说:

θTx≥0的时候y=1

θTx≤0的时候y=0

现在假设我们有一个训练集如下所示:

每天五分钟机器学习:逻辑回归算法的决策边界究竟是什么?

我们可以看出我们训练集中数据的正负样本如上所示:

我们定义我们的此时逻辑回归的假设函数为:

每天五分钟机器学习:逻辑回归算法的决策边界究竟是什么?

假设我们现在已经通过一种方式拟合好了这个假设函数,比如我们选择θ0=-3,θ1=1,θ2=1,那么也就是说hθ(x)=g(x1+x2-3),所以我们可以说只要:

x1+x2-3≥0则y=1,表示正类

x1+x2-3≤0则y=0,表示负类

我们的x1+x2-3=0这条线就是上图中的蓝色的那条线,它成功的将篮圈和红叉分开了,这条线上是y=1的区域,这条线下方区域是y=0,那么这条线就是我们所说的决策边界,这条线上就是z=0的,也就是hθ(x)=0.5的,决策边界是我们的假设函数hθ(x)的一个属性。

下面来让我们看一个更加复杂的例子:

每天五分钟机器学习:逻辑回归算法的决策边界究竟是什么?

如果我们的数据集如上所示,那么如何才能通过逻辑回归来拟合这样的数据呢?

我们很难通过一条直线来分开我们的正负样本,我们需要二次方的特征,我们在讨论线性回归的多项式回归的时候,我们增加了额外的高阶多项式,同样逻辑回归也可以使用相同的方法,具体的来说,我们可以把我们的逻辑回归算法的假设函数弄成这个样子:

每天五分钟机器学习:逻辑回归算法的决策边界究竟是什么?

我们增加了两个额外的特征x1²和x2²,所以现在有5个参数θ0~θ4,假设我们现在使用了一种方法算出了θ0=-1,θ1=0,θ2=0,θ3=1,θ4=1,这就意味着这种情况下参数向量为:

每天五分钟机器学习:逻辑回归算法的决策边界究竟是什么?

{!-- PGC_COLUMN --}

所以hθ(x)=g(x1²+x2²-1),所以说只要:

X1²+x2²-1≥0就预测y=1

X1²+x2²-1≤0就预测y=0

所以我们可以说X1²+x2²-1=0就是此时训练集的决策边界,则我们得到的判定边界恰好是圆点在原点且半径为 1 的圆形。

这个决策边界外的表示y=1的类别,这个决策边界内的表示y=0的类别

再次强调一点就是:决策边界并不是训练集的属性,而是假设函数本身的属性,所以不同的假设决策边界也不一样,只要我们确定参数θ,那么决策边界就确定了。我们可以用非常复杂的模型来适应非常复杂形状的判定边界。

本节课程我们就像告诉大家,我们逻辑回归中的z其实就是决策边界函数,决策边界的一侧就是大于0的(z>0),决策边界的另外一侧就是小于0的(z<0),那么把z带入sigmoid激活函数我们就可以得出y=0还是y=1,从而辨别样本的类别是什么?

“黑车”要打!济源道路客运市场将迎来最强专项整治

月日,记者从济源市道路客运市场“打非治违”专项整治活动会议获…原、下冶、济源至郑州、洛阳、焦作等地的客运市场。(资料图片 与内容无关)据悉,本次整治具体工作重点为:查处各类未经许可擅自从事道路客运经营行为(包括班线客车、包车、出租、网约车等;出租车不按规定使用计价器、安装和使用电子脉冲传感器等违规经营…从执法案件、群众举报中集中发现移交涉黑涉恶案件线索,配合政法

一篇AI打麻将的论文,理科生眼中的麻将是这样的

本文强行为大家介绍了这篇AI麻将论文,感兴趣的同学可以查看原英文文章。从AI研究的早期阶段,游戏就开始充当许多AI技术和想法的试验台,从跳棋、国际象棋、围棋、扑克到星际争霸II。

普通人逆袭的4条人生算法(深度好文)

文/阿秀???????编辑/智库琉琉所谓的人生算法就是解决人…对你的要求和预期,能够反映你的工作态度和你对自己的工作要求。那种对自己有严格要求的人,才有可能不断打破老板的预期,才是职场上最有潜力的人。我以前有两个作者,一个是新晋作者,我们姑且称他为,另一个作者是最近在知识付费领域崭露头角的帅小冰。说真…知水平越低,人越固执知乎万赞回答:真正厉害的人,是如何思考问

每天五分钟机器学习:逻辑回归算法的决策边界究竟是什么?

我们先来回忆一下逻辑回归的假设函数:上面就是我们逻辑回归的假设,hθ≥0.5时y=1,此时z≥0当hθ=g。

游戏中的AI算法总结与改进

timg ().jpg (. , 下载次数: )下载附件-- : 上传一.人工智能的定义人工智能(,rtificial ntelligent),指的是通过算法编程使计算机模仿人完成一些像人一样的任务,同时在执行任务时模仿人的思维和智慧,甚至通过大量学习训练