Logistic原理与公式推导

逻辑回归(Logistic Regression)

逻辑回归算法实际上是一种分类算法，它适用于标签 𝑦 取值离散的情况，预测的变量 𝑦 是离散的值，如:1 0 0 1。

要搞清楚逻辑回归的原理必须要从概率和似然性说起。
我们常常用概率描述一个事件发生的可能性。而似然性正好反过来，意思是一个事件实际已经发生了，反推在什么参数条件下，这个事件发生的概率最大。
即：
已知参数 β 前提下，预测某事件 x 发生的概率是 P（x | β );
已知某个已发生的事件 x，未知参数 β 的似然函数为 L(β | x)；
上面两个值相等，即:P（x | β ) = L(β | x)

一个参数 β 对应一个似然函数的值，当 β 发生变化， L(β | x)也会随之变化。当我们在取得某个参数的时候，似然函数的值到达了最大值，说明在这个参数下最有可能发生x事件，即这个参数最合理。
因此，最优β，就是使当前观察到的数据出现的可能性最大的β。