当前位置 博文首页 > 风信子的猫Redamancy的快乐星球：李航统计学习方法 Chapter6 最
逻辑斯谛回归(LR)是经典的分类方法
1．逻辑斯谛回归模型是由以下条件概率分布表示的分类模型。逻辑斯谛回归模型可以用于二类或多类分类。
P ( Y = k ∣ x ) = exp ? ( w k ? x ) 1 + ∑ k = 1 K ? 1 exp ? ( w k ? x ) , k = 1 , 2 , ? ? , K ? 1 P(Y=k | x)=\frac{\exp \left(w_{k} \cdot x\right)}{1+\sum_{k=1}^{K-1} \exp \left(w_{k} \cdot x\right)}, \quad k=1,2, \cdots, K-1 P(Y=k∣x)=1+∑k=1K?1?exp(wk??x)exp(wk??x)?,k=1,2,?,K?1
P ( Y = K ∣ x ) = 1 1 + ∑ k = 1 K ? 1 exp ? ( w k ? x ) P(Y=K | x)=\frac{1}{1+\sum_{k=1}^{K-1} \exp \left(w_{k} \cdot x\right)} P(Y=K∣x)=1+∑k=1K?1?exp(wk??x)1?
这里， x x x为输入特征， w w w为特征的权值。
逻辑斯谛回归模型源自逻辑斯谛分布，其分布函数 F ( x ) F(x) F(x)是 S S S形函数。逻辑斯谛回归模型是由输入的线性函数表示的输出的对数几率模型。
2．最大熵模型是由以下条件概率分布表示的分类模型。最大熵模型也可以用于二类或多类分类。
P
w
(
y
∣
x
)
=
1
Z
w
(
x
)
exp
?
(
∑
i
=
1
n
w
i
f
i
(
x
,
y
)
)
P_{w}(y | x)=\frac{1}{Z_{w}(x)} \exp \left(\sum_{i=1}^{n} w_{i} f_{i}(x, y)\right)
Pw?(y∣x)=Zw?(x)1?exp(i=1∑n?wi?fi?(x,y))
Z w ( x ) = ∑ y exp ? ( ∑ i = 1 n w i f i ( x , y ) ) Z_{w}(x)=\sum_{y} \exp \left(\sum_{i=1}^{n} w_{i} f_{i}(x, y)\right) Zw?(x)=y∑?exp(i=1∑n?wi?fi?(x,y))
其中， Z w ( x ) Z_w(x)
