机器学习_感知机

线性组合将输入数据xxx加权求和计算一个分数值zzw0w1x1⋯wnxnz w_0w_1 x_1 \cdots w_n x_nzw0​w1​x1​⋯wn​xn​向量形式www列向量w[w0w1⋮wn] w \begin{bmatrix} w_0 \\ w_1 \\ \vdots \\ w_n \\ \end{bmatrix}w​w0​w1​⋮wn​​​xxx列向量x[x0x1⋮xn] x \begin{bmatrix} x_0 \\ x_1 \\ \vdots \\ x_n \\ \end{bmatrix}x​x0​x1​⋮xn​​​向量点积x0x_0x0​为1时下式成立zw0wx1⋯wnxn[w0w1⋯wn][x0x1⋮xn]wTx \begin{split} z w_0w x_1 \cdots w_n x_n \\ \begin{bmatrix} w_0 w_1 \cdots w_n \end{bmatrix} \begin{bmatrix} x_0 \\ x_1 \\ \vdots \\ x_n \\ \end{bmatrix} \\ w ^{T} x \end{split}z​w0​wx1​⋯wn​xn​[w0​​w1​​⋯​wn​​]​x0​x1​⋮xn​​​wTx​类别判断激活函数fw(x)sign(z){1,z0−1,z≤0 f_w(x) sign(z) \begin{cases} 1, \quad z 0 \\ -1, \quad z \leq 0 \\ \end{cases}fw​(x)sign(z){1,z0−1,z≤0​向量θT\theta ^{T}θT与向量xxx的夹角为θ\thetaθ因为∣∣wT∣∣||w^{T}||∣∣wT∣∣和∣x∣|x|∣x∣均为正所以若想使得z≤0z \leq 0z≤0则需要90°≤θ≤270°90° \leq \theta \leq 270°90°≤θ≤270°zθTx∣∣w∣∣⋅∣∣x∣∣⋅cos⁡θ \begin{split} z \theta^{T} x \\ ||w|| \cdot ||x|| \cdot \cos \theta \\ \end{split}z​θTx∣∣w∣∣⋅∣∣x∣∣⋅cosθ​权重更新权重表达式若样本点数据的预测分类与实际分类不一致则更新权重向量www否则不更新w:{wy(i)x(i)(fw(x(i))≠y(i))w(fw(x(i))y(i)) w : \begin{cases} wy^{(i)}x^{(i)} (f_w(x^{(i)}) \neq y^{(i)}) \\ w (f_w(x^{(i)}) y^{(i)}) \\ \end{cases}w:{wy(i)x(i)w​(fw​(x(i))y(i))(fw​(x(i))y(i))​举例一个样本点数据输入两个维度记为x(1)x^{(1)}x(1)输出记为y(1)y^{(1)}y(1)x1(1)x_1^{(1)}x1(1)​x2(1)x_2^{(1)}x2(1)​y(1)y^{(1)}y(1)125301上述样本点数据与权重向量的夹角为θ\thetaθ假设90°≤θ≤270°90° \leq \theta \leq 270°90°≤θ≤270°则z≤0z \leq 0z≤0此时fw(x(1))−1f_w(x^{(1)}) -1fw​(x(1))−1因为样本点数据中y(1)1y^{(1)} 1y(1)1则fw(x(i))≠y(i)f_w(x^{(i)}) \neq y^{(i)}fw​(x(i))y(i)所以w:w1⋅x(1)wx(1)w : w1 \cdot x^{(1)} w x^{(1)}w:w1⋅x(1)wx(1)更新后的权重向量wx(1)wx^{(1)}wx(1)与x(1)x^{(1)}x(1)为锐角再次计算分数值z0z 0z0则fw(x(1))1y(1)f_w(x^{(1)}) 1 y^{(1)}fw​(x(1))1y(1)分类正确