ISLR系列：(2)分类 Logistic Regression & LDA & QDA & KNN

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

Classification

此博文是 An Introduction to Statistical Learning with Applications in R 的系列读书笔记，作为本人的一份学习总结，也希望和朋友们进行交流学习。

该书是 The Elements of Statistical Learning 的R语言简明版，包含了对算法的简明介绍以及其R实现，最让我感兴趣的是 算法的R语言实现 。

【转载时请注明来源】：http://www.cnblogs.com/runner-ljt/

Ljt 勿忘初心无畏未来

作为一个初学者，水平有限，欢迎交流指正。

前一篇博文讲的线性回归模型主要针对因变量是定量的情形，而对于因变量是定性的情况则需要采用分类算法。

本篇将讲述三类常用的分类算法：逻辑回归 Logistic Regression（LR）

线性/二次判别分析 Linear Discriminant Analysis（LDA） / Quadratic Discriminant Analysis（QDA）

K最近邻法 K-nearest neighbors（KNN）

首先，本文将从整体上来比较这三类分类算法：

（1）当真实的分类边界是线性时，LR和LDA通常会表现更好；当真实的分类边界是一般的非线性时，QDA通常会表现更好；当真实的分类边界

更为复杂时， KNN 通常会表现的更好。

（2） LR和LDA 都将产生线性分类边界，两种唯一的不同是LR的系数估计是通过极大似然法，而LDA的系数是运用正态分布的均值和方差的估计

值计算得到的；LR适用于二分类问题，对于多分类问题，LDA则更为常见。

（3）当样本能够被完全线性分类时，LR的参数估计将会出现不稳定情况，此时LR方法不适用（详细见另一篇博文广义线性模型 R--glm函数），

LDA参数估计则不会出现这种情况；当样本量较小且自变量的分布近似于状态分布时，LDA会比LR表现的更好。

（4） LDA和QDA都是建立在自变量服从正态分布的假设上，所以当自变量的分布确实是几乎服从正态分布时，这两种方法会表现的较好；

LDA和QDA 的区别在于LDA假设所有类别的自变量都服从方差相同的正态分布，而QDA假设对于因变量属于不同类别的自变量服从方差不

同的正态分布，选择LDA和QDA的关键在于偏置--方差的权衡。

（5） QDA可以认为是非参数学习法KNN和具有线性分类边界的LR及LDA方法的折中，QDA假设分类边界是二次的，所以它能够比线性模型更准

确的为更多的问题建立模型；同时由于其二次边界的额外假设，当样本量较小时，其能够优于KNN方法。

（6） KNN是非参数学习方法，因此它不对分类边界做任何假设，当分类边界为高度非线性是便会优于RL和LDA，但是其不能反映每个自变量对因

变量的影响。

（7） LR可以适用于含有定性自变量的模型，对于定性的自变量LR会将其转换为虚拟变量，但是LDA、QDA及KNN都不适用于定性的自变量。

Logistic Regression

(1)广义线性回归：glm(formula, family = gaussian, data, subset)

family： binomial(link = "logit") 因变量服从伯努利分布，连接函数为logit；

gaussian(link = "identity") 因变量服从高斯分布，连接函数为identity；

poisson(link = "log") 因变量服从泊松分布，连接函数为log.

subset :可选向量，用于指定data中用于测试的数据集 .

(2)预测函数：predict(object, newdata = NULL, type = c("link", "response", "terms"))

newdata：预测样本数据，当为NULL时预测样本为测试样本，data.frame格式；

type : link --- 连接函数 ΘX 的值【 p(y=1)=1/(1+e ^-ΘX ）】 ;

response ---预测结果是样本类别为1的概率 ;

terms --- The 'terms' option returns a matrix giving the fitted values of each term in the model formula

on the linear predictor scale.

(3)虚拟变量设置：contrasts（x）

在预测结果中的概率为样本结果是1类的概率（即虚拟变量为1所代表的类别）

> library(ISLR)

> head(Smarket)

  Year   Lag1   Lag2   Lag3   Lag4   Lag5 Volume  Today Direction

1 2001  0.381 -0.192 -2.624 -1.055  5.010 1.1913  0.959        Up

2 2001  0.959  0.381 -0.192 -2.624 -1.055 1.2965  1.032        Up

3 2001  1.032  0.959  0.381 -0.192 -2.624 1.4112 -0.623      Down

4 2001 -0.623  1.032  0.959  0.381 -0.192 1.2760  0.614        Up

5 2001  0.614 -0.623  1.032  0.959  0.381 1.2057  0.213        Up

6 2001  0.213  0.614 -0.623  1.032  0.959 1.3491  1.392        Up

>

>glm.fit<-glm(Direction~Lag1+Lag2+Lag3+Lag4+Lag5+Volume,data=Smarket,family=binomial)

> summary(glm.fit)

Call:

glm(formula = Direction ~ Lag1 + Lag2 + Lag3 + Lag4 + Lag5 +

    Volume, family = binomial, data = Smarket)

Deviance Residuals:

   Min      1Q  Median      3Q     Max

-1.446  -1.203   1.065   1.145   1.326  

Coefficients:

             Estimate Std. Error z value Pr(>|z|)

(Intercept) -0.126000   0.240736  -0.523    0.601

Lag1        -0.073074   0.050167  -1.457    0.145

Lag2        -0.042301   0.050086  -0.845    0.398

Lag3         0.011085   0.049939   0.222    0.824

Lag4         0.009359   0.049974   0.187    0.851

Lag5         0.010313   0.049511   0.208    0.835

Volume       0.135441   0.158360   0.855    0.392

(Dispersion parameter for binomial family taken to be 1)

    Null deviance: 1731.2  on 1249  degrees of freedom

Residual deviance: 1727.6  on 1243  degrees of freedom

AIC: 1741.6

Number of Fisher Scoring iterations: 3

>

> #预测

> glm.probs<-predict(glm.fit,type='response')

> glm.probs[1:10]

        1         2         3         4         5         6         7         8         9        10

0.5070841 0.4814679 0.4811388 0.5152224 0.5107812 0.5069565 0.4926509 0.5092292 0.5176135 0.4888378

> contrasts(Smarket$Direction)

     Up

Down  0

Up    1

> #衡量模型效果

> glm.pred<-rep('Down',1250)

> glm.pred[glm.probs>0.5]<-'Up'

> table(glm.pred,Direction)

Error in table(glm.pred, Direction) : object 'Direction' not found

> table(glm.pred,Smarket$Direction)

glm.pred Down  Up

    Down  145 141

    Up    457 507

>

Linear Discriminant Analysis

(1) 线性判别分析 lda(formula, data, ..., subset)

返回结果：先验概率 Prior probabilities of groups
各类别种每个自变量的均值 Group means
判别边界系数 Coefficients of linear discriminants
y= - 0.7567605*Lag1 - 0.4707872*Lag2

(2) 预测：predict（lda.fit）
返回结果：预测类别class
类的后验概率 posterior (每一样本属于各类别的后验概率，通常以0.5为界进行分类，但可以指定后验概率为α来分类)

> library(MASS)

> lda.fit<-lda(Direction~Lag1+Lag2,data=Smarket)

> lda.fit

Call:

lda(Direction ~ Lag1 + Lag2, data = Smarket)

Prior probabilities of groups:

  Down     Up

0.4816 0.5184 

Group means:

            Lag1        Lag2

Down  0.05068605  0.03229734

Up   -0.03969136 -0.02244444

Coefficients of linear discriminants:

            LD1

Lag1 -0.7567605

Lag2 -0.4707872

> #预测

> lda.pred<-predict(lda.fit)

> names(lda.pred)

[1] "class"     "posterior" "x"

> lda.class<-lda.pred$class

> lda.class[1:10]

 [1] Up   Down Down Up   Up   Up   Down Up   Up   Down

Levels: Down Up

> table(lda.class)

lda.class

Down   Up

 216 1034

> table(lda.class,Smarket$Direction)

lda.class Down  Up

     Down  114 102

     Up    488 546

> #改变判别准则

> lda.pred$posterior[1:10,]

        Down        Up

1  0.4861024 0.5138976

2  0.5027466 0.4972534

3  0.5104516 0.4895484

4  0.4817860 0.5182140

5  0.4854771 0.5145229

6  0.4920394 0.5079606

7  0.5085978 0.4914022

8  0.4896886 0.5103114

9  0.4774690 0.5225310

10 0.5049515 0.4950485

> #将概率大于0.5就判为UP类在准则改为大于0.51

> sum(lda.pred$posterior[,2]>0.51)

[1] 822

Quadratic Discriminant Analysis

二次判别分析 qda(formula, data, ..., subset)

>

> library(MASS)

> qda.fit<-qda(Direction~Lag1+Lag2,data=Smarket)

> qda.fit

Call:

qda(Direction ~ Lag1 + Lag2, data = Smarket)

Prior probabilities of groups:

  Down     Up

0.4816 0.5184 

Group means:

            Lag1        Lag2

Down  0.05068605  0.03229734

Up   -0.03969136 -0.02244444

> qda.pred<-predict(qda.fit,Smarket)

> names(qda.pred)

[1] "class"     "posterior"

> qda.pred$class[1:10]

 [1] Up   Up   Down Up   Up   Up   Down Up   Up   Up

Levels: Down Up

> qda.pred$posterior[1:10,]

        Down        Up

1  0.4754475 0.5245525

2  0.4944981 0.5055019

3  0.5083068 0.4916932

4  0.4780731 0.5219269

5  0.4773961 0.5226039

6  0.4836726 0.5163274

7  0.5013701 0.4986299

8  0.4916379 0.5083621

9  0.4675238 0.5324762

10 0.4967838 0.5032162

> table(qda.pred$class,Smarket$Direction)

       Down  Up

  Down  109  94

  Up    493 554

>

K-Nearest Neighbors

K最近邻 knn(train, test, cl, k = 1)

测试集(matrix/data.frame) train ；训练集(matrix/data.frame) test ；测试集的正确类 cl ; 参考的邻近元个数 k

在使用knn(...)之前需要设置随机种子，因为当最K邻近元的个数超过K时，对第K最邻近元会随机选择，设置随机种子可以保证模型结果的可重复

>

> library(class)

> attach(Smarket)

> train<-Year<2005

> #测试集和训练集

> train.X<-cbind(Lag1,Lag2)[train,]

> test.X<-cbind(Lag1,Lag2)[!train,]

> train.Y<-Direction[train]

> #设置随机种子

> set.seed(1)

> knn.pred<-knn(train.X,test.X,train.Y,k=1)

> knn.pred[1:10]

 [1] Up   Down Up   Up   Up   Down Down Down Down Up

Levels: Down Up

>#K=1

> table(knn.pred,Direction[!train])

knn.pred Down Up

    Down   43 58

    Up     68 83

> #K=3

> knn.pred<-knn(train.X,test.X,train.Y,k=3)

> table(knn.pred,Direction[!train])

knn.pred Down Up

    Down   48 54

    Up     63 87

>