pythonauc函数 python accuracy函数

python里面的auc怎么导入

1. 引入相关包

使用matplotlib包作为绘图库，故要引入相关的包，如下所示。

import matplotlib.pyplot as plt

2. 数据处理部分

首先引入numpy包对数据进行处理，如下所示。

import numpy as np

要计算AUC和AUPR，还应该引入sklearn中计算相关值的包，如下所示。

from sklearn.metrics import roc_curve, auc

from sklearn.metrics import precision_recall_curve

然后导入相关数据

y_1 = np.load('product_HSIC,y.npy')

yp_1 = np.load('product_HSIC,yp.npy')

y_2 = np.load('product_mean,y.npy')

yp_2 = np.load('product_mean,yp.npy')

y_3 = np.load('sum_HSIC,y.npy')

yp_3 = np.load('sum_HSIC,yp.npy')

y_4 = np.load('sum_mean,y.npy')

yp_4 = np.load('sum_mean,yp.npy')

2.1 计算AUC值

AUC，即AUROC，指的是由TPR和FPR围成的ROC曲线下的面积。

将分类任务的实际值和预测值作为参数输入给roc_curve()方法可以得到FPR、TPR和对应的阈值。

auc()方法可以计算曲线下的面积，将FPR和TPR作为参数输入，即可获得AUC值。

fpr_1, tpr_1, threshold_1 = roc_curve(y_1, yp_1) # 计算FPR和TPR

auc_1 = auc(fpr_1, tpr_1) # 计算AUC值

fpr_2, tpr_2, threshold_2 = roc_curve(y_2, yp_2)

auc_2 = auc(fpr_2, tpr_2)

fpr_3, tpr_3, threshold_3 = roc_curve(y_3, yp_3)

auc_3 = auc(fpr_3, tpr_3)

fpr_4, tpr_4, threshold_4 = roc_curve(y_4, yp_4)

auc_4 = auc(fpr_4, tpr_4)

2.2 计算AUPR值

AUPR，指的是由Precision和Recall围成的PR曲线下的面积。

将分类任务的实际值和预测值作为参数输入给precision_recall_curve()方法可以得到Precision、Recall和对应的阈值。

auc()方法可以计算曲线下的面积，将Recall和Precision（注意顺序）作为参数输入，即可获得AUPR值。

相关问答

Q1: python tensorflow 怎么添加auc

tensorflow添加自定义的auc计算operator

tensorflow可以很方便的添加用户自定义的operator(如果不添加也可以采用sklearn的auc计算函数或者自己写一个 但是会在python执行，这里希望在graph中也就是c++端执行这个计算)

这里根据工作需要添加一个计算auc的operator，只给出最简单实现，后续高级功能还是参考官方wiki

注意tensorflow现在和最初的官方wiki有变化，原wiki貌似是需要重新bazel编译整个tensorflow，然后使用比如tf.user_op.auc这样。

目前wiki给出的方式=0.6.0版本，采用plug-in的方式，更加灵活可以直接用g++编译一个so载入，解耦合，省去了编译tensorflow过程，即插即用。

首先auc的operator计算的文件

tensorflow/core/user_ops/auc.cc

/* Copyright 2015 Google Inc. All Rights Reserved.

Licensed under the Apache License, Version 2.0 (the "License");

you may not use this file except in compliance with the License.

You may obtain a copy of the License at

Unless required by applicable law or agreed to in writing, software

distributed under the License is distributed on an "AS IS" BASIS,

WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.

See the License for the specific language governing permissions and

limitations under the License.

==============================================================================*/

// An auc Op.

#include "tensorflow/core/framework/op.h"

#include "tensorflow/core/framework/op_kernel.h"

using namespace tensorflow;

using std::vector;

//@TODO add weight as optional input

REGISTER_OP("Auc")

.Input("predicts: T1")

.Input("labels: T2")

.Output("z: float")

.Attr("T1: {float, double}")

.Attr("T2: {float, double}")

//.Attr("T1: {float, double}")

//.Attr("T2: {int32, int64}")

.SetIsCommutative()

.Doc(R"doc(

Given preidicts and labels output it's auc

)doc");

class AucOp : public OpKernel {

public:

explicit AucOp(OpKernelConstruction* context) : OpKernel(context) {}

templatetypename ValueVec

void index_sort(const ValueVec valueVec, vectorint indexVec)

{

indexVec.resize(valueVec.size());

for (size_t i = 0; i indexVec.size(); i++)

{

indexVec[i] = i;

}

std::sort(indexVec.begin(), indexVec.end(),

[valueVec](const int l, const int r) { return valueVec(l) valueVec(r); });

}

void Compute(OpKernelContext* context) override {

// Grab the input tensor

const Tensor predicts_tensor = context-input(0);

const Tensor labels_tensor = context-input(1);

auto predicts = predicts_tensor.flatfloat(); //输入能接受float double那么这里如何都处理?

auto labels = labels_tensor.flatfloat();

vectorint indexes;

index_sort(predicts, indexes);

typedef float Float;

Float oldFalsePos = 0;

Float oldTruePos = 0;

Float falsePos = 0;

Float truePos = 0;

Float oldOut = std::numeric_limitsFloat::infinity();

Float result = 0;

for (size_t i = 0; i indexes.size(); i++)

{

int index = indexes[i];

Float label = labels(index);

Float prediction = predicts(index);

Float weight = 1.0;

//Pval3(label, output, weight);

if (prediction != oldOut) //存在相同值得情况是特殊处理的

{

result += 0.5 * (oldTruePos + truePos) * (falsePos - oldFalsePos);

oldOut = prediction;

oldFalsePos = falsePos;

oldTruePos = truePos;

}

if (label 0)

truePos += weight;

else

falsePos += weight;

}

result += 0.5 * (oldTruePos + truePos) * (falsePos - oldFalsePos);

Float AUC = result / (truePos * falsePos);

// Create an output tensor

Tensor* output_tensor = NULL;

TensorShape output_shape;

OP_REQUIRES_OK(context, context-allocate_output(0, output_shape, output_tensor));

output_tensor-scalarfloat()() = AUC;

}

};

REGISTER_KERNEL_BUILDER(Name("Auc").Device(DEVICE_CPU), AucOp);

编译：

$cat gen-so.sh

TF_INC=$(python -c 'import tensorflow as tf; print(tf.sysconfig.get_include())')

TF_LIB=$(python -c 'import tensorflow as tf; print(tf.sysconfig.get_lib())')

i=$1

o=${i/.cc/.so}

g++ -std=c++11 -shared $i -o $o -I $TF_INC -l tensorflow_framework -L $TF_LIB -fPIC -Wl,-rpath $TF_LIB

$sh gen-so.sh auc.cc

会生成auc.so

使用的时候

auc_module = tf.load_op_library('auc.so')

#auc = tf.user_ops.auc #0.6.0之前的tensorflow 自定义op方式

auc = auc_module.auc

evaluate_op = auc(py_x, Y) #py_x is predicts, Y is labels

Q2: auc 论文里的 怎么计算 python svm

利用Python画ROC曲线，以及AUC值的计算\

前言

ROC（Receiver Operating Characteristic）曲线和AUC常被用来评价一个二值分类器（binary classifier）的优劣。这篇文章将先简单的介绍ROC和AUC，而后用实例演示如何python作出ROC曲线图以及计算AUC。

AUC介绍

AUC(Area Under Curve)是机器学习二分类模型中非常常用的评估指标，相比于F1-Score对项目的不平衡有更大的容忍性，目前常见的机器学习库中(比如scikit-learn)一般也都是集成该指标的计算，但是有时候模型是单独的或者自己编写的，此时想要评估训练模型的好坏就得自己搞一个AUC计算模块，本文在查询资料时发现libsvm-tools有一个非常通俗易懂的auc计算，因此抠出来用作日后之用。

AUC计算

AUC的计算分为下面三个步骤：

1、计算数据的准备，如果模型训练时只有训练集的话一般使用交叉验证的方式来计算，如果有评估集(evaluate)一般就可以直接计算了，数据的格式一般就是需要预测得分以及其目标类别（注意是目标类别，不是预测得到的类别）

2、根据阈值划分得到横（X:False Positive Rate）以及纵（Y:True Positive Rate）点

3、将坐标点连成曲线之后计算其曲线下面积,就是AUC的值

直接上python代码

#! -*- coding=utf-8 -*-

import pylab as pl

from math import log,exp,sqrt

evaluate_result="you file path"

db = [] #[score,nonclk,clk]

pos, neg = 0, 0

with open(evaluate_result,'r') as fs:

for line in fs:

nonclk,clk,score = line.strip().split('\t')

nonclk = int(nonclk)

clk = int(clk)

score = float(score)

db.append([score,nonclk,clk])

pos += clk

neg += nonclk

db = sorted(db, key=lambda x:x[0], reverse=True)

#计算ROC坐标点

xy_arr = []

tp, fp = 0., 0.

for i in range(len(db)):

tp += db[i][2]

fp += db[i][1]

xy_arr.append([fp/neg,tp/pos])

#计算曲线下面积

auc = 0.

prev_x = 0

for x,y in xy_arr:

if x != prev_x:

auc += (x - prev_x) * y

prev_x = x

print "the auc is %s."%auc

x = [_v[0] for _v in xy_arr]

y = [_v[1] for _v in xy_arr]

pl.title("ROC curve of %s (AUC = %.4f)" % ('svm',auc))

pl.xlabel("False Positive Rate")

pl.ylabel("True Positive Rate")

pl.plot(x, y)# use pylab to plot x and y

pl.show()# show the plot on the screen

输入的数据集可以参考svm预测结果

其格式为:

nonclk \t clk \t score

其中：

1、nonclick:未点击的数据，可以看做负样本的数量

2、clk:点击的数量，可以看做正样本的数量

3、score:预测的分数，以该分数为group进行正负样本的预统计可以减少AUC的计算量

运行的结果为:

如果本机没安装pylab可以直接注释依赖以及画图部分

注意

上面贴的代码:

1、只能计算二分类的结果（至于二分类的标签随便处理）

2、上面代码中每个score都做了一次阈值，其实这样效率是相当低的，可以对样本进行采样或者在计算横轴坐标时进行等分计算

Q3: pytorch关注auc的损失

损失函数pythonauc函数：衡量模型输出与真实标签之间pythonauc函数的差异。与损失函数有关的还有代价函数和目标函数。

损失函数（Loss Function）pythonauc函数：计算一个样本的差异pythonauc函数， L o s s = f ( y ^ , y ) Loss=f\left ( \hat{y},y \right ) Loss=f(

y

^

,y)

代价函数（Cost Function）：计算整个训练集loss的一个平均值pythonauc函数， c o s t = 1 N ∑ i N f ( y ^ , y ) cos t= \frac{1}{N}\sum_{i}^{N}f\left ( \hat{y},y \right ) cost=

N

1

∑

i

N

f(

y

^

,y)

目标函数（Objective Function）：衡量模型的整体拟合程度，过拟合和欠拟合，obj = cost + Regularization

所以在衡量模型的输出和真实标签之间的差异时的损失函数其实是指代价函数，下面看一下pytorch中的损失函数：

关于pythonauc函数和python accuracy函数的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。