模型平估的指标不包括什么

~ 衡量观测值与真实值之间的偏差。常用来作为机器学习模型预测结果衡量的标准。
如果存在个别偏离程度非常大的离群点（ Outlier）时，即使离群点数量非常少，也会让RMSE指标变得很差。
MSE（Mean Square Error）均方误差
通过平方的形式便于求导，所以常被用作线性回归的损失函数。
L2 loss对异常敏感，用了MSE为代价函数的模型因为要最小化这个异常值带来的误差，就会尽量贴近异常值，也就是对outliers（异常值）赋予更大的权重。这样就会影响总体的模型效果。
MAE（Mean Absolute Error）平均绝对误差
是绝对误差的平均值。可以更好地反映预测值误差的实际情况。
相比MSE来说，MAE在数据里有不利于预测结果异常值的情况下
鲁棒性更好。
SD（Standard Deviation）标准差
方差的算术平均根。用于衡量
一组数值的离散程度。
R2(R- Square）拟合优度
R2=SSR/SST=1-SSE/SST
其中：SST=SSR+SSE，
SST(total sum of squares)为总离差平方和，

SSR(regression sum of squares)为回归平方和，

SSE(error sum of squares) 为残差平方和，
其中
表示
的平均值得到
表达式为：
因变量的变异能通过回归关系被由自変量解释的比例取值范国是0~1，R越近1表明回归平方和占总平方和的比例越大回归线与各观则点越接近，回归的拟合程度就越好。所以R也称为拟合优度（ Goodness of Fit）的统计量
Error = Bias + Variance
Error反映的是整个模型的准确度，Bias反映的是模型在样本上的输出与真实值之间的误差，即模型本身的精准度，Variance反映的是模型每一次输出结果与模型输出期望之间的误差，即模型的稳定性。
分类
对数损失不适用于样本不均衡时的分类评估指标
ROC-AUC可作为样本正负不均衡时的分类评估指标
如果我们想让少数情况被正确预测，就用ROC-AUC作为评估指标
F1- Score和PR曲线在正样本极少时适用于作为分类评估指标
F1- Score和PR曲线在FP比FN更重要时，适用于作为分类评估指标
第一个字母T或F，代表这个分类结果是否正确，第二个字母P或N，代表分类器认为是正例还是负例。

1.准确率（accuracy）
所有预测正确的样本/总的样本 = （TP+TN）/总
from sklearn.metrics import accuracy
accuracy = accuracy_score(y_test, y_predict)
2.查准率（precision)
预测为正的样本中有多少是真的正样本。两种可能，一种就是把正类预测为正类(TP)，另一种就是把负类预测为正类(FP)
from sklearn.metrics import precision_score
precision = precision_score(y_test, y_predict)
3.查全率/召回率(recall)
样本中的正样本有多少被预测正确了。两种可能，一种是把原来的正类预测成正类(TP)，另一种就是把原来的正类预测为负类(FN)：
from sklearn.metrics import recall_score
recall = recall_score(y_test, y_predict)
#recall得到的是一个list，是每一类的召回率
4.F1
是准确率和召回率的调和平均
from sklearn.metrics import f1_score
f1_score(y_test, y_predict)
在一个总样本中，正样本占90%，负样本占10%，样本是严重不平衡的，只需要将全部样本预测为正样本
准确率为90%
查准率为90%
召回率100%
F1 为18/19
正负样本数量往往很不均衡。，P-R曲线的变化就会非常大，而ROC曲线则能够更加稳定地反映模型本身的好坏。
如果研究者希望更多地看到模型在
特定数据集上的表现，P-R曲线则能够更直观地反映其性能。
5.PR曲线
PR曲线是准确率和召回率的点连成的线。
曲线越靠近右上角性能越好
PR曲线与ROC曲线的相同点是都采用了TPR (Recall)，都可以用AUC来衡量分类器的效果。不同点是ROC曲线使用了FPR，而PR曲线使用了Precision，因此PR曲线的两个指标都聚焦于正例。类别不平衡问题中由于主要关心正例，所以在此情况下PR曲线被广泛认为优于ROC曲线。
6.ROC(Receiver Operating Characteristic）曲线，又称接受者操作特征曲线
通过动态地调整截断点，从最高的得分开始（实际上是从正无穷开始，对应着ROC曲线的零点），逐渐调整到最低得分，每一个截断点都会对应一个FPR和TPR，在ROC图上绘制出每个截断点对应的位置再连接所有点就得到最终的ROC曲线。
ROC的含义为概率曲线，AUC的含义为正负类可正确分类的程度。
左上角最好
TPR(True Positive Rate)真正例率/查准率P
真实的正例中，被预测为正例的比例：TPR = TP/(TP+FN)。
FPR(False Positive Rate)假正例率****
真实的反例中，被预测为正例的比例：FPR = FP/(TN+FP)。
理想分类器TPR=1，FPR=0。ROC曲线越接近左上角，代表模型越好，即ACU接近1
截断点thresholds
指的就是区分正负预测结果的阈值
7.AUC
计算：分别随机从正负样本集中抽取一个正样本，一个负样本，
正样本的预测值大于负样本的概率。
例题：对于样本 (A, B, C, D, E) ,
已知其对应的label为 (0, 1, 1 ,0 ,1)，
模型A的预估值为 (0.2, 0.4, 0.7, 0.3, 0.5),
模型 B 的预估值为(0.1, 0.3, 0.9, 0.2, 0.5)，
模型 A 和 模型 B 的 AUC 一样
本题样本对（一个正样本，一个负样本组成一个样本对）共有3*2=6个，
分别是（B，A）（B，D）（C，A）（C，D）（E，A）（E，D）。
模型A对应概率为(0.4,0.2)，(0.4,0.3)，(0.7,0.2)，(0.7,0.3)，(0.5,0.2)，(0.5,0.3)，
可得其对应AUC为：(1+1+1+1+1+1)/6 = 1。同理，模型B也等于1。
AUC值为ROC曲线所覆盖的区域面积，显然,AUC越大,分类器分类效果越好。
AUC = 1，是完美分类器，采用这个预测模型时，不管设定什么阈值都能得出完美预测。绝大多数预测的场合，不存在完美分类器。0.5 < AUC < 1，优于随机猜测。AUC = 0.5，跟随机猜测一样。AUC < 0.5，比随机猜测还差。
Binary-class classification
import numpy as np
np.random.seed(10)
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.preprocessing import label_binarize
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import roc_curve

X, y = make_classification(n_samples=80000)
# print(X[0], y[0])
# (80000, 20) (80000,)

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.5)

X_train, X_train_lr, y_train, y_train_lr = train_test_split(X_train, y_train, test_size=0.5)

from keras.models import Sequential
from keras.layers import Dense
from sklearn.metrics import auc

model = Sequential()
model.add(Dense(20, input_dim=20, activation='relu'))
model.add(Dense(40, activation='relu'))
model.add(Dense(1, activation='sigmoid'))
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
model.fit(X_train, y_train, epochs=5, batch_size=100, verbose=1)

y_pred = model.predict(X_test).ravel()
print(y_pred.shape)

fpr, tpr, thresholds = roc_curve(y_test, y_pred)

roc_auc = auc(fpr, tpr)

plt.figure(1)
plt.plot([0, 1], [0, 1], 'k--')
plt.plot(fpr, tpr, label='Keras (area = {:.3f})'.format(roc_auc))
plt.xlabel('False positive rate')
plt.ylabel('True positive rate')
plt.title('ROC curve')
plt.legend(loc='best')
plt.show()
# Zoom in view of the upper left corner.
plt.figure(2)
plt.xlim(0, 0.2)
plt.ylim(0.8, 1)
plt.plot([0, 1], [0, 1], 'k--')
plt.plot(fpr, tpr, label='Keras (area = {:.3f})'.format(roc_auc))
plt.xlabel('False positive rate')
plt.ylabel('True positive rate')
plt.title('ROC curve (zoomed in at top left)')
plt.legend(loc='best')
plt.show()

# (Optional) Prediction probability density function(PDF)

import numpy as np
from scipy.interpolate import UnivariateSpline
from matplotlib import pyplot as plt

def plot_pdf(y_pred, y_test, name=None, smooth=500):
positives = y_pred[y_test == 1]
negatives = y_pred[y_test == 0]

---

安仁县17316242360： 什么是市盈率估价方法. - ？
采樊复方： 1.市盈率相对价值法 股权现金流量法在概念上很健全,但是在应用时会碰到较多的技术问题.有一种相对容易的估价方法,就是相对价值法. 这种方法是利用类似企业的市场定价来估计目标企业价值的一种方法.它的假设前提是存在一个支配...

安仁县17316242360： 如何评估股权的价值 - ？
采樊复方： 股权评估 股权转让过程中,股权价值评估方法 ①收益现值法,用收益现值法进行资产评估的,应当根据被评估资产合理的预期获利能力和适当的折现率,计算出资产的现值,并以此评定重估价值. ②重置成本法,用重置成本法进行资产评估的...

安仁县17316242360： 教育评价指标体系的结构中模型可分为哪些 - ？
采樊复方： 教育评价指标体系的结构中模型可分为(答案:AD) A、一般模型 B、 普通模型 C、 特殊模型 D、 分类模型