AUC损失

在最新的TPS中，是以AUC为指标，故有了直接优化AUC的想法。（最终它帮助我获得了rank 18/4381)。

AUC直接优化

根据定义
$$
AUC=E_{x^+\sim P+,x^-\sim P-}[1(f(x+)-f(x-)>)]
$$
其中1为指示函数。

AUC的不可导是由于指示函数的存在，故我们需要替代函数。其实它类似与0-1损失，所以我们也可以采取类似的替代函数，比如SVM中对hinge loss，比如逻辑回归中的logistic loss。

什么样的替代函数是好的

但是我们也不是随心所欲地去选替代函数，

高尉、周志华的一篇《On the Consistency of AUC Pairwise Optimization》进一步探索了替代函数的一致性（指优化该替代损失函数的期望风险是否收敛到贝叶斯风险），提供了新的 AUC 一致性充分条件，并指出了校准性对于 AUC 一致性是必要的但不足够的。

论文指出充分条件：若替代函数是凸函数，且0处导小于0，则它与AUC一致。

值得注意到是，hinge loss 并不具有一致性，而q-norm loss才具有一致性。