Uncertainty quantification in credit risk : a case study

Abstract

Resumo: Este artigo apresenta uma aplicação de Predição Conformal em um problema clássico de risco de crédito, utilizando a base de dados German Credit e dois modelos de classificação base: Naive Bayes e Random Forest. A partir do esquema de split conformal prediction, construímos conjuntos preditivos para o rótulo de risco com garantia de cobertura marginal no nível nominal de 90% sob a suposição de permutabilidade dos dados. Avaliamos o desempenho por meio da cobertura empírica e do tamanho médio dos conjuntos no conjunto de teste, além de métricas tradicionais dos modelos base (acurácia e AUC). Os resultados indicam que a cobertura empírica permanece próxima ou acima do nível nominal, enquanto o tamanho médio dos conjuntos sugere uma proporção relevante de decisões claras (|Cˆ(x)| = 1) e uma fração menor na zona cinza (|Cˆ(x)| = 2). Discutimos como essa decomposição em zonas de decisão pode apoiar regras de negócio, distinguindo aprovações e recusas com maior confiança e encaminhando casos ambíguos para análise adicional. Por fim, apontamos direções para trabalhos futuros envolvendo variações mais avançadas de Predição Conformal e critérios de avaliação que considerem custos assimétricos de erro

Abstract: This paper presents an application of Conformal Prediction to a classical credit-risk classification problem using the German Credit dataset and two base classifiers: Naive Bayes and Random Forest. Using split conformal prediction, we construct prediction sets for the risk label with a marginal coverage guarantee at the nominal 90% level under the assumption of data exchangeability. We assess performance through empirical coverage and average set size on a held-out test set, in addition to standard metrics of the base models (accuracy and AUC). The results show that empirical coverage remains close to or above the nominal level, while the average set size indicates a substantial proportion of clear decisions (|Cˆ(x)| = 1) and a smaller fraction in the gray zone (|Cˆ(x)| = 2). We discuss how this decision-zone decomposition can support business rules by distinguishing approvals and rejections with greater confidence and routing ambiguous cases to additional review. Finally, we outline future directions involving more advanced variants of Conformal Prediction and evaluation criteria that account for asymmetric error costs