Ainda sobre o texto da questão anterior, considerando acurácia, precisão, recall e F1 (com foco na classe reprovado, que é a rara e a mais importante para intervenção), qual alternativa descreve melhor o desempenho desse modelo?

Como o foco é na classe reprovado (rara e mais importante), devemos avaliar especialmente recall e F1 dessa classe.

Pelo contexto típico desse tipo de questão (modelo que praticamente sempre prevê aprovado para maximizar acurácia em base desbalanceada), ocorre o seguinte:

1. Acurácia

• Em um conjunto muito desbalanceado, se a maioria é aprovado, um modelo que prevê quase tudo como aprovado tende a acertar muitos casos simplesmente por acompanhar a classe majoritária.
• Portanto, a acurácia tende a ser alta, mesmo que o modelo seja inútil para encontrar reprovados.

2. Recall (sensibilidade) para reprovado

• $\text{recall}_{reprovado} = \dfrac{TP}{TP+FN}$.
• Se o modelo não identifica nenhum reprovado (isto é, prevê “aprovado” para todos), então $TP=0$ e todos os reprovados viram $FN$.
• Logo, $\text{recall}_{reprovado} = 0$.

3. Precisão para reprovado

• $\text{precisão}_{reprovado} = \dfrac{TP}{TP+FP}$.
• Se o modelo nunca prevê reprovado, então $TP=0$ e $FP=0$, ficando uma situação sem positivos previstos (muitas bibliotecas definem como 0 por convenção). De todo modo, não seria “alta” de forma útil.

4. F1 para reprovado

• $F1 = \dfrac{2 \cdot (precisão) \cdot (recall)}{(precisão + recall)}$.
• Se o recall é 0, então o F1 também será 0 (não há como ter F1 alto sem recuperar verdadeiros positivos).

Assim, a melhor descrição é a que diz que a acurácia pode ser alta, mas o recall e o F1 para a classe reprovado serão 0.

Alternativa correta: (B).