XVIII Congresso Brasileiro de Automtica / 12 a 16-setembro-2010, Bonito-MS

APRENDIZADO DE REDES MLP ATRAVES DA OTIMIZACAO DA AREA ABAIXO

DA CURVA ROC

Cristiano Leite de Castro, Antonio de Padua Braga

Universidade Federal de Minas Gerais

Departamento de Engenharia Eletronica

Belo Horizonte, MG, Brasil

Emails: crislcastro@ufmg.br, apbraga@ufmg.br

Abstract This paper presents an algorithm (AUC-MLP ) for Multi-Layer Perceptron (MLP) neural network
learning that directly optimizes AUC (Area Under the ROC Curve). The cost function for AUC-MLP is a
differentiable approximation of AUC original expression. The weight updating rule is based on the Gradient
Descent method. In experiments conducted on binary classification problems, our method was compared with
traditional learning algorithms for MLP topology: Levenberg-Marquadt and Resilient-Backpropagation. The
results achieved on real (from UCI repository) data sets point out that our approach was effective, especially for
data sets with higher imbalance degree.

Keywords Multi-Layer Perceptron, Area Under the ROC Curve, Classification, Imbalanced Data Sets.

Resumo Esse trabalho apresenta um algoritmo de aprendizado (AUC-MLP) para redes MLP (Multi-Layer
Perceptron) que diretamente otimiza a AUC (Area Abaixo da Curva ROC ). O algoritmo AUC-MLP e baseado
em uma funcao custo que corresponde a uma aproximacao diferenciavel da AUC. O metodo do Gradiente e usado
para a atualizacao dos pesos da rede. Nos experimentos conduzidos com problemas binarios de classificacao, nosso
metodo foi comparado com algoritmos comumente usados para o aprendizado de redes MLP: Levenberg-Marquadt
e Resilient-Backpropagation. Resultados obtidos com bases de dados reais (do repositorio UCI) mostram que
nossa abordagem foi efetiva, principalmente para problemas com nveis elevados de desbalanceamento entre as
classes.

Keywords Multi-Layer Perceptron, Area Abaixo da Curva ROC, Classificacao, Conjuntos Desbalanceados.

1 Introducao problemas reais, conjuntos de dados pequenos, es-

Classificadores binarios baseados em Redes Neu-
rais Artificiais (RNAs) comumente usam funcao
de ativacao do tipo sigmoide nas unidades de
sada. Com base nas sadas contnuas (scores)
obtidas para os exemplos de entrada, um thresh-
old e selecionado para definir a pertinencia de
um exemplo a uma dada classe. Essa abordagem
permite a contabilizacao do numero medio de er-
ros/acertos, metricas comumente usadas para se
determinar o desempenho do classificador.
Para muitas aplicacoes reais, no entanto, a
taxa de Erro nao e a metrica mais pertinente para
se avaliar um classificador. Criterios como or-
denacao ou ranking sao mais apropriados. Con-
sidere, por exemplo, uma lista de documentos
retornada por uma maquina de busca a partir
de uma consulta especfica. A lista pode con-
ter muitos documentos mas, na pratica, somente
aqueles que estao no topo devem ser examina-
dos pelo usuario. Alem disso, a taxa de Erro
pode produzir um falso sentimento sobre o de-
sempenho de um classificador quando as classes
apresentam probabilidades a priori muito difer-
entes (Provost et al., 1998). Por exemplo, para
um conjunto de dados em que a classe majoritaria
possui cerca de 98% das observacoes, um classifi-
cador com taxa de Erro de apenas 2% pode ser
diretamente obtido, por simplesmente classificar
todo exemplo como pertencente a essa classe. Em
parsos e altamente desbalanceados sao muito co-
muns.
Uma maneira alternativa de se avaliar um
classificador, que distingue os erros cometidos por
cada classe, e dada pelas Curvas ROC (Receiver
Operating Characteristic) (Egan, 1975), que orig-
inalmente foram desenvolvidas na Teoria de De-
teccao de Sinais e que, nos ultimos anos, tem
sido usadas pelas comunidades de Aprendizado
de Maquina e Mineracao de Dados para selecao
e avaliacao de modelos (Fawcett, 2006). Para um
classificador binario, a Curva ROC mostra grafi-
camente a taxa de verdadeiro positivos (TPrate)
em funcao da taxa de falso positivos (FPrate), a
partir da variacao do threshold de decisao sobre
toda a faixa de scores produzida pelo classificador.
Quanto mais inclinada a curva se encontra em re-
lacao ao canto superior esquerdo, melhor e capaci-
dade discriminativa do classificador. A Figura 1
mostra um exemplo de Curva ROC.
A AUC, definida como a Area Abaixo da
Curva ROC, e uma metrica robusta que avalia
o desempenho geral do classificador sem consid-
erar um threshold de decisao especfico. Como
sera mostrado mais formalmente na Secao 2, a
AUC possui uma importante propriedade estats-
tica, sendo frequentemente usada para medir a
qualidade do ranking de classificacao (Hanley and
Mcneil, 1982). Alem disso, por ser independente
do threshold, e consequentemente das probabili-

4445
XVIII Congresso Brasileiro de Automtica / 12 a 16-setembro-2010, Bonito-MS
dades a priori das classes, obtem vantagem em re-
lacao a taxa de Erro quando aplicada a problemas
desbalanceados (Bradley, 1997).
1
0.9
0.8
0.7 Curva ROC
0.6
TPrate
0.5
0.4
0.3
0.2
0.1
0
0 0.2 0.4 0.6 0.8
FPrate
Figura 1: Exemplo de Curva ROC para um clas-
sificador binario.
Em geral, a funcao custo otimizada pela maio-
ria dos algoritmos de aprendizado e a taxa de
Erro e nao a AUC. Entretanto, como observado
em (Cortes and Mohri, 2004), otimizar o Erro em
determinados casos, nao garante a maximizacao
da AUC. Dessa forma, e necessario um algoritmo
que diretamente otimize a AUC. Alguns trabalhos
na literatura visam ao tratamento desse problema:
um metodo para otimizar a AUC localmente foi
proposto no contexto de Arvores de Decisao (Ferri
et al., 2002). Outros algoritmos foram desen-
volvidos para maximizar aproximacoes globais da
AUC (Herschtal and Raskutti, 2004) e (Herschtal
et al., 2006), mas, em geral eles nao tem obtido
valores de AUC significativamente melhores que
metodos desenvolvidos para minimizar o Erro.
(Joachims, 2005) chama a atencao para a dificul-
dade computacional na otimizacao de medidas de
desempenho nao lineares e multivariadas, como e
o caso da AUC, e apresenta um metodo baseado
em Vetores de Suporte para a otimizacao daquela
metrica.
Nesse trabalho, um novo algoritmo de apren-
dizado para redes MLP (Multi-Layer Perceptron)
(Haykin, 1994) que diretamente otimiza a AUC e
descrito. Ele e baseado em uma funcao custo que
corresponde a uma aproximacao diferenciavel da
AUC. Nos experimentos conduzidos com proble-
mas binarios de classificacao, nosso algoritmo foi
comparado a metodos tradicionais de aprendizado
baseados na minimizacao da taxa de Erro. Os re-
sultados obtidos mostraram que nossa abordagem
foi capaz de obter melhores curvas ROC, especial-
mente para problemas com elevados nveis de des-
balanceamento entre as classes.
O restante do artigo e apresentado da seguinte
forma: Na Secao 2 a metrica Area Abaixo da
Curva ROC (AUC ) e descrita formalmente. Em
seguida, na Secao 3, nossa proposta para o treina-
mento de redes MLP a partir da otimizacao da
AUC e apresentada. Na Secao 4, sao descritos a
metodologia adotada na conducao dos experimen-
tos e os resultados obtidos. Finalmente, a Secao 5
traz as discussoes e as conclusoes.
2 Area Abaixo da Curva ROC
Considere um conjunto de dados (iid) T =
N
{x(i), t(i)}i=1 consistindo de N exemplos per-
tencentes a duas classes, onde t(i) {+1, 1}
denota o rotulo (sada desejada) para cada ve-
tor x(i) Rn . Existem N1 exemplos da classe
minoritaria ou positiva, {x(p), p = 1, . . . , N1 }, e
N2 exemplos da classe majoritaria ou negativa,
1 {x(q), q = 1, . . . , N2 }.
A AUC de um classificador f avaliado so-
bre o conjunto T , pode ser expressa como a
probabilidade P (f (X+ ) > f (X )), onde f (X+ )
e f (X ) correspondem, respectivamente, as den-
sidades (pdfs) das sadas (scores) estimadas pelo
classificador para os exemplos positivos e neg-
ativos. A expressao dessa probabilidade para
o caso discreto e equivalente a Wilcoxon-Mann-
Whitney Statistic (Wilcoxon, 1945; Mann and
Whitney, 1947) ilustrada pela Equacao 1, a seguir,
N1 N2
!
1 X X
AU C(f ) = g(f (x(p)) f (x(q))) (1)
N1 N2 p=1 q=1
onde o funcional g(x) e definido por,
0 se x < 0,
g(x) = 0.5 se x = 0, (2)
1 se x > 0.
A AUC pode ser vista como uma medida
baseada em comparacoes par a par entre classi-
ficacoes de ambas as classes. Com um ranking
perfeito, todas as observacoes da classe positiva
possuirao scores mais elevados que as da classe
negativa e assim, AU C(f ) = 1.
3 O Algoritmo AUC-MLP
3.1 Rede MLP
Desde que o escopo de nossa abordagem e lim-
itado a problemas binarios de classificacao, con-
sidere uma rede Multi-Layer Perceptron (MLP)
com n entradas, uma camada escondida com h
unidades (neuronios) e uma camada de sada con-
tendo uma unica unidade, conforme ilustrado pela
Figura 2.
Dado o conjunto de dados T = {x(i), t(i)}N i=1 ,
o valor de sada estimado pela k-esima unidade es-
condida, devido a apresentacao do i-esimo exem-
plo de entrada, e dado por,
4446
XVIII Congresso Brasileiro de Automtica / 12 a 16-setembro-2010, Bonito-MS

para 0 < dmax e c > 1. Considere z(p) e

z(q), respectivamente, os scores estimados pela
rede MLP para o p-esimo exemplo positivo e o q-
esimo exemplo negativo; Seja d(p, q) = z(p)z(q),
a diferenca entre esses scores; dmax e o maior
valor que pode ser obtido para d(p, q); por exem-
plo, para uma rede MLP com sadas no intervalo,
1 z(i) 1, dmax = 2. A Fig. 3 ilustra graficos
de g(x) (linha contnua) e R(x) (linha pontilhada)
em funcao da diferenca d(p, q), para o intervalo
2 d(p, q) 2. Para a curva R(x), os seguintes
parametros foram usados: = 1.2 e c = 2.

Figura 2: Topologia de rede MLP comumente ado-

g(x)
tada em problemas binarios de classificacao. 10
R(x): c = 2 e = 1.2
9

6
n
X 5
yk (i) = f (uk (i)) = f xj (i)wkj (3)
4
j=0
3
= 1.2
onde wkj representa o peso entre a unidade escon- 2

dida k e a unidade de entrada j. Similarmente, o 1

valor obtido na unidade de sada (score), e calcu- 0

1.5 1 0.5 0 0.5 1 1.5 2
d(p,q)
lado com base nos sinais de sada emitidos pelas
unidades escondidas,
Figura 3: Curvas g(x) e R(x) (com = 1.2 e c =
! 2) em funcao da diferenca d(p, q), para o intervalo
h
X 2 d(p, q) 2.
z(i) = f (v(i)) = f yk (i)wk (4)
k=0
A partir da Equacao 6, uma aproximacao
na qual wk representa um peso entre o nodo de diferenciavel para o funcional AUC e definida,
sada e a unidade escondida k. Como mencionado conforme a Equacao 7 a seguir,
anteriormente, os algoritmos de aprendizado pro-
postos para redes MLP comumente utilizam o so- N1 X
N2
!
matorio dos erros quadraticos medios como funcao [ 1 X
AU C(w) = R (d(p, q))) (7)
custo a ser otimizada durante o treinamento. A N1 N2 p=1 q=1
Equacao 5 ilustra esse funcional,
Note que, otimizar o funcional AU[ C(w) im-
N
1 X plica em buscar solucoes cujos valores d(p, q) se-
J(w) = (t(i) z(i))2 (5)
N i=1 jam maiores ou iguais a para todos os pares de
exemplos.
Para diretamente maximizar a AUC, o algo- Como mencionado anteriormente, (Yan et al.,
ritmo AUC-MLP substitui J(w) (vide Equacao 5) 2003) sugerem que assuma valores maiores que
por uma nova funcao custo que corresponde a uma 0, o que supostamente assegura que os scores obti-
aproximacao da expressao original da AU C (vide dos para os exemplos positivos sejam maiores que
Equacao 1). Essa funcao foi proposta por (Yan os negativos. Sua estrategia tem por princpio
et al., 2003) e e descrita na Secao 3.2, a seguir. obter um bom ranking, maximizando a AUC sem
a necessidade de se considerar um threshold de
3.2 Definicao da Funcao Custo decisao.
Com o objetivo de garantir nao somente a
Desde que o funcional AUC descrito pela Equacao
qualidade do ranking, mas tambem que os scores
1 e nao diferenciavel, (Yan et al., 2003) propoem
estimados para as diferentes classes fiquem de la-
uma estrategia de suavizacao atraves da substitu-
dos opostos em relacao ao threshold padrao (s =
icao da funcao heaviside g(x) (vide Equacao 2),
(zmax + zmin )/2), uma nova faixa de valores para
pela funcao R(x) definida por,
e sugerida: (dmax /2) < dmax . Considere
novamente, por exemplo, uma rede MLP, com sa-
((x ))c das contnuas no intervalo, 1 z(i) 1. Nesse

se x < ,
R(x) = (6) caso, deve ser maior que 1, na tentativa de que
0 caso contrario.

4447
XVIII Congresso Brasileiro de Automtica / 12 a 16-setembro-2010, Bonito-MS

[
a solucao encontrada na otimizacao da AU C(w),
produza z(p) s e z(q) < s , com s = 0.0.
O parametro c influencia somente a inclinacao
da funcao R(x). Em testes empricos, foi obser-
vado que os melhores resultados foram obtidos
para c = 2, c = 3 e, 1.2 1.5. Para valores el-
evados de c, problemas numericos no processo de
otimizacao foram notados para alguns conjuntos
de dados.
3.3 Formulacao do Problema de Aprendizado
Formalmente, o seguinte problema de otimizacao
deve ser resolvido,
4 Experimentos e Resultados
Nessa Secao, experimentos foram conduzidos com
5 bases de dados desbalanceadas extradas do
Repositorio UCI (Asuncion and Newman, 2007).
A Tabela 1 mostra as caractersticas das bases se-
lecionadas: numero de atributos (#atr.), numero
de exemplos positivos (N1 ), numero de exemp-
los negativos (N2 ) e razao de desbalanceamento
(N1 /(N1 + N2 )). O rotulo entre parenteses indica
a classe alvo, escolhida para representar a classe
positiva (minoritaria). Para bases com mais de
duas classes, as demais classes foram unidas para
representar a classe negativa (majoritaria).

[
wopt = arg min AU C(w) . (8)
Tabela 1: Caractersticas das 5 bases de da-
O objetivo do aprendizado e obter o vetor de dos usadas no experimento: numero de atribu-
pesos otimo, wopt , que minimiza a funcao custo tos (#atr.), numero de exemplos positivos (N1 ),
[
AU C(w) e consequentemente, maximiza a curva numero de exemplos negativos (N2 ) e razao de
ROC. desbalanceamento (N1 /(N1 + N2 )).

3.4 Vetor Gradiente

Base de Dados #atr. N1 N2 Razao
[
Seja AU C(w) o vetor gradiente para a funcao Segmentation(1) 19 30 180 0.143
[
custo AU C(w). Cada componente do vetor Diabetes 08 268 500 0.350
[
AU C(w) e dado pela derivada parcial da Heart 44 55 212 0.210
[
AU C(w) em relacao a um peso arbitrario da rede Yeast(5) 08 51 1433 0.034
w, conforme descrito pela Equacao 9 a seguir, Abalone(19) 08 32 4145 0.008

N1 XN2
[
AU C 1 X R (d(p, q))
= (9)
w N1 N2 p=1 q=1 w
onde R(d(p,q)) corresponde ao escalar gradiente
w (RProp) (Riedmiller and Braun, 1993). Ambos
devido a apresentacao do par de exemplos x(p) e
x(q).
3.5 Atualizacao dos Pesos
A regra de aprendizado e baseada no metodo do
gradiente descendente (Luenberger, 1984). Os
pesos sao inicializados com valores aleatorios,
atraves da heurstica estabelecida em (Haykin,
1994), e atualizados na direcao oposta do vetor
gradiente, conforme as Equacoes 10 e 11 a seguir,
[
w(m) = AU C(w)(m)
w(m + 1) = w(m) + (1 ) w(m)
+ w(m 1)
onde e uma constante positiva (taxa de apren-
dizado) que indica o tamanho do termo de atu-
alizacao (w) aplicado a cada epoca (m) sobre
o vetor de pesos (w). O termo de momentum,
0 1, e usado para acelerar a velocidade de
convergencia do metodo, especialmente em regioes
onde a funcao custo apresenta plateaus, e evitar
que o mesmo alcance mnimos locais rasos.
O metodo AUC-MLP foi comparado com al-
goritmos comumente usados para o aprendizado
de redes MLP: Levenberg-Marquadt (LM ) (Hagan
and Menhaj, 1994) e Resilient-Backpropagation
sao baseados na minimizacao do funcional so-
matorio dos erros quadraticos medios, dado pela
Equacao 5.
Para cada algoritmo, o numero de neuronios
na camada escondida (h) foi selecionado atraves
do procedimento Grid-Search apresentado em
(Van Gestel et al., 2004). Para o algoritmo AUC-
MLP, os parametros = 1.4 e c = 2 da funcao
custo, foram mantidos contantes para todas as
bases. Os valores de (taxa de aprendizado) e
(termo de momentum) foram determinados em-
(10) piricamente. Os parametros otimos selecionados
pelos algoritmos LM, RProp e AUC-MLP, para
cada base de dados, encontram-se na Tabela 2.
Apos a selecao dos parametros, os algoritmos
foram avaliados atraves das seguintes metricas de
(11)
desempenho:
AUC, obtida atraves do algoritmo descrito
por (Fawcett, 2006), que soma sucessivas
areas de trapezios formados a partir dos pon-
tos (FPrate, TPrate) gerados na construcao
da Curva ROC.
Gmean = T P rate T N rate, definida por
(Kubat and Matwin, 1997) como a media ge-

4448
XVIII Congresso Brasileiro de Automtica / 12 a 16-setembro-2010, Bonito-MS
Tabela 2: Parametros selecionados para os algo-
ritmos LM (h), RProp (h) e AUC-MLP (h, e
).
LM RProp AUC-MLP
Base de Dados h h h 1
Segmentation 3 3 2 0.1
Diabetes 2 1 1 0.3
Heart 4 2 1 0.1
Yeast 3 2 3 0.2
Abalone 5 3 4 0.3
ometrica entre as taxas corretas de classifi-
cacao para a classe positiva (sensibilidade) e
negativa (especificidade), respectivamente.
As Tabelas 3 e 4 mostram, respectivamente,
os valores de AUC e G-mean (em %) obtidos pe-
los algoritmos sobre as 5 bases de dados. Para
cada metrica, a media e o desvio padrao foram
calculados a partir de 10 execucoes com diferentes
subconjuntos estratificados de treinamento e vali-
dacao obtidos a partir da tecnica stratified 10-fold
cross-validation (Stone, 1974). Os melhores resul-
tados encontram-se em negrito.
Como mostrado na Tabela 3, o algoritmo
AUC-MLP, por ter sido projetado para otimizar
uma aproximacao da metrica AU C, obteve mel-
hores resultados em 4 das 5 bases de dados. Rprop
obteve o segundo melhor desempenho, apresen-
tando resultados muito similares ao metodo AUC-
MLP sobre bases menos desbalanceadas: Segmen-
tation e Diabetes. E importante destacar, no en-
tanto, a superioridade dos resultados obtidos por
AUC-MLP em relacao as bases de dados mais des-
balanceadas: Yeast e Abalone.
A Tabela 4 mostra os resultados obtidos com
a metrica G-mean. Essa metrica foi escolhida com
o objetivo de avaliar o desempenho de AUC-MLP
sobre aplicacoes desbalanceadas. Valores elevados
de G-mean refletem taxas elevadas e equilibradas
de sensibilidade e especificidade. Conforme obser-
vado na Tabela 4, AUC-MLP obteve melhores re-
sultados que LM e Rprop em 4 das 5 bases de da-
dos, destacando-se novamente sobre as bases mais
desbalanceadas: Yeast e Abalone.
E importante notar que, devido ao elevado
grau de desbalanceamento das bases Yeast (0.034)
e Abalone (0.008), os algoritmos baseados na min-
imizacao do erro (LM e Rprop) obtiveram valores
nulos para TPRate e, consequentemente, para G-
mean. Ao contrario, AUC-MLP apresentou um
bom numero de classificacoes positivas corretas,
melhorando o equilbrio entre a sensibilidade e a
especificidade.
Finalmente, curvas ROC medias foram es-
timadas a partir dos subconjuntos de validacao
para cada base de dados. Para ilustrar, a Figura
4 mostra as curvas ROC obtidas para a base
Abalone que apresenta a menor razao de desbal-
anceamento. Note que AUC-MLP gerou melhor
Curva ROC que LM e Rprop.
0.9 0.9
0.9 0.8
0.9 0.7
0.7 0.6 LM
0.7
TPrate
RProp
0.5
AUCMLP
0.4
0.3
0.2
0.1
0
0 0.2 0.4 0.6 0.8 1
FPrate
Figura 4: Curvas ROC Medias estimadas para a
base Abalone contendo 4145 exemplos negativos e
32 positivos, i.e., (N1 /(N1 + N2 )) = 0.008.
5 Discussoes e Conclusoes
Esse trabalho apresentou um algoritmo de apren-
dizado para redes MLP que diretamente otimiza
a Area Abaixo da Curva ROC. Resultados obti-
dos com bases de dados reais do repositorio UCI
mostraram que, em geral, o metodo proposto foi
capaz de produzir melhores Curvas ROC, melho-
rando assim, o ranking de classificacao.
Cabe ressaltar, no entanto, que os resulta-
dos similares obtidos pelos algoritmos sobre as
bases menos desbalanceadas (Segmentation e Di-
abetes) sugerem que, sob certas condicoes, mini-
mizar Erro tambem implica em otimizar a Curva
ROC. Essa conclusao se alinha com as observacoes
descritas em (Cortes and Mohri, 2004), onde os
autores mostram que para conjuntos aproximada-
mente balanceados, minimizar Erro e equivalente
a maximizar a AUC.
Por outro lado, (Cortes and Mohri, 2004)
tambem demonstram que para bases com graus
elevados de desbalanceamento e sobreposicao
entre as classes, minimizar Erro nao garante
a maximizacao da AUC. Os resultados obti-
dos com os algoritmos Levenberg-Marquadt e
Resilient-Backpropagation corroboram essa afir-
macao. Uma possvel explicacao para o mau de-
sempenho obtido por esses metodos esta no fato
de que o Erro nao leva em consideracao os difer-
entes custos impostos pela diferenca entre as dis-
tribuicoes a priori das classes.
Em geral, os metodos baseados em Erro ten-
dem a favorecer a classe majoritaria em detri-
mento da minoritaria que, na grande maioria das
4449
XVIII Congresso Brasileiro de Automtica / 12 a 16-setembro-2010, Bonito-MS

Tabela 3: Comparacao entre os valores de AUC (em %) obtidos pelos algoritmos LM, RProp e AUC-
MLP para as 5 bases de dados extradas do Repositorio UCI. Os melhores resultados encontram-se em
negrito.

Base de Dados LM RProp AUC-MLP

Segmentation 94.8 3.6 99.1 1.0 100.0 0.0
Diabetes 81.0 0.0 82.0 0.6 82.0 0.3
Heart 73.9 7.0 77.5 4.0 80.8 4.2
Yeast 63.9 6.1 78.2 3.4 89.1 4.7
Abalone 59.4 6.8 60.0 2.8 84.3 3.7

Tabela 4: Comparacao entre os valores de G-mean (em %) obtidos pelos algoritmos LM, RProp e AUC-
MLP para as 5 bases de dados extradas do Repositorio UCI. Os melhores resultados encontram-se em
negrito.

Base de Dados LM RProp AUC-MLP

Segmentation 81.6 3.9 98.1 4.4 97.0 5.4
Diabetes 71.1 5.1 71.3 4.2 71.2 4.0
Heart 42.7 10.6 53.3 7.2 67.5 5.9
Yeast 27.2 7.1 47.9 2.7 83.2 3.0
Abalone 00.0 5.4 00.0 8.4 70.1 6.2

vezes, apresenta os exemplos de interesse do prob-
lema em questao. Essa caracterstica e recorrente
em aplicacoes como Recuperacao de Informacao,
Diagnostico Medico e Deteccao de Falhas. Ao con-
trario, algoritmos baseados na otimizacao AUC,
como e o caso de AUC-MLP, herdam as pro-
priedades dessa metrica que, por ser independente
do threshold de decisao e, consequentemente, das
prioris das classes, sao capazes de obter melhores
superfcies de decisao, aumentando o numero de
classificacoes positivas (minoritarias) corretas e
melhorando o equilbrio entre a sensibilidade e a
especificidade.
Nossos esforcos futuros estao focados em
avaliar o uso de um metodo de otimizacao mais ro-
busto que o metodo do Gradiente e menos depende
de parametros. O objetivo e acelerar a convergen-
cia e efetuar uma busca de solucoes mais eficiente
no espaco de pesos. Alem disso, pretende-se in-
corporar estrategias de controle de complexidade
e selecao de modelos diretamente a formulacao do
algoritmo AUC-MLP.
Bradley, A. P. (1997). The use of the area un-
der the roc curve in the evaluation of ma-
chine learning algorithms, Pattern Recogni-
tion 30(7): 11451159.
Cortes, C. and Mohri, M. (2004). Auc optimiza-
tion vs. error rate minimization, Advances in
Neural Information Processing Systems 16,
MIT Press, Cambridge, MA.
Egan, J. P. (1975). Signal Detection Theory and
ROC Analysis, Academic Press.
Fawcett, T. (2006). An introduction to roc anal-
ysis, Pattern Recogn. Lett. 27(8): 861874.
Ferri, C., Flach, P. A. and Hernandez-Orallo, J.
(2002). Learning decision trees using the
area under the roc curve, ICML 02: Pro-
ceedings of the Nineteenth International Con-
ference on Machine Learning, Morgan Kauf-
mann Publishers Inc., San Francisco, CA,
USA, pp. 139146.

Hagan, M. T. and Menhaj, M. B. (1994). Train-

Agradecimentos ing feedforward networks with the marquardt
algoritm, IEEE Transactions on Neural Net-
O presente trabalho foi realizado com o apoio da works 5(6) pages 989-993 .
Fundacao de Amparo a Pesquisa do Estado de Mi-
nas Gerais - FAPEMIG. Hanley, J. A. and Mcneil, B. J. (1982). The mean-
ing and use of the area under a receiver op-
erating characteristic (roc) curve., Radiology
Referencias 143(1): 2936.

Asuncion, A. and Newman, D. (2007). UCI ma- Haykin, S. (1994). Neural Networks: A Compre-
chine learning repository. hensive Foundation, Macmillan, New York.

4450
XVIII Congresso Brasileiro de Automtica / 12 a 16-setembro-2010, Bonito-MS

Herschtal, A. and Raskutti, B. (2004). Optimis-
ing area under the roc curve using gradi-
ent descent, ICML 04: Proceedings of the
twenty-first international conference on Ma-
chine learning, ACM, New York, NY, USA,
p. 49.
Yan, L., Dodier, R. H., Mozer, M. and Wolniewicz,
R. H. (2003). Optimizing classifier perfor-
mance via an approximation to the wilcoxon-
mann-whitney statistic, ICML 03: Proceed-
ings of the twenty international conference on
Machine learning, pp. 848855.

Herschtal, A., Raskutti, B. and Campbell, P. K.

(2006). Area under roc optimisation us-
ing a ramp approximation, Proceedings of
the Sixth SIAM International Conference on
Data Mining.

Joachims, T. (2005). A support vector method for

multivariate performance measures, ICML
05: Proceedings of the 22nd international
conference on Machine learning, ACM, New
York, NY, USA, pp. 377384.

Kubat, M. and Matwin, S. (1997). Addressing

the curse of imbalanced training sets: one-
sided selection, Proc. 14th International Con-
ference on Machine Learning, Morgan Kauf-
mann, pp. 179186.

Luenberger, D. (1984). Linear and Nonlinear

Programming, second edn, Addison-Wesley,
Reading.

Mann, H. B. and Whitney, D. R. (1947). On a

test wheter one of two random variables is
stochastically larger than the other, Annals
of Math. Statistics, 18, pgs. 50 - 60. .

Provost, F. J., Fawcett, T. and Kohavi, R.

(1998). The case against accuracy esti-
mation for comparing induction algorithms,
ICML 98: Proceedings of the Fifteenth In-
ternational Conference on Machine Learn-
ing, Morgan Kaufmann Publishers Inc., San
Francisco, CA, USA, pp. 445453.

Riedmiller, M. and Braun, H. (1993). A direct

adaptive method for faster backpropagation
learning: the rprop algorithm, IEEE Interna-
tional Conference on Neural Networks 3(1)
pp. 586591.

Stone, M. (1974). Cross-validatory choice and as-

sessment of statistical predictions, Journal of
the Royal Statistical Society B 36(1): 111
147.

Van Gestel, T., Suykens, J. A. K., Baesens,

B., Viaene, S., Vanthienen, J., Dedene, G.,
De Moor, B. and Vandewalle, J. (2004).
Benchmarking least squares support vector
machine classifiers, Mach. Learn. 54(1): 5
32.

Wilcoxon, F. (1945). Individual comparisons by

ranking methods, Biometrics, 1, pages 80 -
83. .

4451