Computer

Vision

Transformao para o Espao Latente

Paulo Srgio Rodrigues
PEL205

Computer
Vision

Matriz Ortogonal
Definio 1 : A matriz A ai , j mn ortogonal se AT A 1nn
onde chamado de autovetor de A

Definio 2 : x

um autovetor de Ann se

de modo que Ax x

Computer
Vision

Norma p de um Vetor
Definio 3 : a norma p de um vetor x n
x

x
i 1

1
p

Por exemplo, a normas p usuais so:

n

x 1 xi
i 1

x 2 xT x
x

1
2

max xi
1i n

Computer
Vision

Matriz Simtrica e Positiva Definida

Teorema 1 (Decomposio Espectral) : Seja i , ei

os n pares de autovalores - autovetores da matriz
n

simtrica Ann , ento : A i ei eiT

i 1

Definio 4 : Uma matriz Ann positiva definida se

xT Ax 0 para todo vetor x 0

Computer
Vision

Valor Singular

Definio 5 : Dado uma matriz Ann cujo rank r,

T

ento os autovalores de A A so :
1 2 r r 1 n 0
onde i i chamado de " valor singular" de A
onde i 1,2, , n

Computer
Vision

Espao Semntico Latente

[Deewesteer, 1990] diz que:

A indexao no espao latente (LSI) tenta resolver
problemas de casamento lexicogrfico usando ndices conceituais
derivados estatisticamente ao invs de usar palavras diretamente.
A LSI assume que existe alguma informao escondida (Estrutura
Latente das Palavras) que parcialmente obscurecida devido a
variabilidade das escolhas das palavras.

Computer
Vision

Espao Semntico Latente

Uma vez que tanto textos quanto imagens podem ser interpretadas
como espaos vetoriais, as idias do LSI de que existe informao
escondida e essa informao essencial para caracterizao de
padres, podem ser levadas para a interpretao de cenas

Por que trabalhar no espao latente quando se procura padres tanto textuais
quanto visuais?

Existe uma srie de problemas em casamento de padres que incluem pelo

menos ...

Computer
Vision

Sinnimos:

Espao Semntico Latente

palavras diferentes com o mesmo significado
Exemplo: avaro-avarento, lxico-vocabulrio,
falecer-morrer, etc.. Tais palavras possuem baixa
similaridade no espao vetorial euclidiano.

Imagens diferentes podem ter o mesmo significado:

Computer
Vision

Espao Semntico Latente

Polissemia:

Uma nica palavra pode ter mltiplos significados

Dependendo do contexto, o que leva a uma preciso
pobre em casamento de padres textuais.
Ex: vrios significados do verbo ter

Computer
Vision

Espao Semntico Latente

Polissemia: Uma nica imagem, dependendo do contexto, pode ter vrios

significados, o que pode levar a uma pobre preciso em
classificao.

Computer
Vision

Espao Semntico Latente

Alta dimensionalidade:

Tanto o espao vetorial dos textos, quanto das imagens, possuem

geralmente uma alta dimensionalidade, gerando dificuldades de
gerenciamento e escondendo informaes latentes.

Computer
Vision

Decomposio do Valor Singular

Teorema 2 : Dada uma matriz Amn , cujo rank r ,

e m n, existem duas matrizes ortogonais

U mn u1 , u2 , , un e Vnn v1 , v2 , , vn , ento :
r

A UV T ui i viT

(1)

i 1

onde 1 , 2 , , n nn e i so os valores singulares

de A, chamamos (1) de Decomposio de A em seus valores singulares

Computer
Vision

Decomposio do Valor Singular

Teorema 3 (Teorema de Eckart - Young) :
Seja a SVD de uma matriz A dada pelo Teorema 3
com r rank A p min m, n e definindo :
k

Ak U k kV ui v
T
k

T
i i

i 1

Ento, Ak uma aproximao tima de A considerando que:

min A B

A Ak

min A B 2 A Ak

rank B k

rank ( B ) k

i k 1

k 1

Computer
Vision

Decomposio do Valor Singular

Interpretao Visual do SVD

Amn

U mn

S nn

T
nn

Computer
Vision

Decomposio do Valor Singular

Concluso 1: O teorema de de Eckart-Young, garante que

Ak, a matriz truncada de A, a matriz de rank k mais
prxima de A de acordo com as normas de Forbenius e norma 2

Concluso 2: A decomposio em valores singulares de um espao

vetorial, pode separar informaes latentes escondidas. Revelar
essas informaes pode ser uma maneira de representar esse
espao
Em sua essncia semntica. Isso vale para textos, imagens, sons,
vdeos, etc..

Computer
Vision

Decomposio do Valor Singular

Exemplo numrico no Matlab

A USV
A = 0.95
0.23
0.61

0.49
0.89
0.76

0.46
0.02
0.82

[U,S,V] = svd(A)

0.44
0.62
0.79

Computer
Vision

Decomposio do Valor Singular

Exemplo numrico no Matlab

A USV
U = -0.55
-0.45
-0.70
S = 2.10
0
0
V = -0.50
-0.57
-0.40
-0.51

0.54
-0.84
0.11
0
0.67
0
0.58
-0.59
0.48
-0.28

-0.64
-0.31
0.70
0
0
0.39

Verifica-se que A = U*S*V

0
0
0

-0.64
-0.13
0.73
0.21

0.05
-0.55
-0.28
0.78

Computer
Vision

Decomposio do Valor Singular

Exemplo com uma imagem

Imagem Original
Valores Singulares

Computer
Vision

Decomposio do Valor Singular

Exemplo com uma imagem

Imagem reconstruda com

apenas 10% dos Valores
Singulares

10% dos Valores Singulares

Computer
Vision

Referncias Bibliogrficasa de SVD e LSI

1. S. T. Dumais, G. W. Furnas, T. K. Landauer, and S. Deerwester (1988),

Using latent semantic analysis to improve information retrieval. In
Proceedings of CHI88: Conference on Human Factors in Computing,
New York: ACM, 281-285.

2. S. Deerwester, S. T. Dumais, T. K. Landauer, G. W. Furnas, and R. A.

Harshman (1990), Indexing by latent semantic analysis. Journal of the
Society for Information Science, 41(6), 391-407.

3. P. W. Foltz (1990), Using Latent Semantic Indexing for Information

Filtering. In R. B. Allen (Ed.) Proceedings of the Conference on Office