Professional Documents
Culture Documents
COMUNICAÇÃO EM LIBRAS
Resumo – Este artigo apresenta uma solução utilizando ambiente tridimensional, sintético gerado por computador e o
Realidade Aumentada para estabelecer uma comunicação usuário pode interagir em tempo real.
em LIBRAS entre avatares humanóides. Este tipo de Este mundo virtual pode ser combinado com imagens
comunicação possui um caráter tridimensional e no seu capturadas do mundo real, chegando a uma definição de
modelo completo necessita das expressões faciais dos Realidade Misturada [2]. Dependendo desta forma de
interlocutores. Nesta solução, além dos movimentos combinação pode-se chegar a vertentes da Realidade
gesticulares, foram adicionadas as faces dos usuários, Misturada, que vai desde um ambiente totalmente real,
através da captura em tempo real. passando pela Realidade Aumentada (onde há a inserção de
objetos virtuais dentro do ambiente real), pela Virtualidade
Aumentada (onde há a inserção de objetos reais em
Palavras-Chave – Avatares, Jartoolkit, Java3D, LIBRAS. ambientes virtuais), até se chegar a um ambiente totalmente
virtual.
Abstract - This paper presents solution using a Augmented
reality to establish a communication between LIBRAS
humanoid avatars. This communication has a three-
dimensional character and its full model needs the facial
expressions of speakers. Therefore, in addition to mimic
movements have been added over the capture in real time the
faces of users.
1 INTRODUÇÃO
3.1 A LIBRAS e sua natureza 3D A LIBRAS é dotada de uma gramática constituída a partir
de elementos constitutivos das palavras ou itens lexicais e de
As línguas de sinais são línguas naturais porque, como as um léxico (o conjunto das palavras da língua) que se
línguas orais, sugiram espontaneamente da interação entre estruturam a partir de mecanismos morfológicos, sintáticos e
pessoas e devido à sua estrutura permitem a expressão de semânticos que apresentam especificidade, mas seguem
qualquer conceito - descritivo, emotivo, racional, literal, também princípios básicos gerais. Estes são usados na
metafórico, concreto, abstrato - enfim, permitem a expressão geração de estruturas lingüísticas de forma produtiva,
de qualquer significado decorrente da necessidade possibilitando a produção de um número infinito de
comunicativa e expressiva do ser humano. construções a partir de um número finito de regras. É dotada
As línguas de sinais distinguem-se das línguas orais também de componentes pragmáticos convencionais,
porque se utilizam de um meio ou canal visual-espacial e não codificados no léxico e nas estruturas da LIBRAS e de
oral auditivo. Assim, articulam-se espacialmente e são princípios pragmáticos que permitem a geração de implícitos
percebidas visualmente, ou seja, usam o espaço e as sentidos metafóricos, ironias e outros significados não
dimensões que ele oferece na constituição de seus literais. Estes princípios regem também o uso adequado das
mecanismos “fonológicos”, morfológicos, sintáticos e estruturas lingüísticas da LIBRAS, isto é, permitem aos seus
semânticos para veicular significados, os quais são usuários usar estruturas nos diferentes contextos que se lhes
percebidos pelos seus usuários através das mesmas apresentam de forma a corresponder às diversas funções
dimensões espaciais. Daí o fato de muitas vezes lingüísticas que emergem da interação do dia a dia e dos
apresentarem formas icônicas, isto é, formas linguísticas que outros tipos de uso da língua. [7]
tentam copiar o referente real em suas características visuais.
Esta iconicidade, mais evidente, nas estruturas das línguas de 3.3 O Sinal e seus parâmetros
sinais do que nas orais, deve-se ao fato de que o espaço
parece ser mais concreto e palpável do que o tempo, O que é denominado de palavra ou item lexical nas
dimensão utilizada pelas línguas orais-auditivas quando línguas orais-auditivas, são denominados sinais nas línguas
constituem suas estruturas através de seqüências sonoras que, de sinais [7]. Estes são formados a partir da combinação do
basicamente, se transmitem temporalmente. (BRITO, 2003) movimento das mãos com um determinado formato em um
Entretanto, as formas icônicas das línguas de sinais não determinado lugar, podendo este lugar ser uma parte do
são universais ou o retrato fiel da realidade. Cada língua de corpo ou um espaço em frente ao corpo. Estas articulações
sinais representa seus refentes, ainda que de forma icônica, das mãos, que podem ser comparadas aos fonemas e às vezes
convencionalmente, porque cada uma vê os objetos, seres e aos morfemas, são chamadas de parâmetros, portanto, nas
eventos representados em seus sinais ou palavras sob uma
línguas de sinais podem ser encontrados os seguintes
parâmetros:
1. configuração das mãos: são formas das mãos, que
podem ser da datilologia (alfabeto manual) ou outras
formas feitas pela mão predominante (mão direita para
os destros), ou pelas duas mãos do emissor ou
sinalizador. Os sinais APRENDER, LARANJA e
ADORAR têm a mesma configuração de mão.
2. ponto de articulação: é o lugar onde incide a mão
predominante configurada, podendo esta tocar alguma
parte do corpo ou estar em um espaço neutro vertical
(do meio do corpo até à cabeça) e horizontal (à frente
do emissor). Os sinais TRABALHAR, BRINCAR,
CONSERTAR são feitos no espaço neutro e os sinais
ESQUECER, APRENDER e PENSAR são feitos na Figura 2: Estrutura do Sistema Proposto
testa.
3. movimento: os sinais podem ter um movimento ou não.
Os sinais citados acima tem movimento, com exceção Foi escolhida a API DirectX da Microsoft [8], que possui
de PENSAR que, como os sinais AJOELHAR, EM-PÉ, um subconjunto de bibliotecas, as quais contém ferramentas
não tem movimento; para vários campos do desenvolvimento de aplicações
4. orientação: os sinais podem ter uma direção e a multimídia, a saber:
inversão desta pode significar idéia de oposição, • DirectDraw – biblioteca para gráficos 2D;
contrário ou concordância número-pessoal, como os • Direct3D – biblioteca para gráficos 3D;
sinais QUERER E QUERER-NÃO; IR e VIR; • DirectSound – biblioteca para reprodução e manipulação
5. Expressão facial e/ou corporal: muitos sinais, além de efeitos sonoros;
dos quatro parâmetros mencionados acima, em sua • DirectInput – biblioteca para manipulação de
configuração têm como traço diferenciador também a dispositivos de entrada (teclado,mouse,etc);
expressão facial e/ou corporal, como os sinais • DirectShow – biblioteca para reprodução de vídeo;
ALEGRE e TRISTE. Há sinais feitos somente com a
• DirectPlay – biblioteca para rede.
bochecha como LADRÃO, ATO-SEXUAL.
Na combinação destes quatro parâmetros, ou cinco, tem-
4 CAPTURA DAS IMAGENS
se o sinal. Falar com as mãos é, portanto, combinar estes
elementos que formam as palavras e estas formam as frases
em um contexto. Para a captura das imagens foi utilizada uma câmera
Para conversar, em qualquer língua, não basta conhecer analógica Panasonic PalmCorder PV - IQ244 e uma placa de
as palavras, é preciso aprender as regras de combinação captura PixelView BT848+ 4C (Figura 3). Nesta captura das
destas palavras em frases. imagens reais foi utilizado o DirectShow, que provê métodos
independentes de hardware para que desenvolvedores de
software acessem serviços de renderização, armazenamento
3 AMBIENTE PROPOSTO e manipulação de vídeo e áudio originários de fontes locais
ou de redes. Este DirectShow fornece uma variedade de
formatos (MPEG, AVI, WAV) para entrada comprimida ou
Para desenvolvimento desta proposta foram utilizados: 1.
não.
Computador: AMD Duron, 256Mbytes de memória RAM,
com Placa de Captura PixelView(PV-BT878P+ (REV 4C));
2. Sistema Operacional: Windows 2000; 3. DirectX 8.1
SDK; Microsoft .NET, Edit Plus, Dependency Walker; e 4.
Ferramentas: Java2 SDK 1.4.2, Java3D 1.3.1 para DirectX,
ARToolkitDirectShow2.52, JARToolkit2.0.
A estrutura do ambiente desenvolvido é apresentada pela
Figura 2.
7. CONCLUSÕES
REFERÊNCIAS BIBLIOGRÁFICAS
[1] KIRNER, C., TORI R. ;“Realidade Virtual Conceitos e
Tendências”, Editora Mania de Livro, 2004.
[2] MILGRAM, P et. al. “Augmented Reality: A Class of
Displays on the Reality-Virtuality Continuum”
Telemanipulador and Telepresence Technologies, SPIE,
V2351, 1994.
[3] Åkesson, Karl-Petter, “Augmented Virtuality: A method
to automatically augment virtual worlds with video images”,
http://www.sics.se/~kalle/projects/Master_Thesis/augmented
_virtuality.pdf, Acesso em 039 de outubro de 2008, 2008.
[4] BADLER, N. I., “Virtual Humans for Animation,
Ergonomics, and Simulation”, IEEE Workshop on Non-Rigid
and Articulated Motion, Porto Rico, 1997.
[5] THALMANN, N. M., “Digital Actors for Interactive
Television”, Proc. IEEE, August 1995
[6] CAMPOS, Márcia Borba et. al. SIGNSIM: uma
ferramenta para auxílio à aprendizagem da língua brasileira
de sinais. In: V Congresso Ibero-Americano de informática
na Educação – RIBIE – Chile, 2000.
[7] BRITO, Lucinda Ferreira. A Língua Brasileira de Sinais.
Disponível em
http://www.ines.org.br/ines_livros/fasc7_principal.htm.
Acesso em 13 maio 2003, 2003.
[8] DirectX Disponível em
http://msdn.microsoft.com/directx/ Acesso em 03 de outubro
de 2008, 2008.
[9] JARToolKit – A Java binding to the ARToolkit INES).
Disponível em http://jerry.c-lab.de/jartoolkit/ Acesso em 19
de outubro de 2006, 2006.
[10] Java3D API. . Disponível em
http://java.sun.com/products/java-media/3D/ Acesso em 03
de outubro de 2008, 2008.