5588

Universidade de Aveiro 2009
Departamento de Electrnica, Telecomunicaes e Informtica
Luis Pedro Monteiro Paula
Interfaces Crebro-Computador Baseadas nos Ritmos Sensrio-Motores
Universidade de Aveiro Departamento de Electrnica, Telecomunicaes e 2009 Informtica
Luis Pedro Monteiro Paula
Interfaces Crebro-Computador Baseadas nos Ritmos Sensrio-Motores
Dissertao apresentada Universidade de Aveiro para cumprimento dos requisitos necessrios obteno do grau de Mestre em Engenharia Electrnica e Telecomunicaes, realizada sob a orientao cientfica do Prof. Dr. Filipe Miguel Teixeira Pereira da Silva, Professor Auxiliar do Departamento de Electrnica, Telecomunicaes e Informtica da Universidade de Aveiro
iii
Ao meu pai. A rvore morre, mas a sua semente perdura.
Ao meu av. Um homem no se define pelo seu poder ou a sua riqueza, define-se pelos seus valores e as suas aces.
minha me. A vida uma luta constante, obrigado por no desistires.
O jri
presidente Prof. Doutor Joo Paulo Trigueiros Cunha
Professor Associado com Agregao do Departamento de Electrnica, Telecomunicaes e Informtica da Universidade de Aveiro
Doutor Nuno Srgio Mendes Dias

Investigador Doutorado do Centro Algoritmi do Departamento de Electrnica Industrial da Universidade do Minho
Prof. Doutor Filipe Miguel Teixeira Pereira da Silva

Professor Auxiliar do Departamento de Electrnica, Telecomunicaes e Informtica da Universidade de Aveiro
vii
Agradecimentos
Ao Prof. Dr. Filipe Silva, por toda a ajuda e pacincia demonstrada ao longo do projecto. Ao Prof. Dr. Joo Paulo Cunha e Isabel Santos pela disponibilizao do equipamento de EEG fundamental para o desenrolar do projecto. Ao Prof. Dr. Vtor Santos pela cedncia do rob Khepera.
Agradeo tambm ao Virglio Bento, Tiago Carvalho e Fbio Marques pela ajuda prestada.
minha namorada Elsa e a toda a minha famlia um agradecimento muito especial por todo o apoio e pacincia demonstrados.
ix
Palavras-chave
Interfaces crebro-computador, electroencfalograma, imaginao motora, ritmos Mu e Beta, fase de treino
Resumo
Uma interface crebro-computador (BCI) pode ser vista como um canal alternativo de comunicao e controlo que permite enviar mensagens e comandos do crebro para o mundo exterior. O objectivo central transformar decises e reaces mentais em sinais de controlo pela anlise da actividade bioelctrica do crebro. Apesar dos avanos verificados nos ltimos anos, o desenvolvimento de BCIs um processo complexo devido grande quantidade e multidisciplinaridade dos conhecimentos necessrios sua implementao. Nesta dissertao pretendia-se desenvolver uma plataforma software dedicada ao projecto, teste e uso de interfaces crebro computador baseadas em sinais de Electroencefalografia (EEG), tendo em vista a explorao dos efeitos da imaginao motora sobre os ritmos sensrio-motores. Neste sentido, foram implementados um conjunto de mdulos dedicados aquisio, prprocessamento, processamento e visualizao de dados cerebrais. A aplicao final permite adquirir, filtrar, extrair caractersticas, classificar e visualizar sinais cerebrais em tempo real, bem como proceder sua anlise
off-line.
Este trabalho visava dar seguimento ao caminho j iniciado na tentativa de desenvolver um sistema que capture e descodifique a actividade elctrica do crebro e que permita o controlo de dispositivos robticos. As principais caractersticas desta plataforma BCI so a simplicidade de utilizao, a modularidade e a expansibilidade. Deste modo, pretende-se minimizar o tempo e esforo dedicado ao desenvolvimento de software, facilitando o trabalho incremental e em colaborao.
xi
Keywords
Brain-computer interfaces, electroencephalogram, motor imagery, Mu and Beta rhythms, biofeedback training
Abstract
A Brain Computer Interface (BCI) can be seen as an alternative channel of communication and control to send messages and commands from the brain to the outside world. The main objective is to transform mental decisions and reactions into control signals using the bioelectric activity of the brain. Despite the most recent advances, the development of practical BCIs remains a challenging task due to the multidisciplinary background involved in their implementation. This dissertation aims to develop a software platform for design, test and use of EEG-based brain computer interfaces, by exploiting the effect of motor imagery in the sensorimotor rhythms. Several modules dedicated to data acquisition, pre-processing, processing and data visualization were implemented. The final application performs filtering, feature extraction and classification of brain signals in real time, as well as provides their off-line analysis. This work aimed to follow early efforts in an attempt to develop a system that captures and decodes the electrophysiological activity of the brain in order to command robotic devices. The main characteristics of this BCI platform are the simplicity of use, the modularity and the expansibility. The goal is to minimize the time and effort dedicated to software development, helping the incremental and collaborative work.
xiii
ndice
CAPTULO 1 INTRODUO ................................................................................. 1 1.1 Enquadramento e motivao................................................................................................. 1 1.2 Objectivos ................................................................................................................................ 2 1.3 Organizao da Dissertao................................................................................................... 3 CAPTULO 2 ESTADO DA ARTE........................................................................... 5
2.1 O que uma BCI? ................................................................................................................... 5 2.2 O Encfalo ............................................................................................................................... 7 2.3 Mtodos de aquisio de sinais cerebrais ............................................................................. 9 2.4 Componentes de uma BCI baseada em EEG .................................................................. 10
2.4.1 Sinal de EEG............................................................................................................................ 11 2.4.2 Ritmos cerebrais ...................................................................................................................... 12 2.4.3 Paradigmas de controlo .......................................................................................................... 16 2.4.4 Processamento de sinal........................................................................................................... 16
2.5 Casos de sucesso ................................................................................................................... 18 CAPTULO 3 PLATAFORMA BCI BASEADA NOS RITMOS MU .................... 21
3.1 Introduo .............................................................................................................................. 21 3.2 Ambiente de desenvolvimento ............................................................................................ 22

3.2.1 Matlab/Simulink ...................................................................................................................... 22 3.2.2 S-functions M-file level 2 ....................................................................................................... 23
3.3 Aquisio de dados ............................................................................................................... 24

3.3.1 Equipamento ambulatrio Trackit ....................................................................................... 24 3.3.2 Driver de comunicao........................................................................................................... 26
3.4 Inicializao da plataforma .................................................................................................. 30 3.5 Modos de operao da BCI ................................................................................................. 32

3.5.1 Ferramentas de configurao................................................................................................. 34 3.5.2 Gerao de estmulos visuais ................................................................................................. 38 3.5.3 Ferramentas de visualizao de dados.................................................................................. 39
xv
3.5.4 Implementao do bloco de classificao............................................................................ 47
3.6 Treino do sujeito ................................................................................................................... 48

3.6.1 Protocolo experimental .......................................................................................................... 49 3.6.2 Ferramentas de configurao................................................................................................. 50 3.6.3 Ferramentas de visualizao de dados.................................................................................. 52 3.6.4 Algoritmo de classificao...................................................................................................... 53
3.7 Discusso de resultados........................................................................................................ 54 CAPTULO 4 ESTUDO DOS RITMOS SENSRIO-MOTORES ....................... 57
4.1 Introduo .............................................................................................................................. 57 4.2 Protocolo experimental ........................................................................................................ 58 4.3 Comparao entre imaginaes motoras ........................................................................... 59 4.4 Imaginaes motoras intercaladas com relaxamento ....................................................... 61 4.5 Comparao entre imaginao e realizao motora ......................................................... 63 4.6 Observao de realizao motora ....................................................................................... 64 4.7 Discusso de resultados........................................................................................................ 66 CAPTULO 5 CONCLUSES ................................................................................ 69
5.1 Discusso da plataforma desenvolvida .............................................................................. 69 5.2 Perspectivas de trabalho futuro ........................................................................................... 70
ndice de Figuras
Figura 2-1: Uma BCI como meio de comunicao directa entre o crebro e dispositivos externos (adaptado de [5])................................................................................................................... 6 Figura 2-2: Estruturas do encfalo. ................................................................................................... 7 Figura 2-3: Representao dos lbulos (A) e das reas funcionais (B) do crtex cerebral. ....... 8 Figura 2-4: Hmunculo sensrio-motor. .......................................................................................... 9 Figura 2-5: Mtodos de aquisio de dados do crebro. .............................................................. 10 Figura 2-6: Componentes funcionais de uma BCI. ....................................................................... 11 Figura 2-7: Sistema 10-20 recomendado pela International Federation of EEG Societies. ... 12 Figura 2-8: Ritmos Delta (<4Hz)..................................................................................................... 13 Figura 2-9: Ritmos Teta (4 7.5Hz)................................................................................................ 13 Figura 2-10: Ritmos Alfa (em cima) e ritmos Mu (em baixo); ambos se encontram na banda dos 8 aos 13 Hz, mas a sua fonte diferente. ................................................................................ 14 Figura 2-11: Ritmos Beta (13 30Hz). ........................................................................................... 15 Figura 2-12: Ritmos Gama (>30Hz). .............................................................................................. 16 Figura 2-13: Classificao dos potenciais resultantes da actividade cerebral. ............................ 16 Figura 3-1: Aspecto original do bloco Level-2 M-file S-function que pode ser encontrado na seco User-Defined Functions da biblioteca do Simulink. ........................................................ 23 Figura 3-2: Propriedades de um Run-Time Object (RTO). ............................................................. 23 Figura 3-3: Diagramas de funcionamento das S-functions Level 2: inicializao do modelo (esquerda) e ciclo de simulao (direita). Rectngulos de linha continua representam callbacks obrigatoriamente invocadas, enquanto que os de linha descontinua representam callbacks que podem no ser invocadas. ................................................................................................................. 24 Figura 3-4: Sistema de aquisio de EEG Trackit. ................................................................... 25 Figura 3-5: Pacotes utilizados na comunicao entre o computador e o Trackit................. 27 Figura 3-6: Diagrama de actividades do funcionamento do driver de comunicao desenvolvido. ...................................................................................................................................... 28 Figura 3-7: Diagrama de actividades da funo que processa os pacotes enviados pelo Trackit. ............................................................................................................................................ 29 Figura 3-8: Bloco do Simulink CorrectValues desenvolvido para converter os valores digitais fornecidos pelo bloco snack para valores reais e respectivos parmetros. .................... 30 Figura 3-9: Diagrama de actividades da inicializao das ferramentas desenvolvidas para a plataforma. .......................................................................................................................................... 31 Figura 3-10: Menu inicial da plataforma BCI. ................................................................................ 31 Figura 3-11: Localizao espacial dos elctrodos nas reas frontal, central e parietal. ............ 33
xvii
Figura 3-12: Modelo do Simulink utilizado para determinar as DEPs dos canais C3 e C4 filtrados espacialmente. ..................................................................................................................... 33 Figura 3-13: Menu de introduo dos dados do sujeito e da sesso. .......................................... 34 Figura 3-14: Menu de opes do Simulink. .................................................................................... 35 Figura 3-15: Menu de opes do Trackit, com o medidor de impedncias desligado (A) e ligado (B). ............................................................................................................................................ 36 Figura 3-16: (A) Estrutura onde so guardados os dados aps a aquisio. As estruturas B e C so campos da estrutura principal e representam os dados do sujeito e a data respectivamente. ................................................................................................................................. 37 Figura 3-17: Bloco do Simulink Estimulo, desenvolvido com o intuito de sincronizar a aquisio de dados EEG com labels e o envio de estmulos para o monitor. ............................ 38 Figura 3-18: Estmulos enviados para o monitor colocado em frente ao sujeito usando formato de ecr inteiro. Numa primeira abordagem foram utilizadas as setas representadas em (A), mas como provocavam um enorme cansao no sujeito foram substitudos pelas representadas em (B). ........................................................................................................................ 39 Figura 3-19: Painel de visualizao do sinal EEG dos canais C3 e C4 filtrados espacialmente e respectivos histogramas.................................................................................................................. 40 Figura 3-20: Bloco do Simulink GraficoHist, responsvel por imprimir os grficos de sinal EEG dos canais C3 e C4 e respectivos histogramas..................................................................... 40 Figura 3-21: Modo de visualizao sem os grficos sobrepostos do painel de visualizao das DEPs dos canais C3 e C4 com as bandas de frequncias dos ritmos Mu e Beta assinaladas. 41 Figura 3-22: Modo de visualizao com os grficos sobrepostos do painel de visualizao das DEPs dos canais C3 e C4 com as bandas de frequncias dos ritmos Mu e Beta assinaladas. 42 Figura 3-23: Bloco do Simulink GraficoDEPs, responsvel por imprimir os traados da DEP dos canais C3 e C4. .................................................................................................................. 42 Figura 3-24: Painel de visualizao do valor da densidade espectral de potncia (DEP) para quatro frequncias escolhidas previamente pelo utilizador.......................................................... 43 Figura 3-25: Bloco do Simulink Separao, envia para as suas sadas o valor da DEP para as frequncias escolhidas. .................................................................................................................. 44 Figura 3-26: Bloco do Simulink GraficosFrequncias responsvel pela impresso dos grficos do valor da DEP para quatro frequncias distintas........................................................ 44 Figura 3-27: Modelo do Simulink utilizado pela ferramenta modo de operao online. ....... 45 Figura 3-28: Modelo do Simulink utilizado pela ferramenta anlise de dados offline. ........... 46 Figura 3-29: Bloco do Simulink responsvel pela classificao dos dados de EEG............. 47 Figura 3-30: O utilizador produz alteraes nos padres cerebrais que so classificadas e codificadas em directivas de movimento do rob Khepera. ....................................................... 47 Figura 3-31: Menu de opes do Simulink que permite seleccionar o algoritmo de classificao. ........................................................................................................................................ 48
Figura 3-32: Modelo do Simulink utilizado pela ferramenta de teste de algoritmos de classificao para comandar o rob Khepera. ............................................................................... 48 Figura 3-33: Protocolo experimental utilizado pela ferramenta de treino em que os tempos exibidos servem apenas de exemplo................................................................................................ 49 Figura 3-34: Estmulos enviados para o monitor pela ferramenta de treino durante as fases de relaxamento (A e B) e de imaginao motora (C e D). ........................................................... 49 Figura 3-35: Estmulos enviados pela ferramenta de treino para o monitor (realimentao). 50 Figura 3-36: Menu de opes do Simulink da ferramenta de treino. ......................................... 50 Figura 3-37: Menu de opes de tempo da ferramenta de treino que permite definir o protocolo experimental desejado para o treino do sujeito. .......................................................... 51 Figura 3-38: Bloco Stims responsvel pela aquisio sincronizada (EEG e labels) e envio de estmulos para o monitor (esquerda) e bloco ClassificationBlock responsvel pela classificao (direita). ......................................................................................................................... 52 Figura 3-39: Visualizao dos traados da percentagem de ERD/ERS nas bandas Alfa e Beta....................................................................................................................................................... 52 Figura 3-40: Diagrama do algoritmo de classificao. .................................................................. 53 Figura 3-41: reas delimitadas pelo traado da DEP e pelas frequncias das bandas Alfa e Beta. Na figura tambm possvel verificar os rectngulos utilizados pelo mtodo das somas de Riemman. ....................................................................................................................................... 54 Figura 3-42: Modelo do Simulink utilizado pela ferramenta de treino. .................................. 54 Figura 4-1: Sujeito a realizar tarefas de imaginao/realizao motora usando o equipamento da NeuroScan com 64 canais............................................................................................................ 57 Figura 4-2: Grficos da percentagem de ERD/ERS das bandas Alfa e Beta para vrias imaginaes motora da mo direita. ................................................................................................ 60 Figura 4-3: Grficos da percentagem de ERD/ERS das bandas Alfa e Beta para vrias imaginaes motora da mo esquerda. ........................................................................................... 61 Figura 4-4: Grficos da percentagem de ERD/ERS para a banda Alfa (lado esquerdo) e Beta (lado direito) dos canais C3 e C4 das trs sesses de imaginaes motoras intercaladas com relaxamento. ........................................................................................................................................ 62 Figura 4-10: Grficos da percentagem de ERD/ERS das bandas Alfa e Beta da realizao e imaginao motora de ambas as mos. ........................................................................................... 64 Figura 4-11: Grficos da percentagem de ERD/ERS para a banda Alfa dos canais C3 e C4 para a experincia de observao de realizao motora intercalada com relaxamento. ........... 65 Figura 4-12: Grficos da percentagem de ERD/ERS para a banda Beta dos canais C3 e C4 para a experincia de observao de realizao motora intercalada com relaxamento. ........... 66
xix
ndice de Tabelas
Tabela 1: Labels atribudos ao sinal EEG de acordo com o estmulo enviado para o monitor. .............................................................................................................................................................. 37 Tabela 2: Cores dos grficos de visualizao da DEP consoante o label atribudo s amostras de EEG. ............................................................................................................................................... 43 Tabela 3: Labels associados fase do protocolo e ao tipo de estimulo enviado para o monitor. ............................................................................................................................................... 51
xxi
Captulo 1 Introduo
1.1 Enquadramento e motivao
As tcnicas de processamento de sinal e de informao tm sido intensivamente usadas em vrias reas da engenharia biomdica, tendo as suas aplicaes relacionadas com a cincia do crebro e a neurocincia computacional crescido de forma assinalvel [1]. Uma rea de investigao que tem despertado grande interesse o das interfaces homem-mquina baseadas no processamento de sinais biolgicos. Neste mbito, a ideia de mover robs ou outros dispositivos pelo mero pensamento j antiga, aparecendo ligada a duas reas principais: aplicaes militares (hands-free control) e prteses inteligentes. Paralelamente, as interfaces crebro-computador (Brain Computer Interface, BCI) so vistas como um novo canal de comunicao e controlo que permitem enviar mensagens e comandos do crebro para o mundo exterior. O objectivo central transformar decises e reaces mentais em sinais de controlo pela anlise da actividade bioelctrica do crebro. As tcnicas denominadas externas (ou no invasivas), como o electroencefalograma (EEG), apresentam como principal problema a resoluo espacial que decorre do facto de focarem reas cerebrais em vez do neurnio. Apesar disso, tm-se tornado teis por mostrarem a variao dos padres cerebrais durante exerccios mentais e por permitirem determinar as regies do crebro que apresentam uma actividade acrescida quando ocorrem determinadas aces ou quando se verificam estmulos externos. O presente trabalho vem no seguimento de outro realizado no IEETA [2] visando explorar a possibilidade de usar uma BCI baseada em sinais de EEG para controlar sistemas robticos, promovendo uma maior aproximao entre os campos da Robtica e das Neurocincias.
Captulo 1: Introduo
1.2 Objectivos
Os objectivos propostos para esta dissertao foram o desenvolvimento, implementao e teste de uma plataforma BCI baseada em sinais de EEG e usando como paradigma de controlo os ritmos sensrio-motores. Estes incluem as alteraes rtmicas e os potenciais relacionados com o movimento humano. Por um lado, pretendia-se desenvolver um conjunto de ferramentas e ajudas computacionais relacionadas com a configurao do sistema BCI e a visualizao de dados ao longo da sua cadeia. A proposta de implementao era baseada em conceitos de modularidade e expansibilidade do cdigo, tendo em vista a minimizao do tempo e esforo dedicado a trabalhos futuros e, ao mesmo tempo, facilitando o trabalho incremental e em colaborao. Nesta perspectiva, o trabalho foi estruturado de acordo com os seguintes objectivos de desenvolvimento: Incluir na plataforma BCI mdulos dedicados programao e configurao do hardware de aquisio usado em laboratrio, incluindo o procedimento de verificao das impedncias dos elctrodos; Desenvolver ferramentas de visualizao de dados vocacionadas para a anlise do comportamento dos ritmos cerebrais nas bandas de interesse; Assegurar formas rpidas e simples de estabelecer os protocolos experimentais a usar pelos utilizadores do sistema em sesses de aquisio de dados, incluindo a apresentao de indicaes visuais e os processos de realimentao. Por outro lado, pretendia-se intervir no projecto e implementao da BCI no que concerne aos seus componentes bsicos, tais como a aquisio de sinal, a extraco de caractersticas, a classificao e o mapeamento para um dispositivo de sada. Esta componente do trabalho teve por base o sistema BCI descrito em [2] e sobre o qual se pretendia adicionar um conjunto de novas funcionalidades: Implementao de um sistema de aquisio de sinais EEG com labels em sincronismo com o envio de estmulos para um monitor em frente ao sujeito; Criao de ferramentas de treino personalizadas que permitam ao sujeito controlar os ritmos-Mu, i.e., adaptar o processamento cognitivo face a variaes sistemticas nos padres cerebrais;
Captulo 1: Introduo
Estudo do efeito de tarefas de realizao, imaginao e observao motora no comportamento dos ritmos sensrio-morores (ritmos Mu e Beta).
1.3 Organizao da Dissertao

No Captulo 2 feita uma introduo dos conhecimentos que foram necessrios para o desenvolvimento do presente trabalho. Ao mesmo tempo, dada uma perspectiva das actividades de investigao realizadas na rea das BCIs. No Captulo 3 sero descritos os mtodos utilizados no desenvolvimento e implementao da plataforma BCI e, tambm, as suas funcionalidades. Os resultados obtidos no estudo efectuado ao comportamento dos ritmos Mu e Beta sero apresentados no Captulo 4. Finalmente, o Captulo 5 apresenta um resumo do trabalho realizado e dos resultados obtidos, apontando as perspectivas de trabalho futuro.
Captulo 1: Introduo
Captulo 2 Estado da Arte

2.1 O que uma BCI?
As Interfaces Crebro Computador (ICC), ou Brain Computer Interfaces (BCI) em ingls, primeiramente propostas por Vidal (1973) [3], podem ser consideradas como um meio directo de comunicao entre o crebro humano e o mundo exterior sem recurso a qualquer actividade muscular. Neste sentido, as BCIs proporcionam ao utilizador um mtodo alternativo de comunicao com o mundo [4], permitindo o controlo de dispositivos externos atravs do mero pensamento sem que o corpo execute alguma aco (Figura 2-1). Neste contexto, as BCIs representam um tpico de investigao multidisciplinar que faz a ligao entre a medicina, a psicologia, a neurologia, a engenharia de reabilitao, a interaco homem-mquina, a aprendizagem automtica e o processamento de sinal. Apesar do conceito inovador e revolucionrio, o seu funcionamento baseia-se num princpio bastante simples: adquirir, interpretar e traduzir os dados. Mais concretamente, os padres de actividade cerebral produzida por alguns neurnios ou grandes conjuntos de clulas neuronais so amostrados e processados em tempo real, sendo posteriormente convertidos em comandos para controlar algum dispositivo. Na maioria das BCIs actuais, o processo de identificao realizada por uma algoritmo de classificao que procura estimar automaticamente a classe a que pertencem os dados representados por um vector de caractersticas. Apesar do funcionamento estar subjacente a um princpio simples, a sua implementao bastante complexa e envolve uma grande quantidade de conhecimentos de diversas reas, tais como a neurofisiologia, a psicologia, a informtica, a electrnica, ou a mecnica.
Captulo 2: Estado da Arte
Figura 2-1: Uma BCI como meio de comunicao directa entre o crebro e dispositivos externos (adaptado de [5]).
Do ponto de vista da aplicao, a investigao na rea das BCIs representa uma nova esperana no que toca qualidade de vida de pessoas com algum tipo de deficincia fsica motora. Um dos campos de maior interesse o da utilizao de prteses inteligentes (ou neuro-prteses), controladas directamente pelo crebro, como forma de ultrapassar as limitaes fsicas inerentes [6]. Os sistemas BCI podem, tambm, ser a nica forma de comunicao para pacientes com desordens neuromusculares severas como, por exemplo, leses da medula espinal, esclerose lateral amiotrfica, paralisia cerebral ou acidentes cerebrais vasculares [7, 8]. Apesar das principais aplicaes se cingirem ao mbito clnico com ligao qualidade de vida das pessoas, estas interfaces tambm constituem uma ferramenta poderosa para a investigao do mapeamento do crebro relativamente ao comportamento humano e ao modo como um novo comportamento adquirido e mantido [9]. Este tipo de investigao feito atravs de um mtodo de treino conhecido por Biofeedback no qual uma pessoa aprende a regular a sua actividade cerebral observando em tempo real os seus sinais bio-elctricos ou a classificao dos mesmos. O processo de treino permite melhorar o desempenho na execuo de uma determinada tarefa como, por exemplo, diminuir o tempo de reaco numa tarefa motora [10] ou decises lexicais mais rpidas [11].
Figura 2-2: Estruturas do encfalo.
2.2 O Encfalo
O desenvolvimento de BCIs requer, antes de mais, conhecimentos acerca do encfalo e das suas estruturas para se conseguir estabelecer uma correspondncia entre uma dada tarefa desempenhada pelo utilizador e a localizao e evoluo da actividade cerebral correspondente. As principais estruturas do encfalo (Figura 2-2) so: O bolbo raquidiano o ponto de passagem dos nervos que ligam a medula ao crebro. Contm grupos de neurnios especializados no controlo de funes fisiolgicas, tais como o ritmo cardaco, a respirao, a presso arterial ou as funes motoras. O cerebelo uma zona dorsal e desempenha um papel importante na manuteno do equilbrio e na coordenao da actividade motora. Esta regio recebe ordens do crebro sobre os msculos e ajusta-as para uma melhor execuo motora. O encfalo mdio a zona que processa informao sensorial (visual e auditiva). O tlamo a zona de chegada da maior parte das fibras sensitivas; aqui que as informaes sensoriais so retransmitidas para as reas do crtex cerebral. O hipotlamo desempenha um papel fundamental na regulao da temperatura do corpo, da fome, da sede, do comportamento sexual, na circulao sangunea e no funcionamento do sistema endcrino (regulao hormonal).
O sistema lmbico constitudo pelo: hipocampo, septo, amgdala e o bolbo olfactivo. o responsvel pelas emoes, motivao e memria. O crebro o centro da actividade consciente e inteligente, sendo composto pelos hemisfrios direito e esquerdo unidos pelo corpo caloso. Embora os hemisfrios cerebrais tenham uma estrutura simtrica, ambos com os lbulos que emergem do tronco cerebral e com reas sensoriais e motoras, certas funes so desempenhadas por um nico hemisfrio. Em geral, o hemisfrio dominante o responsvel pela linguagem verbal, pelo pensamento lgico e pelo clculo, enquanto o outro controla a percepo das relaes espaciais, a formao de imagens e as capacidades artsticas. Por outro lado, as funes motoras e sensitivas so cruzadas, ou seja, a metade direita do crebro controla a metade esquerda do corpo e vice-versa.
O crtex cerebral a camada exterior que reveste a superfcie dos hemisfrios cerebrais e pode ser dividido em quatro lbulos: Parietal, Frontal, Occipital e Temporal (Figura 2-3-A). Tendo em conta que as funes do corpo humano so controladas por reas distintas do crtex, esta diviso pode ser feita segundo reas funcionais (Figura 2-3-B). O crtex cerebral recebe os impulsos provenientes de todas as vias da sensibilidade e interpreta-os. aqui que ocorre a maior parte do planeamento motor e ponto de partida dos impulsos nervosos que comandam os movimentos voluntrios.
As diferentes partes do corpo humano esto bem mapeadas nas reas sensrio-motoras de cada hemisfrio segundo o hmunculo sensrio-motor (Figura 2-4). As estimulaes elctricas nestas regies provocam sensaes ou movimentos nos membros a representados.
Figura 2-3: Representao dos lbulos (A) e das reas funcionais (B) do crtex cerebral.
Figura 2-4: Hmunculo sensrio-motor.
2.3 Mtodos de aquisio de sinais cerebrais

Os mtodos de aquisio de dados tipicamente usados em sistemas BCI podem ser divididos em dois grandes grupos: invasivos e no-invasivos (ver Figura 2-5). Os mtodos invasivos so os que apresentam sinais com melhor qualidade e maior resoluo temporal e espacial. No entanto, necessrio recorrer a cirurgia para a colocao dos elctrodos o que acarreta riscos inerentes para o utilizador (apenas so utilizados em pacientes com patologias incapacitantes do ponto de vista motor ou visual). Os mtodos no-invasivos so os mais utilizados por no representarem qualquer tipo de risco para a sade do utilizador, especialmente o EEG devido sua portabilidade e ao baixo custo do equipamento. Entre os mtodos no invasivos a ressonncia magntica funcional (fMRI), a tomografia ptica e a magnetoencefalografia (MEG) apresentam uma resoluo espacial relativamente elevada e uma baixa resoluo temporal, enquanto no electroencefalograma (EEG) e no electrocorticograma (ECoG) se verifica a situao inversa. Dos mtodos referidos apenas os invasivos, o EEG e a tomografia ptica podem ser utilizados em BCIs para controlo e comunicao na vida do dia-a-dia porque so os nicos que so portveis.
Mtodos de aquisio de dados no crebro
Invasivos
No-Invasivos
Completamente Invasivo
Parcialmente Invasivo
Electroencefalograma (EEG)
Tomografia Optica
Magnetoencephalografia (MEG)
Ressonncia Magntica funcional (fMRI)
Implantao de Arrays de Electrodos
Electrocorticografia (ECoG)
Figura 2-5: Mtodos de aquisio de dados do crebro.
2.4 Componentes de uma BCI baseada em EEG

Como qualquer sistema de controlo, uma BCI composta por uma entrada, que pode ser qualquer sinal que represente a actividade elctrica cerebral, e uma sada que gerada sob a forma de comandos para um dispositivo externo. Apesar das suas diferenas, os sistemas BCI apresentam os seguintes componentes comuns: aquisio de sinal, extraco de caractersticas, classificao, mapeamento para algum dispositivo de sada e um protocolo de operao que pode incluir a apresentao de estmulos e/ou o processo de realimentao (Figura 2-6). O seu funcionamento pode ser decomposto em duas fases. A primeira fase resume-se a adquirir a actividade elctrica cerebral e a converte-la num sinal digital que possa ser processado. A segunda fase consiste no processamento do sinal de forma a obter comandos que possam ser interpretados por um dispositivo externo. Esta fase pode ser dividida em trs processos. Na fase inicial de pr-processamento reduz-se o rudo e removem-se os artefactos (artefactos so definidos como todo o potencial elctrico proveniente de outra fonte que no seja o crebro). Em seguida feita a extraco de caractersticas que permitam de forma unvoca obter classificaes correctas do sinal de entrada. O ltimo processo consiste na classificao, usando as caractersticas extradas, para gerar comandos que sero executados por um dispositivo externo.
10
Figura 2-6: Componentes funcionais de uma BCI.
2.4.1 Sinal de EEG O Electroencefalograma (EEG), descoberto em 1929 por Hans Berger [12], um exame que mede e regista a actividade elctrica do crebro produzida pelos neurnios que se encontram perpendiculares superfcie e que so responsveis pelo campo elctrico detectvel no escalpe. O registo da actividade elctrica efectuado com recurso a elctrodos colocados no escalpe e ligados ao electroencefalgrafo que, no seu conceito geral, pode ser considerado um amplificador de alto ganho. O conjunto dos registos resultantes dos vrios elctrodos que constitui o electroencefalograma e representa o sinal elctrico das vrias reas do crebro. O EEG pode registar as diferenas de potencial entre um elctrodo e a referncia (derivao monopolar), entre um elctrodo e a referncia formada pela mdia de todos (derivao com referncia mdia) ou entre dois elctrodos distintos sem recorrer a uma referncia fixa (derivao bipolar). A colocao dos elctrodos no escalpe obedece a normas especficas, sugeridas em 1949 por Herbert H. Jasper [13]. Estas normas deram lugar ao sistema designado 10-20 que se baseia na relao entre a localizao de um elctrodo e a rea do crtex cerebral subjacente.
11
Figura 2-7: Sistema 10-20 recomendado pela International Federation of EEG Societies.
O sistema 10-20 composto por 19 posies para colocao de elctrodos tal como as representadas na Figura 2-7. Cada uma dessas posies identificada por uma letra maiscula que identifica o lbulo (Frontal, Temporal, Central, Parietal e Occipital) e uma letra minscula z ou um nmero que identifica a localizao no hemisfrio. A letra z referese a uma posio na linha central do crebro, enquanto os nmeros pares referem-se ao hemisfrio direito e os mpares ao esquerdo. 2.4.2 Ritmos cerebrais O sinal de EEG um sinal complexo, mas que pode ser decomposto no seu espectro para dar origem a vrios sub-sinais denominados ritmos cerebrais que se definem pela sua banda de frequncias e pela sua origem no crtex cerebral. O aspecto particular de cada um desses ritmos o facto de estarem associados a certas tarefas biolgicas. Neste contexto, os esforos de investigao tm-se centrado na compreenso da actividade cerebral local/global (onde colocar os elctrodos e em que numero), no significado funcional dos diversos ritmos e no efeito do processamento cognitivo (e.g., imaginao motora, clculo numrico, linguagem e memria) nas variaes sistemticas das ondas cerebrais.
12
Os ritmos Delta foram introduzidos por Walter (1936) para designar todas as frequncias abaixo da banda Alfa. A sua gama de frequncias vai de 0.5 at 4Hz e o ritmo que apresenta a maior amplitude e a onda mais lenta (Figura 2-8). Este ritmo associado ao sono profundo e pode estar presente no estado acordado.
Figura 2-8: Ritmos Delta (<4Hz).
A noo de onda Teta (Figura 2-9) foi introduzida por Wolter e Dovey em 1944. A sua banda de frequncia est compreendida entre os 4 e os 7.5 Hz. Este ritmo est associado a matria inconsciente, inspirao criativa e meditao profunda [14]. Uma grande actividade Teta nos adultos acordados anormal, podendo ser provocada por vrios problemas patolgicos. As mudanas nos ritmos Teta so examinadas para estudos das emoes ou da maturidade.
Figura 2-9: Ritmos Teta (4 7.5Hz).
Os ritmos Alfa (Figura 2-10) esto compreendidos na banda de frequncias dos 8 aos 13Hz. Este ritmo aparece na metade posterior da cabea e pode ser, usualmente, encontrado na regio occipital do crebro. Os ritmos Alfa apresentam uma amplitude maior quando os olhos esto fechados e sofre uma atenuao quando estes so abertos [9]. Este facto confirma que os ritmos Alfa reflectem principalmente o processamento visual nas redes occipitais. Na banda de frequncias do ritmo Alfa existe um outro ritmo denominado ritmo Mu (Figura 2-10). Este ritmo limitado a breves perodos de tempo, de 0.5 a 2 segundos [15], e pode ser observado sobre o crtex sensrio-motor na ausncia de movimento. Os ritmos Mu foram, originalmente, usados para reflectir um estado cortical de relaxamento motor e est presente como parte normal do estado acordado [16-18].
13
Figura 2-10: Ritmos Alfa (em cima) e ritmos Mu (em baixo); ambos se encontram na banda dos 8 aos 13 Hz, mas a sua fonte diferente.
Para se compreender o comportamento dos ritmos Mu necessrio introduzir dois conceitos designados na literatura por Event Related Desynchronization (ERD) e Event Related Synchronization (ERS). A ERD uma supresso na amplitude do EEG resultante da estimulao talamocortical que est associada a redes neuronais excitadas ou reas corticais activadas [19, 20]. A diminuio da potncia resulta do facto destas reas serem activadas assincronamente [21, 22]. Contrariamente, a ERS definida como um aumento na amplitude do EEG e est associada a redes neuronais inactivas ou reas corticais desactivadas. Ao mesmo tempo, admitido [23] que a ERS resulte de redes sensrio-motoras funcionalmente activas, mas cada vez mais sincronizadas. Os ritmos Mu so bastante utilizados na investigao na rea das BCI devido ao facto de sofrerem uma ERD na presena de preparao motora [24]. Esta dessincronizao ocorre no hemisfrio contra-lateral ao membro que executa o movimento [25] e , posteriormente, seguida por uma ERD bilateral que ocorre sobre as regies ipsilateral e contra-lateral centrais durante a execuo do movimento. Para alm da ocorrncia da ERD associada aos ritmos Mu na preparao de movimentos voluntrios, esta tambm acontece quando feita a imaginao motora [26, 27]. Este facto torna estes ritmos bastante importantes na implementao de BCIs, especialmente as que so desenvolvidas para pacientes totalmente desabilitados fisicamente. Outra das caractersticas dos ritmos Mu que relevante para a sua utilizao o facto de serem ritmos passveis de serem treinados, em relativamente pouco tempo, usando tcnicas de biofeedback [28, 29].
14
Os neurnios espelho (mirror neurons) so neurnios que so activados quando uma pessoa executa uma aco motora e quando observa uma aco motora realizada por outrem. Estes neurnios imitam as aces realizadas por outros no crtex pr-motor tal como se fosse o prprio observador a executar as aces, este efeito de simulao faz com que os neurnios espelho sejam associados aprendizagem motora [30]. comummente aceite que os ritmos Mu esto associados aos neurnios espelho. Neste contexto, quando a aco observao/percepo motora ocorre, estes ritmos reflectem principalmente a modulao dos neurnios espelho [31, 32]. Os ritmos Beta (Figura 2-11) so ritmos cerebrais usuais no estado acordado e so associados ao pensamento activo e concentrao, podendo ser encontrados em qualquer adulto na banda de frequncias entre os 13 e 30Hz. No entanto, a literatura no consensual relativamente a este conceito e pode variar de autor para autor. Tal como os ritmos Mu, o ritmo Beta pode ser adquirido no crtex sensrio-motor. Outra das semelhanas com o ritmo Mu a ocorrncia de uma ligeira ERD no ritmo Beta na preparao dos movimentos voluntrios. Em simultneo, ocorre uma elevada ERS aps o movimento em ambos os hemisfrios, sendo esta maior no hemisfrio contra-lateral [33-36].
Figura 2-11: Ritmos Beta (13 30Hz).
Finalmente, os ritmos Gama (Figura 2-12), tambm chamados de ritmos Beta rpidos, foram introduzidos por Jasper e Andrews (1938) para descrever toda a actividade elctrica cerebral acima dos 30Hz. Apesar da amplitude destes ritmos ser muito baixa e a sua ocorrncia rara, a deteco deste ritmo pode ser usada para confirmao de certas doenas cerebrais. Est provado que os ritmos Gama so um bom indicador de ERS e podem ser usados para demonstrar a lateralizao no movimento dos dedos indicadores direito e esquerdo e da rea bilateral bastante ampla do movimento da lngua [37].
15
Figura 2-12: Ritmos Gama (>30Hz).
2.4.3 Paradigmas de controlo Na Figura 2-13 podem ser vistos os tipos de potenciais do crebro que so utilizados na implementao de BCIs. Os potenciais espontneos ocorrem de forma natural no crebro, enquanto que os potenciais de eventos so gerados como resposta a um estmulo. A distino entre os vrios paradigmas de operao de uma BCI assenta na forma como o processamento cognitivo causa variaes sistemticas nos padres cerebrais. Por um lado, as actividades electrofisiolgicas usadas no projecto e implementao prtica de uma BCI incluem a actividade sensrio-motora (incluem as alteraes rtmicas e os potenciais relacionados com o movimento), os potenciais evocados visualmente (VEPs), o P300 e os potenciais corticais (SCP), a resposta a tarefas mentais (e.g., resoluo de um problema de multiplicao, contagem mental, imaginao de um objecto 3D), e neuromecanismos mltiplos usando uma combinao dos mencionados acima.
Figura 2-13: Classificao dos potenciais resultantes da actividade cerebral.
2.4.4 Processamento de sinal A fase de processamento de sinal iniciada com um pr-processamento em que feita uma filtragem na frequncia para remover componentes indesejadas como, por exemplo, a frequncia da rede elctrica. Os sinais de EEG so caracterizados por uma baixa relao sinal
16
rudo. Uma forma de ultrapassar este facto consiste em aplicar filtragem espacial aos sinais para se obter potenciais que representam melhor a actividade cortical original. Dois dos tipos de filtragem espacial mais utilizados so a Surface Laplacian (SL) [38, 39] e a Common Average Reference (CAR) [38]. No primeiro caso, na sua forma local, subtrado ao elctrodo em causa a mdia da actividade dos elctrodos vizinhos (normalmente quatro). No segundo caso subtrado a cada elctrodo a mdia da actividade de todos os outros. Depois do pr-processamento feita a extraco de caractersticas de acordo com o paradigma adoptado e os estmulos utilizados. Em relao ao projecto de BCIs, devem ser consideradas algumas das propriedades mais relevantes das caractersticas, tais como: Rudo: as caractersticas so ruidosas uma vez que os sinais de EEG apresentam uma baixa relao sinal rudo; Elevada dimenso: os vectores de caractersticas so usualmente de elevada dimenso uma vez que so extradas de vrios canais e em vrios segmentos temporais, antes de serem concatenadas num nico vector de caractersticas; Informao temporal: as caractersticas devem conter informao temporal uma vez que os padres de actividade cerebral esto, geralmente, relacionados com variaes especficas no tempo; No estacionrias: as caractersticas so no estacionrias uma vez que o sinal de EEG pode variar no tempo em funo do estado do sujeito, especialmente entre sesses. No projecto de BCIs tem sido usada uma grande variedade de caractersticas, tais como os valores de amplitude dos sinais de EEG, bandas de potncia, parmetros autoregressivos e caractersticas do modelo inverso. Uma boa seleco de caractersticas pode ser a chave do sucesso de um algoritmo de classificao (caractersticas altamente correlaciondas com a classe e descorrelacionas entre si). Um passo usual proceder reduo do espao de caractersticas, seleccionando as que contm mais informao e descartando as redundantes. Outro aspecto a ter em conta aquando da seleco das caractersticas a necessidade de se manter uma boa correlao entre a inteno do sujeito e as caractersticas usadas pela BCI ao longo do tempo.
17
Nesta linha de ideias, para a seleco do classificador mais apropriado a um dado sistema BCI essencial compreender que caractersticas so usadas, quais as suas propriedades e como so usadas. Na classificao podem ser usados algoritmos simples em que apenas aplicado um limiar s caractersticas seleccionadas [7, 40]. Contudo, e de acordo com Wolpaw [4], um algoritmo efectivo deve adaptar-se a cada utilizador em trs nveis. Primeiro, quando um novo utilizador usa a BCI, o algoritmo adapta-se s caractersticas dos seus sinais. Uma BCI que possua apenas este nvel de adaptao efectiva apenas se o desempenho do utilizador for estvel. O segundo nvel de adaptao consiste em ajustes peridicos para reduzir o impacto de variaes espontneas provocadas pelos nveis hormonais, o meio envolvente, a fadiga ou a hora do dia. O terceiro nvel de adaptao est relacionado com a capacidade de adaptao do crebro. Por exemplo, se a caracterstica seleccionada a amplitude da potncia dos ritmos Mu, a correlao entre a amplitude e a inteno do utilizador vai aumentar com o tempo. Dois exemplos de classificadores que implementam os trs nveis de adaptao so o Incremental Support Vector Machine (incremental-SVM) [41] e classificadores de redes neuronais [42]. Nesta medida, um dos aspectos fundamentais o treino da actividade cerebral de forma a regular os seus potenciais. A BCI e o utilizador formam dois controladores adaptativos nos quais a operao final o resultado da adaptao de cada sistema atravs do uso de realimentao. Alguns trabalhos investigam a possibilidade de treinar o utilizador para mudar os padres cerebrais [29], outros treinam o computador para aprender essas variaes[43].
2.5 Casos de sucesso

Os desenvolvimentos verificados nos ltimos anos indicam a possibilidade de utilizao da actividade electroencefalogrfica como base para o desenvolvimento de canais alternativos de comunicao e controlo, permitindo a pacientes com incapacidades fsicas severas (mas funes cognitivas intactas) acederem a novos servios e oportunidades. Esforos recentes focam o potencial de aplicao em reabilitao [30], comunicao multimdia [44], navegao em ambientes virtuais [45], etc. Nesta seco sero descritas algumas das actividades realizadas, na actualidade, por vrios grupos de investigao e laboratrios que se dedicam a estas reas. Apenas sero descritos projectos baseados em tcnicas de aquisio no invasiva, visto ser este o mbito do presente trabalho.
18
O grupo de investigao de Wadsworth desenvolveu uma plataforma designada BCI2000 [46] com o objectivo de unir esforos entre os investigadores da rea. Nas suas investigaes usam principalmente a dessincronizao dos ritmos Mu para classificao de execuo ou imaginao motora, conseguida aps o treino dos sujeitos [4, 6]. Paralelamente, o grupo BCI de Graz, liderado por Pfurtscheller, tem como objectivo principal a utilizao dos ritmos Mu e Beta durante o treino e o controlo. Um dos seus feitos foi conseguir que um paciente com um brao desabilitado fisicamente conseguisse agarrar um objecto. Estes resultados foram alcanados com base em sinais de estimulao elctrica funcional (FES) gerados a partir do EEG [47-49]. Os investigadores da BCI de Martigny propuseram um classificador de redes neuronais baseado em anlise linear discriminante (LDA) para classificao de caractersticas estticas [50]. Na sua abordagem, trs sujeitos utilizando uma BCI assncrona obtiveram 75% de classificaes correctas, aps alguns dias de treino, usando imaginao motora da mo direita e esquerda ou relaxamento com os olhos fechados [51, 52]. Noutra direco distinta, o objectivo do grupo de BCIs de Berlim (BBCI) reduzir a variabilidade da BCI entre sujeitos, desenvolvendo uma BCI compatvel com o maior nmero de pessoas e minimizando o nvel de treino do sujeito. Para que esse objectivo seja alcanado o maior esforo concentra-se em transferir o treino da actividade cerebral para a aprendizagem da mquina [43, 53]. Por sua vez, Birbaumer et al. [54] desenvolveram uma BCI designada por Thought Translation Device (TTD) destinada a pacientes tetraplgicos. Esta proporciona aos sujeitos a aprendizagem da regulao dos potenciais corticais lentos (SCP) em regies centrais do crebro usando EEG ou ECoG. Os pacientes so capazes de gerar decises binrias e que proporcionam um canal de comunicao com o mundo exterior. A realizao de aplicaes prticas depende, em grande medida, da avaliao e comparao sistemtica de diferentes sinais cerebrais, mtodos de aquisio, algoritmos de processamento, formatos de sada e protocolos de operao. Em geral, o sistema BCI tpico concebido especificamente para um paradigma de controlo particular, no sendo adequado para estudos sistemticos essenciais para um progresso continuado. Em resposta a este problema, tm sido desenvolvidas vrias plataformas que reduzem o trabalho e custo, facilitando a implementao de diferentes sistemas BCI, com destaque para a BCI2000 [46], o BioSig [55] e o OpenVibe [56] como plataformas software de desenvolvimento e investigao usadas por vrios grupos de investigao.
19
Captulo 3 Plataforma BCI Baseada nos Ritmos Mu

3.1 Introduo
Neste trabalho de dissertao pretendia-se estabelecer e reforar os conhecimentos cientficos e tecnolgicos numa rea multidisciplinar associada ao desenvolvimento de interfaces crebro-computador. Alguns esforos recentes realizados no IEETA provaram ser vivel a ideia de um sistema que analisa a actividade cerebral de um indivduo, tenta encontrar qual a sua inteno e gera comandos que controlam um dispositivo de sada [2, 44]. O trabalho foi implementado em Matlab/Simulink e tinha como objectivo o controlo de um pequeno rob mvel Khepera. O paradigma de controlo adoptado foi baseado no princpio da dessincronizao dos ritmos Mu na presena de tarefas de imaginao motora. Apesar dos primeiros resultados promissores, os esforos foram dirigidos para a resoluo de inmeros problemas tcnicos que influenciam a eficincia e fiabilidades de um sistema BCI. O processo de desenvolvimento de BCIs bastante complexo devido ao elevado nmero de conhecimentos e tarefas necessrias para a sua concretizao. Por um lado, a melhoraria no desempenho dos sistemas actuais exige uma melhor compreenso dos mecanismos neurolgicos e cognitivos do crebro. Por outro lado, necessrio avaliar continuamente as possibilidades potenciadas pelas plataformas integradas de desenvolvimento e pelos avanos verificados nas reas do processamento de sinal e da aprendizagem automtica. Nesta linha de ideias, o objectivo principal deste trabalho foi o desenvolvimento de uma plataforma software dedicada ao projecto, teste e uso de interfaces crebro computador baseadas nos ritmos sensrio-motores. Para alm de se pretender continuar e melhorar o trabalho realizado anteriormente, os maiores esforos recaram sobre o desenvolvimento de
21
Captulo 3: Plataforma BCI Baseada nos Ritmos Mu
uma plataforma que permita encurtar a curva de aprendizagem e o esforo necessrio em trabalhos posteriores a realizar por outros alunos e/ou investigadores. Este captulo descreve a plataforma BCI desenvolvida, designada por IEETA-BCI, tendo sempre em considerao que apenas sero apresentados os novos blocos e as novas funcionalidades, deixando para consulta em [2] a base do sistema anterior.
3.2 Ambiente de desenvolvimento

3.2.1 Matlab/Simulink Ao longo deste trabalho combinam-se as funcionalidades de processamento do Matlab com as capacidades de desenvolvimento do Simulink. O Matlab uma linguagem e um ambiente interactivo de computao tcnica de alto nvel para desenvolvimento de algoritmos, visualizao e anlise de dados e computao numrica. Atravs do Matlab possvel resolver problemas de computao tcnica de forma mais rpida do que utilizando linguagens de programao tradicionais, tais como o C, C++ ou Fortran. O Matlab dispe de uma grande quantidade de funes dedicadas resoluo de problemas nas mais variadas reas da cincia e permite a integrao de cdigo de outras linguagens, tornando-o bastante verstil. Por sua vez, o Simulink um ambiente de simulao e desenvolvimento multidomnio baseado em modelos de sistemas dinmicos que proporciona um ambiente grfico interactivo e um conjunto de blocos personalizveis. Com base nestas caractersticas possvel projectar, simular, implementar e testar uma grande variedade de sistemas variveis no tempo, incluindo comunicaes, controlo, processamento de sinal, processamento de vdeo e imagem. Para alm disso, o Simulink est integrado no Matlab, proporcionando acesso a uma extensa variedade de ferramentas e funes. A plataforma desenvolvida integra uma interface grfica user friendly que confere ao utilizador um nvel de abstraco superior e que permite de forma simplificada alterar parmetros, definir o protocolo das experincias e analisar dados. Foram desenvolvidas um conjunto de ferramentas para a plataforma em que cada uma delas dispe um menu da interface grfica e um modelo Simulink associado. Para se proceder ao desenvolvimento de uma interface grfica (GUI) utilizando o Matlab, o primeiro passo decidir qual mtodo que ir ser utilizado para a sua implementao. Neste trabalho optou-se por usar o GUIDE que um construtor interactivo de interfaces grficas.
22
3.2.2 S-functions M-file level 2 O Simulink uma ferramenta muito poderosa para a construo e teste de sistemas de simulao, dispondo de diversas toolboxes para as mais variadas reas da cincia. No entanto, e apesar do elevado nmero de blocos disponveis, foi preciso implementar novos blocos para satisfazer as necessidades do sistema. Esses blocos foram implementados recorrendo s S-functions M-file level 2 (Figura 3-1) tendo em conta que as S-functions level 1 se encontram obsoletas e o seu uso desaconselhado. As S-functions M-file level 2 permitem usar a linguagem M do Matlab e todas as suas funes para criar blocos personalizados com mltiplas entradas e sadas, capazes de lidar com qualquer tipo de sinal produzido por um modelo do Simulink.
Figura 3-1: Aspecto original do bloco Level-2 M-file S-function que pode ser encontrado na seco User-Defined Functions da biblioteca do Simulink.
O funcionamento dos blocos definido por um M-file que composto por um conjunto de callback methods invocados pelo mecanismo do Simulink aquando da inicializao e durante a simulao, tendo como argumento de entrada um Run-Time Object (denominado block) que contm as propriedades do bloco. A figura seguinte mostra de uma forma geral quais as propriedades do RTO.
Figura 3-2: Propriedades de um Run-Time Object (RTO).
23
A execuo das S-functions level 2 dividida em duas fases: a inicializao do modelo que executada apenas uma vez e o ciclo de simulao que repetido durante a durao da simulao (ver Figura 3-3). Na inicializao, a callback Setup obrigatoriamente executada para definir os atributos fundamentais da S-function, tais como as portas de entrada e sada, os parmetros de entrada e os tempos de amostragem. Aps a inicializao, o mecanismo do Simulink executa o ciclo de simulao invocando a callback Outputs que calcula as sadas e a callback Terminate que termina a simulao.
Ciclo de Simulao
Inicializao do modelo
ProcessParameters
Inicializao do modelo
Setup CheckParameters
InitialaizeConditions
Outputs
Mecanismo do Simulink
Update
SetInputPortSamplingMode SetInputPortDimensions/SetOutputPortDimensions
CheckParameters
Integrao
Derivatives
Mecanismo do Simulink
SetInputPortSampleTime/SetOutputPortSampleTime SetInputPortDataType/SetOutputPortDataType SetInputPortComplexSignal/SetOutputPortComplexSignal PostPropagationSetup Start InitializeConditions Outputs CheckParameters ProcessParameters
Outputs
Derivatives
Deteco passagem por zero

Outputs
ZeroCrossings
Terminate
Ciclo de Simulao
Fim da Simulao
Figura 3-3: Diagramas de funcionamento das S-functions Level 2: inicializao do modelo (esquerda) e ciclo de simulao (direita). Rectngulos de linha continua representam callbacks obrigatoriamente invocadas, enquanto que os de linha descontinua representam callbacks que podem no ser invocadas.
3.3 Aquisio de dados

3.3.1 Equipamento ambulatrio Trackit O sistema utilizado para a aquisio de sinais de EEG foi desenvolvido pela Lifelines Ltd (Hants, UK) e trata-se de um gravador ambulatrio de EEG designado por Trackit (Figura 3-4). Este equipamento permite a ligao a um PC atravs da porta srie para a aquisio de sinais em tempo real.
24
Figura 3-4: Sistema de aquisio de EEG Trackit.
O equipamento Trackit possui as seguintes caractersticas [57]: Voltagem mxima permitida: 10mV pp . Voltagem DC mxima para operao (tenso dos elctrodos): 250mV. Largura de banda: 0.16 70 Hz. Frequncia de amostragem: o equipamento permite frequncias de amostragem diferentes para cada canal, no entanto estas tm que ser mltiplas da frequncia base (256 ou 200Hz), ou seja, 256, 128, 64, 32, 16, 8, 4, 2, 1 ou 200, 100, 50, 25. Conversor A/D com S/H em cada canal. Bateria de ltio PP3 que permitem 96 horas de gravao continuas para 21 canais. Backup interno da bateria de 5 minutos, permite continuar a adquirir sinal enquanto se trocam as baterias ou se liga o dispositivo alimentao da rede. Gravao em Compact Flash (aceita dispositivos desde 32MB a 12 GB). Buffer de dados suporta at 3 minutos de sinal, enquanto decorre a troca do carto de memria. Elctrodos para EEG de dimenso 1.5 mm. Software de Setup, aquisio e monitorizao para o PC atravs da porta srie. Gravao dos dados no formato nativo: European Data Format (EDF).
25
Apesar do Trackit dispor de um software prprio para aquisio e monitorizao de sinais, foi necessrio criar um driver para o Matlab (ambiente de desenvolvimento do IEETA_BCI) para se poder utilizar o sistema em tempo real e gravar os sinais num formato prprio. 3.3.2 Driver de comunicao O driver de comunicao foi desenvolvido com o objectivo de permitir a troca de informao entre o equipamento e o computador usando a linha srie e um protocolo especfico. Para alm da aquisio dos sinais de EEG, pretendia-se desenvolver e integrar na plataforma BCI uma interface que permitisse a configurao de diversos parmetros do Trackit e a verificao das impedncias dos elctrodos. Este ltimo procedimento importante quer durante o processo inicial de colocao dos elctrodos como durante a realizao das prprias sesses de aquisio. Em [2] a aquisio de sinais de EEG baseada num driver implementado em C/C++ (bloco snack) usando a ferramenta Legacy Code Tool (LCT). No entanto, este bloco apenas fornecia os valores adquiridos sem proceder s necessrias correces das amplitudes. Deste modo, tornava-se necessrio recorrer ao software do Trackit para efectuar a verificao das impedncias dos elctrodos. Neste trabalho, foi adoptada uma outra abordagem com a implementao de um novo driver utilizando a linguagem nativa do Matlab e tendo em conta as seguintes consideraes do protocolo de comunicao: Comunicao atravs da porta srie RS232. Apenas utiliza as linhas srie RX e TX a 12V. O isolamento ptico dos sinais feito no Trackit Isolator. No so usados sinais de handshaking. A transferncia de dados utiliza 8 bits, um start bit e um ou dois stop bits. O baud rate est fixo em 115200 bits/seg. A comunicao efectuada atravs de pacotes de caracteres iniciados com um caracter start of packet (SOP) e terminados com um end of packet (EOP). A recepo correcta de pacotes assinalada pelo Trackit com pacotes Acknowledge (ACK) ou Not-acknowledge (NACK).
26
A comunicao entre o PC e o Trackit mantida activa atravs de pacotes de Heartbeat enviados pelo PC periodicamente de um em um segundo, respondendo o Trackit com um Heartbeat acknowledge.
Vrios tipos de pacotes so usados na comunicao entre o PC e o Trackit, mas apenas sero descritos aqueles que foram utilizados na implementao do driver. A Figura 3-5 descreve os tipos de pacotes utilizados na drive de comunicao desenvolvida: nos pacotes A e B os dois bytes que constituem o Address contm o identificador do equipamento Trackit que est guardado na memria no-voltil ou o valor zero que enderea o pacote para todos os equipamentos. No pacote A, ParamBlock tem o valor zero o que significa que o pacote em questo um comando, sendo que o nmero do comando colocado no Index. Nos pacotes C, D e E, os valores Status1, 2 e 3 so trs bytes de flags que informam o PC acerca das configuraes e do estado do Trackit. Os pacotes do tipo F) so os que o Trackit envia quando est a adquirir sinal no modo Headbox (modo especial que permite que os dados sejam adquiridos e guardados no PC).
Pacotes transmitidos pelo PC
A) SOP Address h EOP
Pacote Heartbeat
Index Data EOP
B)
SOP
Address
ParmBlock
Pacote de comandos
Pacotes transmitidos pelo Trackit

C) SOP h Status1 Status2 Status3 EOP
Pacote de Heartbeat ACK Pacote Acknowledge Pacote Non-acknowledge Pacote de Sinal (modo Headbox)
D)
SOP
Status1
Status2
Status3
EOP
E)
SOP
Status1
Status2
Status3
EOP
F)
SOP
Type
Data
EOP
Figura 3-5: Pacotes utilizados na comunicao entre o computador e o Trackit.
O driver foi implementado recorrendo programao orientada aos objectos da linguagem Matlab, atravs da definio da classe trackit. No diagrama da Figura 3-6 so apresentados os passos necessrios para a aquisio de sinal. O processamento de pacotes envolve vrios procedimentos, comeando pela determinao do tipo de pacote a processar. No caso de o pacote ser um Heartbeat ACK, Acknowledge ou Non-acknowledge faz-se a actualizao das variveis que guardam a configuraes e o estado do Trackit.
27
Figura 3-6: Diagrama de actividades do funcionamento do driver de comunicao desenvolvido.
28
Figura 3-7: Diagrama de actividades da funo que processa os pacotes enviados pelo Trackit.
No caso de o pacote ser do tipo q (pacote de dados) necessrio determinar a resoluo para que se possa descodificar os dados e posteriormente converter os valores digitais para valores finais em unidades de micro Volt. O procedimento completo descrito na Figura 3-7. Esta converso de valores feita multiplicando as amostras por um factor determinado a partir dos valores Physicalmax, Physicalmin, Digitalmax e Digitalmin (armazenados na memria do Trackit) da seguinte forma: =
29
A abordagem da implementao do driver usando a linguagem nativa do Matlab verificou-se no ser a melhor devido ao tempo de processamento dos pacotes que superior ao tempo ao tempo de aquisio quando a frequncia de amostragem de 256 Hz usada, ou seja, para uma frequncia de amostragem de 256 Hz aparecem novos pacotes na entrada da porta srie a cada 0.0039 segundos, mas o tempo de processamento demora em mdia 0.0092 segundos. Devido a este facto o driver implementado passa a ser usado apenas quando se est a verificar a impedncia dos elctrodos, porque neste caso a aquisio feita a cada 0.7 segundos o que permite que os pacotes sejam processados com sucesso. No caso da aquisio dos sinais de EEG foi adoptada a soluo implementada em [2]. Contudo, uma vez que este bloco apenas fornece os valores digitais adquiridos pelo Trackit foi necessrio criar um novo bloco designado por CorrectValues (Figura 3-8) que corrige os valores dados pelo snack.
Figura 3-8: Bloco do Simulink CorrectValues desenvolvido para converter os valores digitais fornecidos pelo bloco snack para valores reais e respectivos parmetros.
3.4 Inicializao da plataforma

A plataforma desenvolvida tem como objectivo auxiliar o estudo dos ritmos cerebrais, em particular os ritmos Mu e Beta, e a implementao de BCIs usando paradigmas que recorrem a esses ritmos. Para que estes objectivos fossem atingidos, a plataforma software foi equipada com diversas ferramentas relacionadas com a aquisio de sinais, a visualizao de sinais no domnio do tempo e frequncia, a deteco de artefactos e o treino do sujeito.
30
Figura 3-9: Diagrama de actividades da inicializao das ferramentas desenvolvidas para a plataforma.
O processo de inicializao da aplicao est descrito na Figura 3-9. Para se aceder ao menu inicial necessrio executar o comando IEETA_BCI na linha de comandos do Matlab. Em seguida, a seleco da ferramenta que se pretende utilizar feita no menu inicial apresentado na Figura 3-10. Este menu resume as ferramentas computacionais desenvolvidas em termos do modo de operao da BCI (online e off-line) e da fase de treino do sujeito.
Figura 3-10: Menu inicial da plataforma BCI.
31
Aps a seleco da opo, so apresentados ao utilizador os menus das opes de configurao e informaes relativas ferramenta em causa. O utilizador apenas precisa de introduzir as opes nestes menus da interface grfica, enquanto que a plataforma se encarrega de configurar o modelo do Simulink e todos os seus blocos com essas escolhas. Uma vez concluda a fase de definio das opes, o modelo do Simulink associado ferramenta iniciado automaticamente, assim como a correspondente interface grfica de visualizao de sinais. Nas seces seguintes so descritas em detalhe cada uma das ferramentas implementadas, apresentando para cada uma delas os menus da interface grfica (opes e visualizao de sinais) e o correspondente modelo do Simulink.
3.5 Modos de operao da BCI

A plataforma BCI pode ser operada em dois modos distintos: (1) modo online em que o processo de aquisio realizado em tempo real, enquanto o sujeito realizada tarefas de imaginao motora; e (2) modo offline dedicado a tarefas de processamento e anlise de dados posterior. No modo online, o utilizador do sistema pode ainda seleccionar entre operao baseada em indicaes externas (cue-based) ou operao assncrona em que o sistema est sempre disponvel para controlo (self-paced). No primeiro caso, foram desenvolvidos mdulos para adquirir sinais de EEG em sincronia com estmulos visuais enviados para o monitor que indicam a tarefa de imaginao motora a realizar. A segunda implementao baseada no trabalho descrito em [2] visando o controlo de um rob mvel (Khepera). Do ponto de vista conceptual, as duas implementaes so semelhantes e englobam os blocos funcionais descritos anteriormente. Primeiro, os sinais de EEG so filtrados na gama de 1 a 40 Hz usando um filtro IIR Butterworth passa-banda de 8 ordem. Em seguida, estes sinais so filtrados espacialmente subtraindo a mdia dos trs canais circundantes para se obterem dois sinais (um para cada hemisfrio), correspondendo o canal C3 ao hemisfrio esquerdo e o canal C4 ao direito. Por outras palavras, tomam-se as amplitudes medidas a partir de um par de elctrodos e treina-se o sujeito para que aprenda a variar intencionalmente as amplitudes dos ritmos Mu, simultaneamente e independentemente. O clculo envolve a estimativa do espectro de potncia associado com a banda de frequncia dos ritmos Mu e a comparao dos valores resultantes com uma referncia (baseline).
32
Figura 3-11: Localizao espacial dos elctrodos nas reas frontal, central e parietal.
Deste modo, os sinais so segmentados usando um buffer de 128 amostras e as DEPs so calculadas usando o mtodo de Yule-Walker. Este procedimento efectuado usando o modelo do Simulink apresentado na Figura 3-12. Aps o clculo das DEPs foram determinadas as reas delimitadas pelo respectivo grfico e pelos valores de frequncia que delimitam as bandas Alfa e Beta, atravs da definio das somas de Riemman. Finalmente, so feitos os grficos da percentagem de ERD/ERS para as bandas Alfa e Beta usando como referncia a mediana das reas dos tempos de relaxamento. A alternativa estudada em [2] foi primeiro aplicar um filtro passa-banda ao EEG na banda Alfa e depois estimar a potncia nessa banda. com base neste modelo comum que se descrevem, nas prximas subseces, as ferramentas computacionais desenvolvidas com especial ateno para as questes de configurao do sistema e visualizao de dados.
Figura 3-12: Modelo do Simulink utilizado para determinar as DEPs dos canais C3 e C4 filtrados espacialmente.
33
3.5.1 Ferramentas de configurao Esta plataforma foi desenvolvida com o intuito de adquirir sinais EEG em sincronia com estmulos enviados para o monitor de forma a dar ao sujeito a indicao da imaginao/realizao motora a efectuar. Ao seleccionar o modo de operao, no menu inicial, as quatro ferramentas de configurao so apresentadas ao utilizador: informaes do sujeito, opes do Simulink, opes do Trackit e de guardar dados. Informaes do sujeito Neste menu (Figura 3-13) o utilizador insere os dados relativos ao sujeito que efectua a aquisio, a data e o nmero da sesso. Estes dados vo ser de grande importncia aquando da anlise offline para se poder identificar o sujeito e tirar elaes estatsticas considerando a idade, o gnero sexual e a mo preferida na realizao da tarefa. A data e o nmero da sesso tm como objectivo acompanhar a evoluo do sujeito aps vrias aquisies.
Figura 3-13: Menu de introduo dos dados do sujeito e da sesso.
Configuraes do Simulink Este o menu (Figura 3-14) onde so inseridas as opes que vo possibilitar ao sistema a configurao automtica dos blocos do Simulink (ex. tamanho do Buffer e da janela da FFT). tambm neste menu que se define uma parte do protocolo experimental, ou seja, a durao dos tempos de relaxamento e de estmulo.
34
Figura 3-14: Menu de opes do Simulink.
Configuraes do Trackit Uma alta impedncia entre o crtex e os elctrodos pode originar distoro e contribuir para o aumento do rudo no sinal EEG. Por esse motivo aquando da colocao dos elctrodos e entre cada sesso deve ser medida a impedncia dos mesmos de forma a se manter abaixo dos 5k e garantir uma coerncia na impedncia entre elctrodos para que difira no mximo 1k [58]. Estas condies so consideradas essenciais para se obter um sinal de qualidade e com baixo rudo. A medio das impedncias efectuada atravs deste menu como se pode verificar na Figura 3-15 B em funcionamento. tambm neste menu que se define a forma como os elctrodos esto dispostos no Trackit e a frequncia de amostragem do mesmo.
35
Figura 3-15: Menu de opes do Trackit, com o medidor de impedncias desligado (A) e ligado (B).
Opes de guardar dados Os sinais de EEG adquiridos, bem como a informao relativa ao sujeito e aquisio, so guardados num ficheiro *.mat com base numa estrutura semelhante da Figura 3-16. Os dados armazenados num ficheiro definido pelo utilizador vo permitir a configurao automtica do sistema aquando da anlise offline dos sinais de EEG. Deste modo, o utilizador fica isento de qualquer configurao relativa forma como a aquisio foi efectuada.
36
Figura 3-16: (A) Estrutura onde so guardados os dados aps a aquisio. As estruturas B e C so campos da estrutura principal e representam os dados do sujeito e a data respectivamente.
Os sinais EEG so guardados na estrutura da Figura 3-16 sob a forma de uma matriz com dimenso m*n onde m o nmero de amostras adquiridas e n o nmero de canais. De forma a se poderem identificar as amostras de EEG durante o processo de anlise tambm guardado na estrutura um vector de labels com dimenso igual ao nmero de amostras adquiridas. Cada elemento do vector de labels identifica as amostras da matriz de EEG com o ndice de linha correspondente e podem tomar valores de 1 a 5 consoante o estmulo correspondente (Tabela 1).
Labels para o sinal EEG consoante o estmulo
1 2 3 4 5 Seta para a Esquerda Seta para a Direita Relaxamento (monitor preto) Estado de transio entre estmulos (monitor preto) Segundos iniciais (monitor preto)
Tabela 1: Labels atribudos ao sinal EEG de acordo com o estmulo enviado para o monitor.
37
3.5.2 Gerao de estmulos visuais O vector de labels gerado durante a aquisio pelo bloco do Simulink Estimulo (Figura 3-17) que foi desenvolvido com o objectivo de enviar estmulos para o monitor que est em frente do sujeito e sincronamente criar os labels correspondentes aos estmulos apresentados.
Figura 3-17: Bloco do Simulink Estimulo, desenvolvido com o intuito de sincronizar a aquisio de dados EEG com labels e o envio de estmulos para o monitor.
Os parmetros do bloco incluem as imagens dos estmulos de relaxamento, imaginao esquerda e direita, e a durao dos mesmos. O funcionamento do bloco consiste em enviar estmulos de imaginao esquerda ou direita aleatoriamente e intercalados por estmulos de relaxamento com durao definida no menu de opes do Simulink apresentado anteriormente. Inicialmente as imagens enviadas para o monitor e que serviam de estmulos para o sujeito eram as apresentadas na Figura 3-18 A, no entanto aps alguns testes e com o parecer do sujeito chegou-se concluso que as imagens predominantemente brancas induziam um maior cansao e obrigavam a um maior numero de piscar de olhos por parte do sujeito. Dado esse facto optou-se por se utilizar as imagens da Figura 3-18 B que provocam menos cansao, que o que se pretende visto que a fadiga tem uma grande influncia nos ritmos cerebrais [7, 59].
38
Figura 3-18: Estmulos enviados para o monitor colocado em frente ao sujeito usando formato de ecr inteiro. Numa primeira abordagem foram utilizadas as setas representadas em (A), mas como provocavam um enorme cansao no sujeito foram substitudos pelas representadas em (B).
3.5.3 Ferramentas de visualizao de dados Uma vez concluda a configurao do sistema BCI iniciada a aplicao de visualizao de sinais composta por um painel com trs funcionalidades distintas: (1) representao da evoluo temporal do sinal de EEG nos elctrodos C3 e C4 e correspondentes histogramas; (2) representao da densidade espectral de potncia (DEP) dos canais C3 e C4 na gama de frequncias dos 0 aos 30Hz (inclui os ritmos Mu e Beta); e (3) representao da evoluo temporal da amplitude da DEP (canais C3 e C4) para quatro frequncias previamente seleccionadas. Apesar deste painel estar activo em qualquer dos modos de operao da BCI, revela-se especialmente til na anlise offline de dados obtidos em tarefas de imaginao motora. Visualizao de sinais no domnio do tempo Esta ferramenta grfica (Figura 3-19) foi desenvolvida com propsito de detectar, com base na observao, a ocorrncia de artefactos denunciados (e.g., oculares e musculares) e permitir ignorar ou eliminar os segmentos afectados. O seu funcionamento baseia-se no facto de o sinal EEG apresentar, geralmente, uma distribuio normal centrada na mdia. No entanto, quando ocorre um artefacto denunciado, o histograma do sinal EEG para o segmento em questo no apresenta a barra correspondente mdia do sinal como sendo a maior. Neste painel foram includos dois histogramas correspondentes aos sinais EEG dos canais C3 e C4 que permitem observar esse fenmeno com facilidade porque a barra correspondente mdia do sinal est identificada com a cor vermelha para ser distinguida
39
das restantes. A deteco de artefactos pode ser confirmada atravs da observao da evoluo temporal dos sinais de EEG obtidos nos canais C3 e C4.
Figura 3-19: Painel de visualizao do sinal EEG dos canais C3 e C4 filtrados espacialmente e respectivos histogramas.
Ao mesmo tempo, foi implementado um bloco encarregue de imprimir os sinais de EEG e respectivos histogramas e que apresentado na Figura 3-20.
Figura 3-20: Bloco do Simulink GraficoHist, responsvel por imprimir os grficos de sinal EEG dos canais C3 e C4 e respectivos histogramas.
40
Visualizao das DEPs A dessincronizao dos ritmos Mu vista como uma diminuio da amplitude da DEP para a gama de frequncias dos 8 aos 13Hz quando estamos perante uma imaginao/realizao motora relativamente a uma fase de relaxamento. O objectivo do desenvolvimento deste painel (Figura 3-21) foi verificar esse facto e para isso foram colocadas separaes entre os 8 e os 13 Hz nos grficos da DEP de cada canal (C3 e C4). Tambm se pode ver a imagem enviada para o monitor durante a aquisio do segmento de sinal que est a ser analisado para se saber se o sujeito estava numa fase de relaxamento ou numa fase de imaginao/realizao e para que lado.
Figura 3-21: Modo de visualizao sem os grficos sobrepostos do painel de visualizao das DEPs dos canais C3 e C4 com as bandas de frequncias dos ritmos Mu e Beta assinaladas.
Foi includa neste painel a funcionalidade de sobrepor as DEPs de ambos os canais para se verificar a contra-lateralidade da imaginao/realizao motora e para se perceber o que acontece no hemisfrio ipsilateral. Na figura seguinte podem-se ver ambos os grficos sobrepostos.
41
Figura 3-22: Modo de visualizao com os grficos sobrepostos do painel de visualizao das DEPs dos canais C3 e C4 com as bandas de frequncias dos ritmos Mu e Beta assinaladas.
O bloco implementado com objectivo de imprimir os grficos e as imagens que esto a ser enviadas para o monitor o da Figura 3-23. A Figura 3-27 representa o modelo Simulink associado a esta ferramenta.
Figura 3-23: Bloco do Simulink GraficoDEPs, responsvel por imprimir os traados da DEP dos canais C3 e C4.
Foi criado um outro painel (Figura 3-24) com o objectivo de perceber o comportamento, no domnio da frequncia, dos ritmos Mu (8-13Hz) e Beta (13-30Hz). Em particular, pretendia-se verificar se na gama de frequncias dos referidos ritmos existem algumas mais predominantes do que outras no que toca ERD/ERS e se essas frequncias variam
42
consoante o sujeito e a fadiga. O painel composto por quatro grficos cada um representando uma frequncia distinta e com o valor da DEP de ambos os hemisfrios do crebro sobrepostos.
Figura 3-24: Painel de visualizao do valor da densidade espectral de potncia (DEP) para quatro frequncias escolhidas previamente pelo utilizador.
Para facilitar a visualizao os grficos so apresentados com diferentes cores (Tabela 2) consoante o sinal seja do hemisfrio esquerdo/direito e o estmulo enviado para o monitor. Para alm das cores os grficos tambm contm separaes entre os diferentes estados da aquisio com as devidas identificaes (Left, Right e Relax).
Cores associadas aos diferentes labels
Label
1 2 3 4 5
Hemisfrio Esquerdo Azul ciano Verde Azul Azul Azul
Hemisfrio Direito Magenta Amarelo Vermelho Vermelho Vermelho
Tabela 2: Cores dos grficos de visualizao da DEP consoante o label atribudo s amostras de EEG.
43
Os grficos so apresentados em tempo real durante a aquisio. Para o efeito, foram criados dois blocos do Simulink: o primeiro determina o valor da DEP para as frequncias pretendidas (Figura 3-25); o segundo encarrega-se de imprimir os grficos (Figura 3-26).
Figura 3-25: Bloco do Simulink Separao, envia para as suas sadas o valor da DEP para as frequncias escolhidas.
Figura 3-26: Bloco do Simulink GraficosFrequncias responsvel pela impresso dos grficos do valor da DEP para quatro frequncias distintas.
44
Figura 3-27: Modelo do Simulink utilizado pela ferramenta modo de operao online.
45
Figura 3-28: Modelo do Simulink utilizado pela ferramenta anlise de dados offline.
46
Figura 3-29: Bloco do Simulink responsvel pela classificao dos dados de EEG.
3.5.4 Implementao do bloco de classificao Os modelos Simulink apresentados na Figura 3-27 e Figura 3-28 utilizam as ferramentas descritas anteriormente. Neste momento, pretende-se descrever o bloco desenvolvido com o intuito de permitir o estudo comparativo de diferentes algoritmos de classificao (Figura 3-29). O objectivo que os sinais de EEG sejam representados por um vector de caractersticas e mapeados por um classificador num conjunto de classes. Este bloco classifica os dados de EEG em quatro classes, sendo o resultado apresentado ao sujeito como sinal de realimentao ou como comando de controlo de um rob Khepera (Figura 3-30) ou outro dispositivo externo. Os algoritmos devem ser programados num M-file sob a forma de uma funo em que os parmetros de entrada so as DEPs dos canais C3 e C4 filtrados espacialmente e a sada pode tomar um dos valores de acordo com a classe: FRENTE, ESQUERDA, DIREITA, ou PARADO. Nos menus de opes (Figura 3-31) desta ferramenta o utilizador pode inserir o caminho para o ficheiro.mat que contm o algoritmo e, mais importante, verificar o valor de impedncia dos elctrodos de forma a obter um melhor sinal.
Figura 3-30: O utilizador produz alteraes nos padres cerebrais que so classificadas e codificadas em directivas de movimento do rob Khepera.
47
Figura 3-31: Menu de opes do Simulink que permite seleccionar o algoritmo de classificao.
O modelo do Simulink utilizado para comandar o rob Khepera est representado na Figura 3-32. O bloco final (sim_khepera) recebe o resultado da classificao e comanda, via porta srie, o movimento do rob pelo ajuste da velocidade nas duas rodas.
Figura 3-32: Modelo do Simulink utilizado pela ferramenta de teste de algoritmos de classificao para comandar o rob Khepera.
3.6 Treino do sujeito

O treino uma parte fundamental das BCI baseadas nos ritmos sensrio-motores porque permite ao sujeito adaptar os seus ritmos cerebrais ao algoritmo de classificao usado. Mais concretamente, o utilizador aprender a controlar a amplitude das bandas Mu e Beta no seu EEG em vrias localizaes do crebro usando diferentes estratgias mentais e alguma forma de realimentao. Neste trabalho, pretendia-se evitar exigncias elevadas em termos de requisitos de aprendizagem e carga cognitivas atravs do estudo de diferentes estratgias mentais capazes de produzirem alteraes repetitivas e fiveis no EEG.
48
Figura 3-33: Protocolo experimental utilizado pela ferramenta de treino em que os tempos exibidos servem apenas de exemplo.
3.6.1 Protocolo experimental Neste trabalho foi implementado um sistema de treino adaptado da Graz-BCI [28, 60] que largamente utilizado pelos grupos que trabalham nesta rea utilizando os paradigmas baseados na ERD/ERS dos ritmos Mu e Beta. A Figura 3-33 ilustra o protocolo experimental caracterizado por uma sequncia de passos envolvendo perodos ajustveis de estimulao, classificao e realimentao. Os estmulos externos correspondem a dois cenrios: fases de relaxamento e fases de imaginao motora (Figura 3-34). De acordo com este procedimento, inicialmente apresentado ao sujeito uma imagem com uma cruz no centro do monitor para que este relaxe. durante este intervalo de tempo que se procede aquisio da referncia (baseline) que permitir calcular a percentagem de ERD/ERS. Posteriormente, enviado um estmulo para o monitor durante um curto perodo de tempo para que o sujeito inicie a imaginao motora da mo correspondente ao estmulo. Aps o estmulo externo, segue-se o perodo de classificao durante o qual o sujeito deve proceder tarefa de imaginao motora at receber no monitor o resultado da classificao (realimentao). Esta resposta corresponde a uma de trs imagens que identificam o resultado da classificao como imaginao esquerda, imaginao direita ou sem imaginao (ver Figura 3-35).
Figura 3-34: Estmulos enviados para o monitor pela ferramenta de treino durante as fases de relaxamento (A e B) e de imaginao motora (C e D).
49
Figura 3-35: Estmulos enviados pela ferramenta de treino para o monitor (realimentao).
Este processo realizado repetidamente, mas com intervalos de tempo aleatrios entre ensaios para evitar situaes de habituao. 3.6.2 Ferramentas de configurao Ao seleccionar a ferramenta de treino no menu inicial o utilizador confrontado com as mesmas opes de configurao descritas na seco 3.5.1. A nica excepo o menu de configurao do Simulink que, neste caso, solicita ao utilizador a introduo da gama de frequncias pretendida para os ritmos Alfa e Beta que, teoricamente, se encontram entre 813 Hz e 13-30 Hz, respectivamente (Figura 3-36). Esta opo permitir estudar os benefcios de adoptar pequenas variaes nestas bandas de frequncia, seleccionando aquelas que melhor se adaptam a cada indivduo.
Figura 3-36: Menu de opes do Simulink da ferramenta de treino.
50
Figura 3-37: Menu de opes de tempo da ferramenta de treino que permite definir o protocolo experimental desejado para o treino do sujeito.
Pretendia-se que esta ferramenta de treino permitisse definir de forma fcil e intuitiva o protocolo experimental descrito. Para cumprir com esse objectivo, foi adicionado ao menu de configuraes um conjunto de opes relacionadas com os tempos (Figura 3-37). Assim, o utilizador pode definir a durao dos perodos de concentrao, estimulo, classificao, realimentao, referncia e o valor mnimo e mximo entre ensaios consecutivos. Em relao ferramenta de treino, foram desenvolvidos dois novos blocos (Figura 3-38) que permitem: (1) enviar as imagens para o monitor e criar o vector de labels para o sinal EEG; e (2) proceder classificao da imaginao motora realizada pelo sujeito. O vector de labels pode tomar valores entre 1 e 9 consoante a fase do ensaio ou imagem enviada para o monitor (a Tabela 3 apresenta o significado associado a cada label).
Labels associados fase do ensaio ou ao tipo de imagem enviada para o monitor
1 2 3 4 5 Seta esquerda Seta direita Cruz de concentrao Tempo de classificao Realimentao esquerda 6 7 8 9 Realimentao direita Sem classificao Tempo aleatrio de espera entre ensaios Tempo inicial
Tabela 3: Labels associados fase do protocolo e ao tipo de estimulo enviado para o monitor.
51
Figura 3-38: Bloco Stims responsvel pela aquisio sincronizada (EEG e labels) e envio de estmulos para o monitor (esquerda) e bloco ClassificationBlock responsvel pela classificao (direita).
3.6.3 Ferramentas de visualizao de dados A aplicao de visualizao de sinais incorpora trs painis. Os dois primeiros so usados para visualizar a evoluo temporal dos sinais de EEG e as DEPs dos canais C3 e C4, sendo iguais aos descritos na seco 3.5.3. O terceiro painel permite visualizar a percentagem de ERD/ERS dos ritmos Mu e Beta em cada ensaio (Figura 3-39). O painel composto por dois grficos relativos banda de frequncias dos ritmos Alfa e Beta. O objectivo mostrar a dessincronizao (ERD) dos ritmos Mu na presena de imaginao motora e uma sincronizao (ERS) nos ritmos Beta passados alguns instantes (tal como descrito em [60]).
Figura 3-39: Visualizao dos traados da percentagem de ERD/ERS nas bandas Alfa e Beta.
52
3.6.4 Algoritmo de classificao O processo de classificao feito de forma simples de acordo com o diagrama da Figura 3-40. O algoritmo verifica se o valor mdio da ERD na banda do hemisfrio esquerdo inferior do direito, podendo ocorrer duas situaes. No caso deste valor ser inferior, determina-se qual o hemisfrio que apresenta uma mdia da ERS na banda Beta superior e classifica como imaginao motora direita no caso em que a mdia superior no hemisfrio esquerdo. No caso em que a mdia superior no hemisfrio direito atribuda a classificao sem imaginao motora. Na situao inversa, as classificaes atribudas so ausncia de imaginao motora e imaginao motora esquerda, respectivamente. A ERD/ERS calculada usando as reas definidas pelo grfico da DEP e pelos limites seleccionados anteriormente no menu de opes do Simulink para as bandas Alfa e Beta atravs da equao: % = % =
1 =0
determinadas usando a defenio das somas de Riemman, ou seja:

1 =0
onde a rea do segmento actual e a mdia das reas da referncia. As reas so = ( ) ( +1 ) = ( )
100%
se pode ver na Figura 3-41.
onde =
+1 2
+ e igual ao numero de rectngulos que compem a rea, como
Sim
Med(ERD_C3) < Med(ERD_C4)
No
Med(ERS_C3) > Med(ERS_C4)
Med(ERS_C4) > Med(ERS_C3)
Sim
No
Sim
No
Figura 3-40: Diagrama do algoritmo de classificao.
53
Figura 3-41: reas delimitadas pelo traado da DEP e pelas frequncias das bandas Alfa e Beta. Na figura tambm possvel verificar os rectngulos utilizados pelo mtodo das somas de Riemman.
O modelo completo do Simulink associado a esta ferramenta est ilustrado na Figura 3-42. Os dados de treino podem ser usados em anlise off-line para avaliar a evoluo do sujeito durante a fase de treino.
Figura 3-42: Modelo do Simulink utilizado pela ferramenta de treino.
3.7 Discusso de resultados

Neste captulo descreveram-se os esforos realizados no sentido do desenvolvimento de uma plataforma BCI no-invasiva, baseada em sinais de EEG, usando como protocolo de controlo tarefas de imaginao motora. Mais concretamente, foram desenvolvidas um conjunto de funcionalidades para o sistema que permitem: A comunicao com o hardware de aquisio e leitura de vrios formatos de dados; Deteco dos artefactos mais denunciados (artefactos oculares e musculares faciais) para proceder rejeio do segmento em causa;
54
Adquirir sinais EEG com labels e associar informao relevante sobre a aquisio de forma a criar bases de dados para anlise futura; Definir de forma simples e rpida o protocolo da aquisio de forma a evitar demoras penosas para o sujeito (o que no muito aconselhvel, visto que, os ritmos cerebrais variam consoante a fadiga da pessoa [7, 59]);
No modo offline, analisar os dados recolhidos de forma a avaliar o comportamento dos ritmos cerebrais (especialmente os ritmos Mu e Beta), a evoluo do sujeito aps treino (Biofeedback), ou ainda as tarefas mentais mais adequadas a um sujeito particular;
No modo online, seleccionar o modo de operao entre operao sncrona (cue-based) ou assncrona (self-paced); Testar diferentes classificadores em que os resultados podem ser visualizados no monitor (e.g., fase de treino) ou enviada como comandos para um sistema fsico externo como, por exemplo, um rob Khepera.
No Captulo 4 descrevem-se as experincias realizadas com o intuito de estudar o comportamento dos ritmos Mu e Beta e testar as infra-estruturas software criadas com o propsito de clarificar o desempenho do sistema face s ideias e requisitos inicias.
55
Captulo 4 Estudo dos Ritmos Sensrio-Motores
4.1 Introduo
Este captulo dedicado ao estudo do comportamento dos ritmos Mu e Beta para diversas tarefas envolvendo a imaginao e a realizao motora. No mbito deste trabalho, os dados de EEG foram adquiridos com um sujeito do sexo feminino com 27 anos de idade e canhoto (Figura 4-1). Os dados foram adquiridos com um equipamento da NeuroScan (Charlotte NC, USA) para uma frequncia de amostragem de 250Hz. Mais concretamente, foi utilizado o sistema de aquisio SynAmps 2 com o software Scan 4.3 e uma touca QuickCap de 64 canais. Para apresentar os estmulos ao sujeito foi utilizado o software Stims 2 tambm da NeuroScan. Para alm do estudo referido acima, estes dados serviram como dados de teste durante o desenvolvimento da prpria plataforma.
Figura 4-1: Sujeito a realizar tarefas de imaginao/realizao motora usando o equipamento da NeuroScan com 64 canais.
57
Captulo 4: Anlise dos Ritmos Sensrio-Motores
4.2 Protocolo experimental

As diferentes experincias realizadas permitiram o estudo do comportamento dos ritmos Mu e Beta em diferentes cenrios. Os problemas que mereceram especial ateno foram os relacionados com as seguintes questes: (1) que tipo de tarefas de imaginao motora produzem os melhores resultados; (2) qual a diferena entre tarefas de imaginao e execuo motora; e (3) qual o efeito da observao de movimentos sobre os padres cerebrais. De seguida descrevem-se em pormenor os procedimentos experimentais utilizados durante as sesses de aquisio de dados. Comparao entre diferentes imaginaes motoras O procedimento utilizado consistiu em aquisies de 1 minuto nas quais nos 30 segundos iniciais o sujeito se devia manter relaxado. Posteriormente, era apresentado um estmulo ao sujeito sob a forma de uma seta para que este executasse a tarefa mental pedida com a mo correspondente direco da seta. As tarefas mentais pedidas ao sujeito foram as seguintes: Tocar piano Abrir e fechar mo Tapping com dedo indicador Movimentos aleatrios
Imaginaes motoras intercaladas com relaxamento O procedimento experimental compreende trs sesses de 5 minutos em que, a cada 30 segundos, o sujeito instrudo de forma intercalada a relaxar ou a executar imaginao motora da mo correspondente direco da seta apresentada no monitor de forma aleatria. Comparao entre a realizao e a imaginao motora Neste estudo foram feitas aquisies com a durao de 1 minuto. Nos primeiros 30 segundos, apresentado um monitor preto ao sujeito indicando que deve relaxar e manter a concentrao. Nos ltimos 30 segundos, apresentado ao sujeito um estmulo sob a forma de uma seta para que este efectua a realizao/imaginao motora usando a mo correspondente direco da seta.
58
Observao de realizao motora O procedimento usado neste ponto igual ao da imaginao motora intercalada com relaxamento, mas ao invs do sujeito ser instrudo a relaxar ou a executar imaginao motora deve observar o movimento das mos de uma outra pessoa sentada sua frente. Neste caso, a indicao de relaxamento ou realizao motora so apresentados pessoa sentada em frente ao sujeito.
4.3 Comparao entre imaginaes motoras

De acordo com Stanck [61] a proporo de dessincronizao dos ritmos Mu dependente do tipo de movimento e da mo predominante do sujeito. Assim, obtm-se uma maior dessincronizao em movimentos com a mo contra-lateral ao hemisfrio dominante. Nestas experincias, o sujeito utilizado era canhoto o que fazia prever uma maior dessincronizao no hemisfrio direito. Nos grficos da banda Alfa para a imaginao motora da mo direita (Figura 4-2 A e C) pode observar-se que, relativamente ao hemisfrio esquerdo, praticamente no existe dessincronizao (apesar deste ser o hemisfrio contralateral ao movimento). Nos traados do hemisfrio direito perceptvel a dessincronizao, sendo que esta demora aproximadamente 5 segundos para atingir o seu ponto mais alto.
59
Figura 4-2: Grficos da percentagem de ERD/ERS das bandas Alfa e Beta para vrias imaginaes motora da mo direita.
notrio que a imaginao que induz a maior dessincronizao a de abrir e fechar a mo. Os traados da banda Beta so praticamente constantes no hemisfrio esquerdo com a excepo da imaginao de movimentos aleatrio que produz uma sincronizao bastante elevada. Trs dos traados relativos ao hemisfrio direito apresentam uma sincronizao durante o intervalo de imaginao, sendo esta superior nos movimentos aleatrios. Relativamente aos traados da mo esquerda (Figura 4-3), a dessincronizao dos ritmos Mu no evidente, mas bastante perceptvel uma sincronizao para todas as imaginaes nos grficos da banda Beta (Figura 4-3 B e D), sendo esta superior na imaginao de abrir e fechar a mo.
60
Figura 4-3: Grficos da percentagem de ERD/ERS das bandas Alfa e Beta para vrias imaginaes motora da mo esquerda.
4.4 Imaginaes motoras intercaladas com relaxamento

A imaginao motora das mos induz uma dessincronizao dos ritmos Mu no hemisfrio contra-lateral mo imaginada e uma sincronizao dos ritmos Beta nos dois hemisfrios, mas superior no contra-lateral [24, 26, 33, 36]. De forma a confirmar estes factos foram feitas trs sesses de 5 minutos de imaginaes motoras das mos, intercaladas com relaxamento. Analisando os grficos obtidos salta vista a dessincronizao dos ritmos Mu na maioria dos intervalos de imaginao motora e uma posterior sincronizao nos tempos de relaxamento. Quanto aos grficos da banda Beta no notrio qualquer tipo de padro que evidencie a sincronizao ps imaginao.
61
Figura 4-4: Grficos da percentagem de ERD/ERS para a banda Alfa (lado esquerdo) e Beta (lado direito) dos canais C3 e C4 das trs sesses de imaginaes motoras intercaladas com relaxamento.
62
4.5 Comparao entre imaginao e realizao motora

O objectivo da aquisio destes dados era verificar se a imaginao motora influncia os ritmos Mu e Beta da mesma forma que a realizao motora. Mais concretamente, verificar que o movimento provoca uma dessincronizao contra-lateral prematura (preparao do movimento) dos ritmos Mu e uma dessincronizao bilateral aquando da execuo do movimento [24, 62], enquanto que a imaginao motora induz uma dessincronizao dos ritmos Mu maior no hemisfrio contra-lateral durante todo o processo [26]. Para se poder proceder a essa comparao, foram sobrepostos os grficos da percentagem de ERD/ERS da realizao e da imaginao motora de ambos os hemisfrios (canais C3 e C4). Analisando os grficos obtidos para a banda de frequncias Alfa (Figura 4-5 A e C), verifica-se que no que toca imaginao/realizao motora com a mo direita (grfico A) o sujeito apresenta traados da ERD/ERS bastante semelhantes para ambos os hemisfrios, onde ocorre uma sincronizao antes da imaginao ou execuo motora e, aproximadamente 5 segundos depois do incio da imaginao/realizao motora, uma dessincronizao. Este traado apenas difere no caso da imaginao para o hemisfrio esquerdo no qual a dessincronizao encetada no inicio da imaginao. Nos traados da mo esquerda (grfico C), apenas existe dessincronizao no hemisfrio contra-lateral aproximadamente 5 segundos aps o incio da imaginao/realizao motora. Os grficos obtidos na banda Beta (Figura 4-5 B e D) so semelhantes e apresentam dessincronizaes 5 segundos aps o incio das tarefas motoras.
63
Figura 4-5: Grficos da percentagem de ERD/ERS das bandas Alfa e Beta da realizao e imaginao motora de ambas as mos.
4.6 Observao de realizao motora

O objectivo desta experincia era verificar a ligao entre os ritmos Mu e os neurnios espelho primeiramente sugerida por Altschuller [63], e posteriormente sugerida por outros investigadores [31, 64-66]. Nos grficos de percentagem de ERD/ERS obtidos (Figura 4-6 Figura 4-7), as imagens colocadas na parte superior correspondem aos estmulos visualizados em cada intervalo pelo indivduo incumbido de executar a aco motora correspondente e que se encontra em frente ao sujeito. Observando o traado da banda Alfa (Figura 4-6) no perceptvel qualquer padro que se possa considerar de interesse, o que contrasta com os traados da imaginao motora apresentados na seco anterior.
64
Figura 4-6: Grficos da percentagem de ERD/ERS para a banda Alfa dos canais C3 e C4 para a experincia de observao de realizao motora intercalada com relaxamento.
No entanto, no grfico da banda Beta pode identificar-se um padro que ocorre quando o sujeito est a observar realizao motora. O padro consiste numa sincronizao dos ritmos Beta e em quatro dos cinco intervalos de observao motora maior no hemisfrio contralateral mo que executa os movimentos. A sincronizao atinge o seu pico aproximadamente 25 segundos aps o incio da observao motora.
65
Figura 4-7: Grficos da percentagem de ERD/ERS para a banda Beta dos canais C3 e C4 para a experincia de observao de realizao motora intercalada com relaxamento.
4.7 Discusso de resultados

A anlise dos resultados experimentais permitiu, em grande medida, confirmar alguns dos pressupostos associados ao comportamento dos ritmos Mu e Beta e que se encontram descritos na literatura da especialidade. Contudo, convm realar que esta anlise foi efectuada com algumas condicionantes. Por um lado, ao longo deste estudo foi usado um nico sujeito, tornando difcil qualquer tentativa de generalizao dos resultados. Por outro lado, deve levar-se em considerao que os dados de EEG adquiridos no foram sujeitos a qualquer processo de remoo de artefactos. Na literatura da especialidade o clculo da percentagem de ERD/ERS feito usando como referncia o valor de pico da potncia em repouso [15, 67]. No entanto, na anlise efectuado ao longo deste captulo, a percentagem de ERD/ERS foi calculada usando como referncia a mediana das reas delimitadas pela DEP e pelas frequncias das bandas Mu e Beta nos perodos de relaxamento. Esta opo no clculo da ERD/ERS foi feita para evitar falsos resultados uma vez que o pico da potncia seria com toda a certeza resultante de um artefacto denunciado. Porm, a adopo desta forma de clculo da ERD/ERS acarreta percentagens de dessincronizao bastante inferiores s que foram obtidas por outros grupos de investigao e que tipicamente se
66
situam nos 61% [67]. Estas baixas percentagens de dessincronizao so tambm explicadas pelo facto de o sujeito no ter passado pela necessria fase de treino (biofeedback). Um aspecto interessante nos grficos obtidos na experincia da observao do movimento o facto de no se observar dessincronizao dos ritmos Mu associada aos neurnios espelho [31, 66, 68]. No entanto, no grfico da banda Beta pode observar-se uma sincronizao do ritmo Beta nos perodos em que o indivduo, em frente ao sujeito, est a mexer as mos. Em trs dos cinco perodos de execuo motora a sincronizao maior no canal correspondente ao hemisfrio contra-lateral relativamente mo do indivduo que executa o movimento. Este facto interessante e levanta uma questo que poder ser investigada em trabalhos futuros com mais sujeitos e durante mais sesses para verificar a sua veracidade. Uma possibilidade a utilizao de um sistema de aquisio de vdeo-EEG sincronizado de forma a correlacionar os dados de movimento com os sinais de EEG.
67
Captulo 5 Concluses
5.1 Discusso da plataforma desenvolvida
As interfaces crebro-computador visam criar um novo canal de comunicao com base na actividade cerebral e no seguinte paradigma: pensar e fazer acontecer sem esforo fsico. Neste contexto, os sistemas baseados em sinais de EEG tm-se tornado teis por mostrarem a variao dos padres cerebrais durante actividades mentais e por permitirem determinar as regies do crebro que apresentam uma alterao na actividade quando ocorrem determinadas aces ou quando se verificam estmulos externos. Os avanos mais recentes permitem prever a possibilidade de aplicao de sistemas BCI em reas to diversas como a reabilitao [30], a comunicao multimdia [44] ou a navegao em ambientes virtuais [45]. Os objectivos traados para o trabalho descrito nesta dissertao consistiam no desenvolvimento de uma plataforma BCI dedicada ao projecto, teste e uso de interfaces crebro computador. Ao mesmo tempo, pretendia-se explorar e compreender melhor os ritmos sensrio-motores. Com a realizao deste trabalho atingiram-se alguns progressos e resultados, entre os quais se destacam: A implementao de um sistema BCI modular e expansvel usando as funcionalidades e capacidades do Matlab/Simulink; O desenvolvimento de um conjunto de ferramentas computacionais que contribuem para minimizar o tempo e esforo em futuros desenvolvimentos de software; Os avanos na compreenso do paradigma de controlo baseado em tarefas de imaginao motora e dos ritmos sensrio-motores (Mu e Beta);
69
Captulo 5: Concluses
A promoo da tecnologia BCI e suas aplicaes ao campo da robtica (e.g., melhorar as interfaces homem-mquina ou facilitar a programao de robs).
Ao terminar este trabalho ressalta a ideia de se terem atingido os objectivos planeados inicialmente, abrindo-se caminho a futuros desenvolvimentos.
5.2 Perspectivas de trabalho futuro

De forma a aumentar as potencialidades e a eficcia da plataforma BCI podemos enumerar um conjunto de tpicos de trabalho futuro: A incluso de elctrodos adicionais que permitam a remoo dos artefactos oculares e musculares faciais; A introduo de ferramentas computacionais que de forma automtica faam a remoo (parcial) de artefactos; A necessidade de avaliar o impacto do nmero de elctrodos, nomeadamente no que se refere ao processo de filtragem espacial; O estudo de novos algoritmos e estratgias relacionadas com a filtragem espacial e a reduo de rudo (e.g., mtodos baseados em componentes); A implementao e comparao de algoritmos de classificao baseados em vectores de caractersticas apropriados (e.g., LDA, SVM, redes neuronais, etc).
70
Referncias
1. 2. Berger, T.W., et al., WTEC Panel Report on: International assessment of research and development in Brain-Computer Interfaces. 2007. Bento, V., Desenvolvimento de Interface Crebro-Computador baseada em sinais EEG, in Departamento de Electrnica, Telecomunicaes e Informtica. 2008, Universidade de Aveiro: Aveiro. p. 96. Vidal, J.J., Toward Direct Brain-Computer Communication. Annual Review of Biophysics and Bioengineering, 1973. 2(1): p. 157-180. Wolpaw, J.R., et al., Brain-computer interfaces for communication and control. Clinical Neurophysiology, 2002. 113(6): p. 767-791. Cabestaing, F., EEG-based Brain Computer Interfaces for Enhanced Communication. 2007, LAGIS, USTL: Lille. Wolpaw, J.R. and D.J. McFarland, Control of a two-dimensional movement signal by a noninvasive brain-computer interface in humans. Proceedings of the National Academy of Sciences of the United States of America, 2004. 101(51): p. 17849-17854. Kbler, A., et al., The thought translation device: a neurophysiological approach to communication in total motor paralysis. Experimental Brain Research, 1999. 124(2): p. 223-232. Kbler, A., et al., Brain-computer communication: unlocking the locked in. Psychological Bulletin, 2001. 127(3): p. 358-375. Mulholland, T., Human EEG, behavioral stillness and biofeedback. International Journal of Psychophysiology, 1995. 19(3): p. 263-279. Rockstroh, B., et al., The Effects of Slow Cortical Potentials on Response Speed. Psychophysiology, 1982. 19(2): p. 211-217. Pulvermller, F., et al., Operant conditioning of left-hemispheric slow cortical potentials and its effect on word processing. Biological Psychology, 2000. 53(2-3): p. 177-215. Berger, H., ber das Electrenkephalogramm des Menschen. Arch Psychiat Nervkrankh 1929. 87: p. 52770. Deuschl, G. and A. Eisen, Recommendations for the Practice of Clinical Neurophysiology: Guidelines of the International Federation of Clinical Neurophysiology. 2 ed, ed. I.F.o.C. Neurophysiology. 1999: Elsevier Health Sciences. 304. Buzski, G., Rhythms of the Brain. 2006, New York,: Oxford University Press, Inc. Pineda, J.A., The functional significance of mu rhythms: Translating "seeing" and "hearing" into "doing". Brain Research Reviews, 2005. 50(1): p. 57-68. Kuhlman, W.N., Functional topography of the human mu rhythm. Electroencephalogr Clin Neurophysiol, 1978. 44: p. 83 - 93. Kuhlman, W.N., EEG feedback training: enhancement of somatosensory cortical activity. Electroencephalogr Clin Neurophysiol., 1978. 45(2): p. 290-4.
3. 4. 5. 6.
7. 8. 9. 10. 11. 12. 13.
14. 15. 16. 17.
71
18.
Pfurtscheller, G., A. Stanck, and C. Neuper, Event-related synchronization (ERS) in the alpha band -- an electrophysiological correlate of cortical idling: A review. International Journal of Psychophysiology, 1996. 24(1-2): p. 39-46. Steriade, M. and R.R. Llinas, The functional states of the thalamus and the associated neuronal interplay. Physiol. Rev., 1988. 68(3): p. 649-742. Goldman, R.I., et al., Simultaneous EEG and fMRI of the alpha rhythm. Neuroreport, 2002. 13(18): p. 2487-2492. Salmelin, R. and R. Hari, Characterization of spontaneous MEG rhythms in healthy adults. Electroencephalogr Clin Neurophysiol., 1994. 91(4): p. 237-48. Pfurtscheller, G. and C. Neuper, Motor imagery activates primary sensorimotor area in humans. Neuroscience Letters, 1997. 239(2-3): p. 65-68. Neuper, C., et al., ERD/ERS patterns reflecting sensorimotor activation and deactivation, in Progress in Brain Research. 2006, Elsevier. p. 211-222. Pfurtscheller, G. and A. Berghold, Patterns of cortical activation during planning of voluntary movement. Electroencephalography and Clinical Neurophysiology, 1989. 72(3): p. 250258. Pfurtscheller, G. and A. Aranibar, Evaluation of event-related desynchronization (ERD) preceding and following voluntary self-paced movement. Electroencephalography and Clinical Neurophysiology, 1979. 46(2): p. 138-146. Pfurtscheller, G., et al., Mu rhythm (de)synchronization and EEG single-trial classification of different motor imagery tasks. Neuroimage, 2006. 31(1): p. 153-159. Lotze, M., et al., Activation of Cortical and Cerebellar Motor Areas during Executed and Imagined Hand Movements: An fMRI Study. Journal of Cognitive Neuroscience, 1999. 11(5): p. 491-501. Guger, C., et al., Rapid prototyping of an EEG-based brain-computer interface (BCI). Neural Systems and Rehabilitation Engineering, IEEE Transactions on, 2001. 9(1): p. 49-58. Pineda, J.A., et al., Learning to control brain rhythms: making a brain-computer interface possible. Neural Systems and Rehabilitation Engineering, IEEE Transactions on, 2003. 11(2): p. 181-184. Halsband, U. and R.K. Lange, Motor learning in man: A review of functional and clinical studies. Journal of Physiology-Paris, 2006. 99(4-6): p. 414-424. Muthukumaraswamy, S.D. and B.W. Johnson, Changes in rolandic mu rhythm during observation of a precision grip. Psychophysiology, 2004. 41(1): p. 152-156. Muthukumaraswamy, S.D., B.W. Johnson, and N.A. McNair, Mu rhythm modulation during observation of an object-directed grasp. Cognitive Brain Research, 2004. 19(2): p. 195201. Pfurtscheller, G., A. Stanck, and C. Neuper, Post-movement beta synchronization. A correlate of an idling motor area? Electroencephalography and Clinical Neurophysiology, 1996. 98(4): p. 281-293.
19. 20. 21. 22. 23. 24.
25.
26. 27.
28. 29.
30. 31. 32.
33.
72
34.
Pfurtscheller, G., K. Zalaudek, and C. Neuper, Event-related beta synchronization after wrist, finger and thumb movement. Electroencephalography and Clinical Neurophysiology/Electromyography and Motor Control, 1998. 109(2): p. 154-160. Keinrath, C., et al., Post-movement beta synchronization after kinesthetic illusion, active and passive movements. International Journal of Psychophysiology, 2006. 62(2): p. 321-327. Pfurtscheller, G., et al., Beta rebound after different types of motor imagery in man. Neuroscience Letters, 2005. 378(3): p. 156-159. Pfurtscheller, G., D. Flotzinger, and C. Neuper, Differentiation between finger, toe and tongue movement in man based on 40 Hz EEG. Electroencephalogr Clin Neurophysiol., 1994. 90(6): p. 456-60. McFarland, D.J., et al., Spatial filter selection for EEG-based communication. Electroencephalography and Clinical Neurophysiology, 1997. 103(3): p. 386-394. Babiloni, F., et al., Linear classification of low-resolution EEG patterns produced by imagined hand movements. Rehabilitation Engineering, IEEE Transactions on, 2000. 8(2): p. 186188. McFarland, D.J., A.T. Lefkowicz, and J.R. Wolpaw, Design and operation of an EEGbased brain-computer interface (BCI) with digital signal processing technology. Behavior research methods, instruments & computers, 1997. 29: p. 337-345. Molina, G.G. BCI adaptation using incremental-SVM learning. in Neural Engineering, 2007. CNE '07. 3rd International IEEE/EMBS Conference on. 2007. Flotzinger, D., J. Kalcher, and G. Pfurtscheller, EEG classification by learning vector quantization. Biomedical Engineering, 1992. 37(12): p. 303309. Blankertz, B., et al., The Berlin brain-computer interface: EEG-based communication without subject training. Neural Systems and Rehabilitation Engineering, IEEE Transactions on, 2006. 14(2): p. 147-152. Gomes, L.C., Brainware: Interaco com Ambientes Multimdia atravs da Actividade Cerebral, in Departamento de Electrnica,Telecomunicaes e Informtica. 2007, Universidade de Aveiro. Zhao, Q., L. Zhang, and A. Cichocki, EEG-based asynchronous BCI control of a car in 3D virtual reality environments. Chinese Science Bulletin, 2009. 54(1): p. 78-87. Schalk, G., et al., BCI2000: a general-purpose brain-computer interface (BCI) system. Biomedical Engineering, IEEE Transactions on, 2004. 51(6): p. 1034-1043. Mller, G.R., et al., Event-related beta EEG changes during wrist movements induced by functional electrical stimulation of forearm muscles in man. Neuroscience Letters, 2003. 340(2): p. 143-147. Mller-Putz, G.R., et al., EEG-based neuroprosthesis control: A step towards clinical practice. Neuroscience Letters, 2005. 382(1-2): p. 169-174. Pfurtscheller, G., et al., `Thought' - control of functional electrical stimulation to restore hand grasp in a patient with tetraplegia. Neuroscience Letters, 2003. 351(1): p. 33-36. Millan, J.R., et al., A local neural classifier for the recognition of EEG patterns associated to mental tasks. Neural Networks, IEEE Transactions on, 2002. 13(3): p. 678-686.
73
35. 36. 37.
38. 39.
40.
41. 42. 43.
44.
45. 46. 47.
48. 49. 50.
51.
Millan, J.R. and J. Mourino, Asynchronous BCI and local neural classifiers: an overview of the adaptive brain interface project. Neural Systems and Rehabilitation Engineering, IEEE Transactions on, 2003. 11(2): p. 159-161. Millan, J.R., et al., Noninvasive brain-actuated control of a mobile robot by human EEG. Biomedical Engineering, IEEE Transactions on, 2004. 51(6): p. 1026-1033. Blankertz, B., et al., The non-invasive Berlin Brain-Computer Interface: Fast acquisition of effective performance in untrained subjects. Neuroimage, 2007. 37(2): p. 539-550. Birbaumer, N., et al., The thought translation device (TTD) for completely paralyzed patients. Rehabilitation Engineering, IEEE Transactions on, 2000. 8(2): p. 190-193. Schlgl, A., et al. BIOSIG: Standardization and quality control in biomedical signal processing using the BioSig project. in Biostec. 2008. Arrouet, C., et al., Open-ViBE: 3D Plataform for Real-Time Neuroscience. J. Neurotherapy. Lifelines and ltd, Trackit User Manual. 2003, Hampshire, UK. Nuwer, M.R., et al., IFCN standards for digital recording of clinical EEG. Electroencephalography and Clinical Neurophysiology, 1998. 106(3): p. 259-261. Kennedy, P.R., et al., Direct control of a computer from the human central nervous system. Rehabilitation Engineering, IEEE Transactions on, 2000. 8(2): p. 198-202. Pfurtscheller, G. and C. Neuper, Motor imagery and direct brain-computer communication. Proceedings of the IEEE, 2001. 89(7): p. 1123-1134. Stanck, A. and G. Pfurtscheller, The effects of handedness and type of movement on the contralateral preponderance of [mu]-rhythm desynchronisation. Electroencephalography and Clinical Neurophysiology, 1996. 99(2): p. 174-182. Derambure, P., et al., Event-related desynchronization and synchronization. Reactivity of cortical electroencephalographic rhythms related to planning and performance of voluntary movement. Clinical Neurophysiology, 1999. 29(1): p. 53-70. Altschuler, E.L., et al. Person see, person do: human cortical electrophysiological correlates of monkey see monkey do cells. in Poster session presented at the 27th Annual Meeting of the Society for Neuroscience. 1997. New Orleans,LA. Oberman, L.M., et al., EEG evidence for mirror neuron activity during the observation of human and robot actions: Toward an analysis of the human qualities of interactive robots. Neurocomputing, 2007. 70(13-15): p. 2194-2203. Oberman, L.M., J.A. Pineda, V. Ramachandran, The human mirror neuron system: A link between action observation and social skills. Soc Cogn Affect Neurosci, 2007. 2(1): p. 62-66. Cochin, S., et al., Observation and execution of movement: similarities demonstrated by quantified electroencephalography. European Journal of Neuroscience, 1999. 11: p. 1839-1842. Leeuwen, V., et al., Lack of bilateral coherence of mu rhythm, in Electroencephalography & Clinical Neurophysiology. 1978. p. 140-146. Oberman, L.M., et al., EEG evidence for mirror neuron dysfunction in autism spectrum disorders. Cognitive Brain Research, 2005. 24(2): p. 190-198.
52. 53. 54. 55. 56. 57. 58. 59. 60. 61.
62.
63.
64.
65. 66. 67. 68.
74

5588

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

5588

Uploaded by

Copyright:

Available Formats

Universidade de Aveiro 2009

Departamento de Electrnica, Telecomunicaes e Informtica

Luis Pedro Monteiro Paula

Interfaces Crebro-Computador Baseadas nos Ritmos Sensrio-Motores

Universidade de Aveiro Departamento de Electrnica, Telecomunicaes e 2009 Informtica

Luis Pedro Monteiro Paula

Interfaces Crebro-Computador Baseadas nos Ritmos Sensrio-Motores

Ao meu pai. A rvore morre, mas a sua semente perdura.

minha me. A vida uma luta constante, obrigado por no desistires.

Doutor Nuno Srgio Mendes Dias

Prof. Doutor Filipe Miguel Teixeira Pereira da Silva

Interfaces crebro-computador, electroencfalograma, imaginao motora, ritmos Mu e Beta, fase de treino

3.1 Introduo .............................................................................................................................. 21 3.2 Ambiente de desenvolvimento ............................................................................................ 22

3.3 Aquisio de dados ............................................................................................................... 24

3.4 Inicializao da plataforma .................................................................................................. 30 3.5 Modos de operao da BCI ................................................................................................. 32

3.5.4 Implementao do bloco de classificao............................................................................ 47

3.6 Treino do sujeito ................................................................................................................... 48

3.7 Discusso de resultados........................................................................................................ 54 CAPTULO 4 ESTUDO DOS RITMOS SENSRIO-MOTORES ....................... 57

1.3 Organizao da Dissertao

Captulo 2 Estado da Arte

Captulo 2: Estado da Arte

Captulo 2: Estado da Arte

Figura 2-2: Estruturas do encfalo.

Captulo 2: Estado da Arte

Captulo 2: Estado da Arte

Figura 2-4: Hmunculo sensrio-motor.

2.3 Mtodos de aquisio de sinais cerebrais

Captulo 2: Estado da Arte

Mtodos de aquisio de dados no crebro

Ressonncia Magntica funcional (fMRI)

Implantao de Arrays de Electrodos

Figura 2-5: Mtodos de aquisio de dados do crebro.

2.4 Componentes de uma BCI baseada em EEG

Captulo 2: Estado da Arte

Figura 2-6: Componentes funcionais de uma BCI.

Captulo 2: Estado da Arte

Captulo 2: Estado da Arte

Figura 2-8: Ritmos Delta (<4Hz).

Figura 2-9: Ritmos Teta (4 7.5Hz).

Captulo 2: Estado da Arte

Captulo 2: Estado da Arte

Figura 2-11: Ritmos Beta (13 30Hz).

Captulo 2: Estado da Arte

Figura 2-12: Ritmos Gama (>30Hz).

Figura 2-13: Classificao dos potenciais resultantes da actividade cerebral.

Captulo 2: Estado da Arte

Captulo 2: Estado da Arte

2.5 Casos de sucesso

Captulo 2: Estado da Arte

Captulo 3 Plataforma BCI Baseada nos Ritmos Mu

Captulo 3: Plataforma BCI Baseada nos Ritmos Mu

3.2 Ambiente de desenvolvimento

Captulo 3: Plataforma BCI Baseada nos Ritmos Mu

Figura 3-2: Propriedades de um Run-Time Object (RTO).

Captulo 3: Plataforma BCI Baseada nos Ritmos Mu

SetInputPortSampleTime/SetOutputPortSampleTime SetInputPortDataType/SetOutputPortDataType SetInputPortComplexSignal/SetOutputPortComplexSignal PostPropagationSetup Start InitializeConditions Outputs CheckParameters ProcessParameters

Deteco passagem por zero

3.3 Aquisio de dados

Captulo 3: Plataforma BCI Baseada nos Ritmos Mu

Figura 3-4: Sistema de aquisio de EEG Trackit.

Captulo 3: Plataforma BCI Baseada nos Ritmos Mu

Captulo 3: Plataforma BCI Baseada nos Ritmos Mu

Pacotes transmitidos pelo Trackit

Figura 3-5: Pacotes utilizados na comunicao entre o computador e o Trackit.