Estudo e Desenvolvimento de

Descritores Simbólicos e Acústicos

para a Síntese Sonora e a
Performance Musical

José Eduardo Fornari Novo Junior

Pesquisador: Carreira Pq

Núcleo Interdisciplinar de Comunicação Sonora – NICS

Universidade Estadual de Campinas – Unicamp

Outubro de 2008
 Índice
Resumo 3

Introdução 4

Justificativa 9

Formulação detalhada da pesquisa 10

Objetivos 14

Plano de trabalho 15

Cronograma de execução do projeto 16

Material e métodos experimentais 17

Forma de análise dos resultados 18

Bibliografia 19

Estudo e Desenvolvimento de Descritores Simbólicos e Acústicos para Síntese Sonora e Performance Musical 2
 Resumo
A pesquisa aqui proposta baseia-se no estudo e desenvolvimento de modelos computacionais que

extraem aspectos relacionados a sensações perceptuais, cognitivas e afetivas evocadas pela escuta

musical. Tais modelos são chamados de descritores. Serão estudadas duas classes de descritores, a

saber: 1) Descritores Acústicos, que operam sobre o sinal de áudio e 2) Descritores Simbólicos, que

operam sobre dados relacionados à notação musical (ex: partitura ou MIDI). O estudo de descritores

tem recentemente despertado o interesse de várias áreas do conhecimento como: psicologia,

neurociência, musicologia e engenharia. No entanto, ainda não existe no Brasil uma instituição

acadêmica direcionada a esta linha de pesquisa. Neste sentido, o estudo aqui proposto é inovador e

fomentará o pioneirismo numa área ainda incipiente no Brasil. Este projeto será desenvolvido no NICS

(Núcleo Interdisciplinar de Comunicação Sonora) que fornece condições acadêmicas adequadas para

sua realização, principalmente, no que tange a recursos e experiência na área de Computação Musical.

Este projeto é uma continuação natural da pesquisa desenvolvida desde o doutorado do autor,

finalizado em 2003, onde foi apresentado um método de síntese sonora inspirada no Evolução Biológica

Seguiu-se uma pesquisa de pós-doutoramento (PosDoc) com apoio da FAPESP, processo: 04/00499-6,

onde a metodologia foi expandida para incorporar algoritmos genéticos atuando sobre descritores

psicoacústicos. Posteriormente, o autor realizou outro PosDoc, na universidade de Jyvaskyla, Finlândia.

Atuou no projeto “BrainTuning”, financiado pela Comissão Européia de Pesquisa, projeto: FP6-2004-

NEST-PATH-028570. Durante sua permanência no exterior, desenvolveu pesquisa na área e

implementou diversos descritores para música. O projeto aqui proposto dá prosseguimento a esta

trajetória e amplia seus paradigmas com o objetivo de trazer para o Brasil o conhecimento adquirido no

exterior. As etapas do projeto são as seguintes: 1) Revisão bibliográfica e classificações dos descritores.

2) Coleta de dados fisiológicos relacionados aos descritores em estudo. 3) Desenvolvimento dos

descritores na sua versão computacional. 4) Aplicação dos descritores à síntese sonora e performance

musical.

Estudo e Desenvolvimento de Descritores Simbólicos e Acústicos para Síntese Sonora e Performance Musical 3
 Introdução
Dentre seus muitos atributos, a música é também conhecida pela capacidade de interagir simultaneamente

com diversos aspectos da percepção, cognição e emoção humana. Talvez por isso, em muitos casos, a

música nos provoca fortes impressões, capazes de evocar sensações e respostas intangíveis às linguagens

e outras formas de comunicação.

O estudo da percepção sonora (ou psicoacústica) musical se estende, pelo menos, desde a famosa

obra On the Sensation of Tones de Hermann Von Helmholtz, que estudou as bases fisiológicas da teoria

musical. Já os aspectos cognitivos e afetivos relacionados à música só começaram a ser estudados

cientificamente nos últimos anos. Recentemente, tais aspectos têm despertado o interesse de diversas

áreas do conhecimento, bem como da indústria relacionada a Multimídia e Internet, entre outras. Diversas

comunidades interdisciplinares vêm se organizando em grupos de estudos, como o MIR (Music

Information Retrieval) e a SMPC (Society of Music Perception and Cognition) são alguns exemplos.

Nestes, participam pesquisadores de diversas áreas do conhecimento. Entre eles, encontram-se: músicos,

compositores, psicólogos, neurocientistas, musicólogos, etnomusicólogos, musicoterapeutas,

matemáticos, físicos e engenheiros. Grande parte dessa pesquisa se dedica à identificação e mapeamento

das relações entre aspectos musicais e sinais fisiológicos, voluntários e involuntários, ligados à cognição e

emoção musical, para o desenvolvimento de modelos computacionais que os descrevam.

O estado da arte
Os Descritores, objetivo principal deste projeto, é aqui definido como modelos computacionais que

representam um aspecto específico da percepção, cognição ou emoção humana evocada pela escuta

musical. O resultado da aferição de um descritor é chamado de predição e está diretamente associado a

um único aspecto musical que pode ser dado na forma de uma série temporal (ex: variação temporal do

andamento musical) ou como um único valor (ex: nome de um gênero musical). Na figura 1 tem-se o

exemplo de um simples descritor perceptual da sensação de Arousal1, ou seja, a média aritmética da

1
Aurosal: Sensação psicológica de concentração. Estende-se entre relaxado e atento.

Estudo e Desenvolvimento de Descritores Simbólicos e Acústicos para Síntese Sonora e Performance Musical 4
medição voluntária de trinta indivíduos sobre a variação contínua do grau de concentração ou

relaxamento associado a uma peça musical, no caso deste exemplo, o primeiro movimento do concerto

No 1 de Liszt [8]. Na figura 1-a tem-se a média das medições comportamentais (dos ouvintes) de Arousal.

Em ambos os gráficos, a dimensão da abcissa é tempo (em segundos) e a da ordenada é Arousal (valores

negativos para relaxado e positivos para atento). Na figura 1-b tem-se o a predição do algoritmo descritor

de Arousal, dada pelo cálculo de energia do sinal sonoro em RMS (root mean square), segmentado em

janelas de um segundo de duração. Este é conhecido por ser relacionado à percepção da intensidade

sonora (loudness). Pode-se observar que as figuras 1-a e 1-b tem formatos bastante similares, ou

correlacionados, o que sugere que este descritor apresenta uma predição satisfatória da sensação de

Arousal evocada pela escuta musical.

(a)

(b)

Figura 1. (a) Medida comportamental de Arousal numa peça musical. (b) Predição de Arousal dada por
um descritor perceptual.

Estudo e Desenvolvimento de Descritores Simbólicos e Acústicos para Síntese Sonora e Performance Musical 5
No entanto, a maioria dos aspectos musicais, especialmente aqueles ligados ao contexto musical (ex:

tonalidade, repetição e complexidade) não são triviais de serem mensurados por descritores. Vê-se

também na literatura que a classificação de aspectos musicais relevantes e seus descritores ainda não está

formalizada. Estes são definidos por diferentes áreas do conhecimento o que, muitas vezes, gera

ambigüidades e inconsistências. Exemplificando, [1] propõe uma taxonomia para os descritores usados

como ferramenta de busca de informação musical (musical data-mining). Estes são organizados em baixo,

médio e alto nível, de acordo com a escala temporal em que atuam, onde [2] classifica os descritores de

acordo com sua ação na escala do tempo, entre contextuais (médio e alto nível) relacionados à escala de

tempo acima do now time2 e não-contextuais (baixo e médio nível) relacionados à escala de tempo abaixo

do now time. Já em [3], técnicas de modelamento espectral são usadas para calcular e organizar os

descritores de conteúdo musical nos moldes utilizados pelo padrão MPEG-7. Estes descritores são apenas

de baixo e médio nível, segundo o critério de [2]. Em [4] é apresentada uma taxonomia para descritores

de sinais de áudio onde estes são classificados em uma das seguintes categorias: globais, instantâneos,

temporais, de energia, espectrais, harmônicos e perceptuais. Em [5,6] é apresentado um método heurístico

utilizando programação genética para criar automaticamente descritores musicais de alto-nível

(contextuais). Já a pesquisa descrita em [7], apesar de não estudar diretamente os descritores, propõe um

modelo chamado de Distributed Adaptive Control (Controle Distribuído Adaptativo) que modela

descritores cognitivos de alto nível aplicados ao estudo da aquisição, retenção e expressão do

conhecimento, o que é definido pelo autor como “epistemologia sintética”. Com relação ao aspecto

emocional da música, [8] fez um estudo empírico com mais de trinta ouvintes sobre a emoção categórica

continuamente percebida ao longo da escuta de diversas peças de música clássica. Em seguida, este

desenvolveu dois modelos lineares relacionados a cada peça, para descrever as dimensões emocionais.

Em [9] o estudo comportamental de [8] foi novamente utilizado, desta vez para desenvolver um modelo

geral de predição das dimensões da emoção musical. Em [10] é descrita uma teoria psicológica sobre a

expectativa em música e como esta se relaciona com a evocação de emoções durante a escuta musical.

2
now time: a escala ou janela de tempo que, em música, é percebida como sendo o “presente” musical.
Esta é considerada como sendo da ordem de um a cinco segundos de duração.

Estudo e Desenvolvimento de Descritores Simbólicos e Acústicos para Síntese Sonora e Performance Musical 6
Tipologia dos descritores
De um modo geral, vimos que os descritores podem ser inicialmente classificados em relação ao material

musical por estes analisado, entre: simbólicos e acústicos. Os descritores simbólicos extraem

características musicais de dados de controle ou notação musical, tal como a partitura de uma peça, ou seu

arquivo MIDI (Musical Instrument Digital Interface). Já os descritores acústicos extraem características

musicais de áudio analógico ou digital, em tempo-real (streaming) ou de arquivos de áudio (files). Os

descritores podem também ser catalogados quanto à extensão de sua ação no domínio do tempo. Os

descritores não-contextuais, ou de baixo nível agem sobre janelas temporais da ordem de milisegundos a

fim de extraírem aspectos perceptuais do som musical. Estes também podem ser classificados como

descritores psicoacústicos, por se referirem a aspectos perceptuais do som, tais como: pitch (altura),

loudness (intensidade), densidade e concentração de componentes espectrais, entre outros. Os descritores

contextuais, ou de alto nível, agem no domínio macroscópico do tempo (acima do now time) e descrevem

aspectos tais como: articulação, tonalidade e complexidade harmônica, entre outras [11]. Em relação à

produção musical, os descritores podem ser classificados como: performáticos ou estruturais. Os

descritores estruturais estão relacionados a elementos contextuais, primordialmente, advindos da notação

ou estrutura musical (ex: modos, séries, estrutura harmônica, andamento, etc.). Já os descritores

performáticos descrevem elementos predominantemente evidenciados na performance de uma peça

musical, na interpretação ou improvisação sobre um tema musical (ex: variação de andamento, dinâmica,

performance expressiva). Esta classificação de descritores é especialmente importante no estudo dos

aspectos cognitivos e afetivos associados à performance musical. Em [12], é dito que “a performance

musical de qualidade não depende apenas da habilidade motora, mas também requer a capacidade de

gerar diferentes interpretações da mesma peça musical de acordo com a natureza da comunicação

cognitiva da estrutura musical”. [13] afirma que “a performance musical não é única em seu contexto

afetivo implícito”. Uma das questões fundamentais que este projeto pretende abordar é o estudo das

interações entre os aspectos performáticos e estruturais e seus devidos pesos na descrição cognitiva e

emocional da expressividade musical.

Estudo e Desenvolvimento de Descritores Simbólicos e Acústicos para Síntese Sonora e Performance Musical 7
Aplicações
Vê-se na literatura que a maioria das pesquisas nessa área ainda não abordou questões como a

anteriormente citada. Antes, estas se concentram apenas na análise musical de dados simbólicos

relacionados à cognição evocada através de interpretações musicais, também chamada de performance

expressiva. A maioria dos estudos sobre descritores de performance expressiva se baseia num dos três

modelos descritos a seguir: 1) O modelo da KTH (Royal Institute of Technology), que consiste num grupo

de regras de performance levando em conta: tempo, dinâmica e articulação, baseadas no contexto musical

[14]. 2) O modelo de Todd, que usa o conceito de “análise por medida”, no qual a evidência empírica está

diretamente relacionada à catalogação feita através da notação humana das performances expressivas

[15]. 3) O modelo de Mazzola, que é baseado no modelamento computacional das performances

expressivas (www.rubato.org) [16]. Recentemente, modelos de ML (machine learning) têm sido

desenvolvidos. Estes se baseiam em modelos computacionais de performance expressiva envolvendo

grande quantidade de medidas empíricas, extraídos da performance de habilidosos interpretes, onde o

sistema automaticamente busca, num imenso banco de dados, regularidades significativas utilizando-se de

processos indutivos ou técnicas de data mining [17].

Motivação
O estudo e classificação de descritores capazes de prever aspectos da percepção, cognição e emoção

evocada pela música é desafiante e envolve diversos aspectos conceituais e metodológicos que devem ser

investigados a priori. Este projeto trata do desenvolvimento de uma área emergente no Brasil, nos moldes

da pesquisa desenvolvida em diversos centros de cognição musical do exterior.

Este projeto pretende investigar um grupo de descritores na forma de modelos computacionais

desenvolvidos para a predição de aspectos perceptuais, cognitivos e emocionais do material musical. De

posse desses descritores, iremos então utilizá-los em processos de síntese sonora e análise expressiva da

performance musical. Um dos métodos de síntese que utilizaremos para testar os descritores a serem

desenvolvidos é a Síntese Evolutiva, conforme apresentada na tese de doutorado do autor e expandida em

seu projeto Fapesp de PosDoc, onde descritores perceptuais foram utilizados na modelagem da Função de

Adequação (Fitness) do processo de síntese evolutiva. Durante este pós-doutoramente, o autor constatou

Estudo e Desenvolvimento de Descritores Simbólicos e Acústicos para Síntese Sonora e Performance Musical 8
a necessidade de uma nova família de descritores para calcular aspectos cognitivos dos sons sintetizados.

Tal conhecimento foi adquirido no segundo PosDoc, no grupo de cognição musical. O desenvolvimento

de novos descritores, aqui propostos, deverá prover a síntese evolutiva com critérios de adequação

musical orientada por contexto, o que irá potenciar a obtenção de resultados musicais mais interessantes e

originais. Os novos descritores serão também utilizados na análise da performance musical, através da

manipulação sonora guiada por contexto cognitivo e afetivo. Pretendemos implementar este sistema numa

linguagem de programação voltada ao processamento sonoro em tempo real, tal como é o Pure Data, ou

Pd (www.puredata.org), de modo a criar assim um sistema musical que opere em tempo-real..

Justificativa
A justificativa do projeto se baseia na evidente carência de produção científica nacional relacionada a ao

tema da pesquisa e na recente experiência acadêmica do autor no centro de excelência Europeu em

pesquisas de cognição musical. No ano de 2007 o autor desenvolveu um projeto de PosDoc, no grupo de

Cognição Musical do Departamento de Música da Universidade de Jyvaskyla, na Finlândia. Em 2007 este

foi escolhido pela academia Finlandesa como um CoE (Centre of Excellence). Este centro estava também

participando de um projeto chamado Tuning your Brain for Music, apelidado de “BrainTuning”,

(www.braintuning.fi) financiado pela NEST (New and Emerging Science and Technology) da Comissão

Européia de Pesquisa, projeto: FP6-2004-NEST-PATH-028570. O Braintuning contava com a

participação de pesquisadores de cinco universidades Européias e uma universidade Canadense, todos

interessados na investigação de como o cérebro percebe, aprende e interpreta a informação musical.

Durante este período o autor ampliou seus conhecimentos sobre cognição e emoção musical,

desenvolvendo também diversos descritores contextuais para análise de trechos músicas. Participou e

publicou trabalhos científicos em importantes congressos da área, como International Conference on

Music Information Retrieval (ISMIR) [30], o 10th International Conference on Music Perception and

Cognition (ICMPC 10) [29] e o Expressivity in MUsic and Speech (EMUS) [26], entre outros [27,28].

Durante este período, o autor pôde perceber como esta área de pesquisas está em grande

Estudo e Desenvolvimento de Descritores Simbólicos e Acústicos para Síntese Sonora e Performance Musical 9
efervescência acadêmica internacional. No entanto, aqui no Brasil, ainda não existe um centro de pesquisa

envolvido diretamente no desenvolvimento de novas ferramentas computacionais para o estudo da

percepção, cognição e emoção associada à música e sua aplicação em processos sonoros, tal como a

síntese e a performance musical. O autor voltou para o Brasil a fim de prestar Concurso público para a

carreira de pesquisador (PQ) do NICS (Núcleo Interdisciplinar de Comunicação Sonora). Sendo

aprovado, foi contratado como pesquisador na referida carreira, em Setembro de 2008. Como o NICS já

possui uma sólida tradição na pesquisa em Computação Musical, este projeto também pretende viabilizar

a formação no NICS de um grupo de pesquisa na área de pesquisas em cognição e emoção musical, com

o intuito de publicar na área de cognição musical, desenvolver estudos relevantes e se associar a centros

de pesquisa afins, no Brasil e exterior.

Formulação detalhada da pesquisa

O detalhamento deste projeto de pesquisa é apresentado a seguir através da pormenorização de cada uma

de suas quatro etapas fundamentais, que serão desenvolvidas ao longo de quatro anos.

1) Pesquisa bibliográfica
Iniciaremos com uma ampla pesquisa bibliográfica sobre a área de cognição e emoção musical. Já existe

alguma movimentação acadêmica despontando no Brasil, com trabalhos publicados tais como aqueles

organizados em [18], mas ainda não se tem notícia de pesquisa nacional voltada ao desenvolvimento de

ferramentas e coletas de dados fisiológicos e comportamentais associados aos aspectos cognitivos e

emocionais da escuta musical, nem tampouco de suas aplicações à síntese sonora e a performance

musical, sejam estes ligados a sonologia ou qualquer outra vertente da computação musical. Para isso

teremos que importar diversos livros e outros materiais didáticos (DVDs, CDs, softwares, apostilas, etc.)

ampliar o campo conceitual da temática em estudo e organizar todo esse conhecimento de uma maneira

clara, objetiva e didática.

Também nesta fase iremos estudar a literatura sobre a metodologia para a coleta e classificação

dos dados fisiológicos e comportamentais. A literatura menciona três principais modelos de catalogação

Estudo e Desenvolvimento de Descritores Simbólicos e Acústicos para Síntese Sonora e Performance Musical 10
da cognição evocada pela música: 1) categórico: inicialmente proposto em [19], que descreve aspectos

afetivos da cognição musical, em termos de uma lista de categorias afetivas pré-definidas [20]. 2)

dimensional: proposto em [21], onde é sugerido que todos os aspectos afetivos podem ser descritos por

coordenadas, dispostos num plano cartesiano, onde os eixos são dados por dimensões afetivas

elementares e não-relacionadas [22]. 3) processo componente: proposto em [23] onde é dito que cada

aspecto é fruto da circunstância de sua ocorrência e dependente do estado mental e cognitivo do ouvinte.

No modelo dimensional as dimensões normalmente utilizadas são: Arousal (de relaxado a atento) e

Valência (de positiva a negativa). Em [24] tem-se um exemplo de sua utilização, onde a cognição musical

dinâmica dessas dimensões foi medida ao longo do tempo para diversas peças musicais e depois descrita

através de um modelo linear utilizando cinco descritores musicais.

O trabalho desta fase culminará na organização de um livro, em português, acompanhado de mídia

digital (CD ou DVD) com diversos exemplos sonoros e algoritmos musicais, escritos em linguagem de

código-livre, como o Pd, o qual iremos apresentar para ser publicado através de uma editora acadêmica,

tal como a editora da Unicamp e, eventualmente, com o apoio da FAPESP.

2) Coleta de dados comportamentais

Para sua execução, este projeto precisará coletar dados comportamentais gerados por indivíduos

escutando (ou ouvindo) música. Estes dados virão das respostas fisiológicas voluntárias e involuntárias

dos indivíduos ouvintes e serão coletados de maneira não invasiva, sem apresentar riscos à saúde, de

qualquer ordem ou espécie. Chamamos de respostas voluntárias àquelas dadas pelos indivíduos através do

preenchimento de questionários, após a audição de um trecho musical, contendo perguntas sobre aspectos

gerais da música (ex: se o indivíduo ouvinte considerou o trecho musical escutado de caráter alegre ou

triste, com ou sem pulso musical, etc.) ou pela graduação contínua de um dado aspecto musical enquanto

se escuta o trecho musical. Isto pode ser feito através de um dispositivo de controle deslizante conectado

a um computador que alimente um programa coletor de dados. Desse modo pode-se escutar um trecho

musical e ao mesmo tempo graduar um aspecto musical específico (ex: variação de andamento, variação

da complexidade musical, densidade de eventos musicais, etc.). Esses tipos de dados voluntários

Estudo e Desenvolvimento de Descritores Simbólicos e Acústicos para Síntese Sonora e Performance Musical 11
costumam estar mais relacionados aos aspectos cognitivos musicais. Já os aspectos afetivos, evocados

pela escuta musical, precisam ser medidos por meio de sinais fisiológicos involuntários, ou seja, aqueles

cujo indivíduo não tem controle consciente. Sigmund Freud, em [25] disse que “os afetos só podem ser

identificados, analisados e interpretados nas chaves de suas inervações”. Tal frase sugere que os aspectos

afetivos podem ser acessados através da medição de reações fisiológicas involuntárias a estes

relacionados. Nesta etapa iremos coletar os dados fisiológicos e medir suas variações involuntárias que já

constam na literatura como estando relacionadas a variações afetivas da psicologia humana.

Muitas dessas medidas já são conhecidas de longa data e utilizadas em instrumentos como

polígrafos (detectores de mentira), que coletam e analisam dados fisiológicos involuntários para verificar

as reações emocionais dos indivíduos. Tais reações fisiológicas involuntárias são dadas pela variação de:

batimento cardíaco, pressão arterial, ritmo respiratório, sudorese, resistência galvânica da pele ou GSR

(galvanic skin response), dilatação de pupila, peristaltismo e outros. Atualmente existem diversos centros

de pesquisas internacionais estudando cognição e emoção musical através de medições em tempo real de

biosinais tais como: ECG (eletro-cardiograma), EEG (eletro-encefalograma) e até imagens de atividade

cerebral por meio de ressonância magnética nuclear (MRI).

Para a consecução desta etapa, iremos adquirir um equipamento profissional para realizar tais

medidas. Uma opção de equipamento que vem sendo utilizada por diversos centros de renome europeus,

de pesquisa em cognição e emoção musical, tais como, o Catalan Institute of Advanced Research

(ICREA), em Barcelona, e o Interdisciplinary Centre for Computer Music Research, SoCCE, Plymouth

University, UK, é o MOBIlab+, da g.tec, (Guger Technologies) OEG, localizada em Graz, na Áustria (ver

link do produto: www.gtec.at/products/g.MOBIlab/gMOBIlab.htm). Este é um equipamento portátil de

aquisição de sinais fisiológicos (biosinais) contendo seis canais para diferentes tipos de biosinais (quatro

para EEG, dois para ECG) e duas entradas analógicas para sensores externos. Os dados coletados podem

ser enviados de modo wireless (sem fio) através de uma conexão bluetooth, em tempo-real, para um

computador. Isto permite a investigação dinâmica de atividades fisiológicas no cérebro, coração,

músculos, movimento dos olhos, respiração, resposta galvânica da pele (GSR), pulso, entre outros.

Estudo e Desenvolvimento de Descritores Simbólicos e Acústicos para Síntese Sonora e Performance Musical 12
Havendo a necessidade e a possibilidade, também consideramos nessa fase desenvolver nossos próprios

equipamentos para aquisição de biosinais. Se assim fizermos, tais equipamentos poderão ser calibrados

em confronto aos dados do MOBIlab bem como motivar o desenvolvimento de novas soluções de coleta

de biosinais ainda faltantes nesse equipamento, o que implicará em novos pedidos de patentes.

3) Implementação dos Descritores

O desenvolvimento dos descritores deverá, a princípio, proceder de maneira similar ao método de

desenvolvimento utilizado no período de PosDoc do autor, no grupo de cognição musical da universidade

de Jyvaskyla, Finlândia. Neste centro de pesquisa o autor desenvolveu descritores para a extração da

sensação de alegria (e tristeza) em música [26,27], para a extração da noção de complexidade da

harmônia musical [28,29], para a clareza de pulso musical [30]. Diversos outros descritores serão

desenvolvidos com base nesses e outros estudos e pesquisas recentes em cognição musical. Os dados

comportamentais coletados na fase anterior serão aqui utilizados para direcionar o desenvolvimento dos

novos descritores através da correlação entre os dados comportamentais coletados na fase anterior e as

predições dos algoritmos desenvolvidos para a simulação dos descritores.

Podemos utilizar o MATLAB (www.mathworks.com) para simular tais algoritmos. O MATLAB é uma

ferramenta padrão para o desenvolvimento de sistemas matemáticos. Existe uma versão em código-livre

deste programa que se chama OCTAVE. (www.gnu.org/software/octave/) Iremos também averiguar a

utilização do OCTAVE, por ser gratuito e de código livre. Uma vez de posse de algoritmos otimizados e

apresentando alto grau de correlação com os dados comportamentais, iremos portá-los para sistemas que

funcionem em tempo-real. Para tal pretendemos usar o Pd, conforme mencionado anteriormente, a

linguagem de programação de sistemas sonoros e de multimídia, com processamento em tempo-real, que

é de código-livre, gratuita e multi-plataforma (com versões para MAC OS, Windows, e Linux). Também

pretendemos estudar a utilização do hardware de código livre chamado Arduino (www.arduino.cc),

programado em linguagem Wiring (www.wiring.org.co/) para realizar tarefas específicas que exijam

tempo-real e que não possam ser alcançadas somente pelo uso do Pd, ou que necessitem de aquisição

dinâmica de biosinais durante performances musicais.

Estudo e Desenvolvimento de Descritores Simbólicos e Acústicos para Síntese Sonora e Performance Musical 13
Uma vez que tenhamos os descritores desenvolvidos e testados, iremos entrar com pedidos de patentes

sobre os métodos originais de extração de aspectos cognitivos e afetivos musicais. Faremos isso através

da agência de inovação da Unicamp, a Inova (www.inova.unicamp.br).

4) Aplicações em Síntese Sonora e Performance Musical

De posse das aplicações desenvolvidas em P d e, possivelmente, em Arduino, iremos utilizar os

descritores para orientar processos de síntese sonora. Pela experiência que tivemos com a aplicação de

algoritmos evolutivos em processos de síntese, iniciaremos o estudo da aplicação através deste método, e

sua utilização para a criação de paisagens sonoras sintéticas, tal como descrito em [31]. Posteriormente

testaremos os descritores em outros processos de síntese, tal como a síntese granular [32], que se baseia

no conceito de “grãos sônicos”, e cujo encadeamento micro-temporal descreve uma prosódia sonora.

Estes dois métodos de síntese (evolutiva e granular) parecem apresentar as características metodológicas

adequadas para sua utilização com descritores, na confecção automática de texturas timbrísticas,

orientadas por aspectos cognitivos musicais.

Como estes serão processos musicais capazes de atuar em tempo-real, o passo seguinte será sua

utilização em performances artísticas e musicais, e testados em eventos culturais ainda por serem

definidos.

Ao final deste projeto, queremos registrar os resultados musicais e artísticos alcançados através da

confecção de um DVD narrando toda a experiência adquirida durante seu desenvolvimento, indo desde a

aquisição e catalogação de dados comportamentais, o criação dos descritores, a implementação de

sistemas de síntese e performance, e suas utilizações em performances musicais. Este material conterá o

registro filmográfico das performances musicais, bem como de todo o trajeto do desenvolvimento deste

projeto. Este DVD poderá vir acompanhado por um livro ou apostila contendo os detalhes mais técnicos

do projeto e artigos de referência para fomentar futura pesquisa na área.

Estudo e Desenvolvimento de Descritores Simbólicos e Acústicos para Síntese Sonora e Performance Musical 14
 Objetivos
Os objetivos deste projeto estão detalhados a seguir, de acordo com cada etapa. Na fase inicial, de

pesquisa bibliográfica, o objetivo será o estudo do tema, culminando na criação e publicação de material

didático (livro), em português. Na segunda fase, da medição de dados comportamentais, o objetivo será

o desenvolvimento de pesquisa inédita através da coleta e análise de dados fisiológicos, voluntários e

involuntários, e sua correspondência com a cognição e emoção constatada e sentida através da escuta

musical. Na terceira fase o objetivo será o desenvolvimento dos descritores e a conseqüente elaboração

dos pedidos de patentes para todos os descritores desenvolvidos. Na quarta e última fase, onde

implementaremos a aplicação dos descritores em síntese e performance musical, o objetivo será o

desenvolvimento de equipamentos de hardware (Arduino, Interfaces para medição de dados fisiológicos)

e software, sua utilização em eventos culturais, em performances artísticas e musicais. O projeto será

finalizado com a edição de um DVD acompanhado de livro ou apostila, contendo o registro filmado do

desenvolvimento deste projeto e dos resultados científicos e musicais alcançados.

Plano de trabalho
Conforme mencionado, o plano de trabalho se divide em quatro etapas que serão realizadas de maneira

aproximadamente seqüencial, ao longo de quatro anos de pesquisa, havendo a possibilidade de se

interseccionarem etapas, de acordo com as necessidades apresentadas ao longo da trajetória deste projeto.

Para cada fase descrita acima, haverá a necessidade de aquisição de materiais específicos e, muito

possivelmente, de um conjunto de alunos de iniciação científica para cada fase. Durante todo o projeto,

iremos publicar trabalhos científicos relacionados ao desenvolvimento da pesquisa que serão,

principalmente, enviados para jornais e revistas indexadas da área, tais como: CMJ (Computer Music

Journal), Leonardo Music Journal, JNMR (Journal of New Music Research) e a revista brasileira OPUS

da ANPPOM, entre outras. O diagrama a seguir ilustra as fases do plano de trabalho deste projeto.

Estudo e Desenvolvimento de Descritores Simbólicos e Acústicos para Síntese Sonora e Performance Musical 15
 Pesquisa Coleta de Dados Implementação Aplicações em
Bibliográfica Comportamentais dos Descritores Síntese Sonora e
Performance Musical

Publicação Publicação de Artigos Publicação

de um Livro de um DVD

Figura 2. Diagrama do plano de trabalho deste projeto.

Cronograma de execução do projeto

O cronograma aproximado de atividades referentes à execução deste projeto é dado pela tabela abaixo:

Fase Descrição Duração

Levantamento bibliográfico, estudo e organização do material

1) Pesquisa
didático, edição de um livro nacional (em Português) sobre o 12 meses
bibliográfica
tema desta pesquisa.

Aquisição e análise estatística de dados fisiológicos (biosinais)

2) Coleta de dados ligados à cognição e emoção evocada em ouvintes (e

12 meses
comportamentais instrumentistas) pela escuta e produção de música. Criação dos

ground-truths para o desenvolvimento dos descritores.

Criação dos modelos computacionais para a predição dos

3) Desenvolvimento aspectos musicais relacionados à cognição musical e sua

12 meses
dos Descritores resposta afetiva. Aplicação para pedidos de patentes dos

descritores desenvolvidos. Publicação de trabalhos acadêmicos.

Estudo e Desenvolvimento de Descritores Simbólicos e Acústicos para Síntese Sonora e Performance Musical 16
 Criação e desenvolvimento de hardware de baixo custo para o

monitoramento dos biosinais relacionados à cognição e emoção

4) Aplicações em musical e software para sua aquisição em tempo-real e

Síntese Sonora e utilização em processos artísticos tais como a síntese sonora 12 meses

Performance Musical orientada por descritores e performances musicais guiadas por

biosinais. Publicação de trabalhos acadêmicos. Publicação de

um DVD com os resultados artísticos alcançados.

Material e métodos experimentais

Cada fase necessitará da aquisição de material específico, conforme é descrito na tabela abaixo:

Custo aproximado
Fase Material e métodos
(milhares de R$)

Importação de livros e material de multimídia afim

(eBooks, artigos, DVDs, CDs, etc.), Computador para

1) Pesquisa
uso geral (organização do material, digitação dos 15
bibliográfica
textos). Custos relacionados à publicação do livro (arte

gráfica, revisão, diagramação, etc.).

Aquisição de equipamentos profissionais para coleta e

análise de dados fisiológicos (MOBIlab+) e/ou

desenvolvimento de equipamentos para coletar

2) Coleta de dados
55
biosinais. Computador para aquisição dos dados do
comportamentais
equipamento. Ferramentas de software para análise

estatística (ex: Statistica) e coleta de dados (ex:

Max/MSP). Materiais diversos (fones de ouvidos,

interfaces para aquisição de dados discretos e

Estudo e Desenvolvimento contínuos,

de Descritorescabos e conectores,
Simbólicos e Acústicosetc.).
para Síntese Sonora e Performance Musical 17
 interfaces para aquisição de dados discretos e

contínuos, cabos e conectores, etc.).

Computador de alta performance para o

3) Desenvolvimento
desenvolvimento e simulação dos modelos 10
dos Descritores
computacionais dos descritores.

Placas de hardware Arduino BT (bluetooth) para

comunicação wireless e desenvolvimento de interfaces

coletoras de biosinais (ex: ECG e GSR). Computador

4) Aplicações em
para coleta e análise dos biosinais e utilização em
Síntese Sonora e
performances musicais. Interfaces de áudio 20
Performance
profissional e multimídia. Custeio da criação e
Musical
publicação do DVD (filmagens, edição de imagens,

arte gráfica, editoração, impressão da mídia e material

gráfico, etc.).

Valor Total: 100

Dada a extensão temporal do projeto (quatro anos) e possíveis variações de custos de equipamentos e mão

de obra especializada, estes valores podem variar. Também é possível que haja a necessidade de transferir

valores alocados de um item para outro, a fim de manter o valor total do projeto o máximo possível

dentro do seu orçamento originalmente proposto.

Forma de análise dos resultados

A forma de análise dos resultados deste projeto deve-se basear nos resultados alcançados em cada fase da

pesquisa, ou seja, pela análise da: 1) Publicação de material didático, em português, sobre o tema

estudado para esta pesquisa, 2) Publicações em jornais e revistas científicas da área. 3) Pedidos de

patentes dos descritores simbólicos e acústicos. 4) Apresentação dos resultados alcançados em congressos

Estudo e Desenvolvimento de Descritores Simbólicos e Acústicos para Síntese Sonora e Performance Musical 18
da área. 5) Desenvolvimento de protótipos de hardware e software para síntese sonora e performances

musicais utilizando os descritores desenvolvidos. 6) Publicação do DVD com os resultados artísticos e

musicais do projeto.

Em particular, o resultado alcançado com o desenvolvimento dos descritores deve seguir o mesmo

princípio adotado no último PosDoc do autor, ou seja, os resultados das predições dos descritores serão

verificadas através de análise estatística em comparação aos respectivos dados fisiológicos coletados nos

experimentos comportamentais. Os coeficientes de correlação entre os dados comportamentais

normalizados e as predições dos correspondentes descritores irão assim fornecer as bases de medida e

validação dos resultados experimentais da implementação dos descritores.

Bibliografia
1. Leman, M., Vermeulen, V., De Voogdt, L., Moelants, D., & Lesaffre, M.. Correlation of Gestural Musical Audio
Cues. Gesture-Based Communication in Human-Computer Interaction:5th International Gesture Workshop, GW
2003, 40-54. (2004)

2. M. Lesaffre et al., "User-Dependent Taxonomy of Musical Features as a Conceptual Framework for Musical Audio-
Mining Technology," Proc. Stockholm Music Acoustics Conf., Royal Inst. of Technology (KTH) , pp. 635-638,
(2003)

3. Herrera et. al., Perfecto Herrera, Xavier Serra, Geoffroy Peeters. Audio descriptors and descriptors schemes in the
context of MPEG-7. Proceedings of the 1999 ICMC, Beijing, China, October (1999).

4. G. Peeters and X. Rodet. Automatically selecting signal descriptors for Sound Classification. In Proceedings of the
International Computer Music Conference, pages 455--458, Göteborg, Sweden, September 16-21 (2002).

5. Pachet, F., & Zils, A. Evolving automatically high-level music descriptors. In U.K. Wiil (Ed.), In Computer Music
Modeling and Retrieval, Lecture Notes in Computer Science (LNCS) (Vol. 2771, pp. 42-53). Heidelberg: Springer-
Verlag. (2003).

6. Pachet, F. and Zils, A. Automatic Extraction of Music Descriptors from Acoustic Signals, Proceedings of Fifth
International Conference on Music Information Retrieval (ISMIR04), Barcelona, (2004).

7. Verschure, P. F. M. J. Distributed Adaptive Control: Explorations in robotics and the biology of learning ,
Informatik/Informatique(1) 25-29, (1998).

8. Schubert, E.: Measuring emotion continuously: Validity and reliability of the two-dimensional emotion space. Aust. J.
Psychol., vol. 51, no. 3, pp. 154–165. (1999)

9. Korhonen, M., Clausi, D., Jernigan, M.: Modeling Emotional Content of Music Using System Identification. IEEE
Transactions on Systems, Man and Cybernetics. Volume: 36, Issue: 3, pages: 588- 599. (2006)

10. Huron, D., Sweet Anticipation: Music and the Psychology of Expectation. MIT Press. ISBN-10: 0-262-08345-0. May
(2006).

11. Leman et al., in Gesture-Based Communication in Human-Computer Interaction, (2004).

Estudo e Desenvolvimento de Descritores Simbólicos e Acústicos para Síntese Sonora e Performance Musical 19
12. J. Slodoba, Individual differences in music performance. Trends in Cognitive Sciences, Volume 4, Issue 10, Pages
397-403. (2000).

13. C. Palmer, Music Performance. Annual Review of Psychology. 48:115-38. (1997).

14. A. Friberg, R. Bresin, J. Sundberg, Overview of the KTH rule system for music performance. Advances in
Experimental Psychology, special issue on Music Performance, 2(2-3), 145-161. (2006).

15. N.P.M. Todd. A computational model of Rubato. Contemporary Music Review, 3, 69–88. (1989).

16. G. Mazzola, S. Göller. Performance and interpretation. Journal of New Music Research, 31, 221–232. (2002).

17. G. Widmer, S.E. Dixon, W. Goebl, E. Pampalk, A. Tobudic, In: Search of the Horowitz factor. AI Magazine, 24,
111–130. (2003).

18. Beatriz S. Ilari. Em busca da mente musical: ensaio sobre os processos cognitivos em música. Colaboradores Beatriz
Raposo de Medeiros [et. al.]. Curitiba. Ed. Da UFPR, ISBN 8573351403. (2006).

19. Ekman, P.: An argument for basic emotions. Cognition & Emotion, 6 (3/4): 169–200, (1992).

20. Juslin, P. N., & Laukka, P.: Communication of emotions in vocal expression and music performance: Different
channels, same code? Psychological Bulletin(129), 770-814. (2003).

21. Russell, J.A.: Core affect and the psychological construction of emotion. Psychological Review Vol. 110, No. 1, 145-
172. (2003).

22. Laukka, P., Juslin, P. N., & Bresin, R.: A dimensional approach to vocal expression of emotion. Cognition and
Emotion, 19, 633-653. (2005).

23. Scherer, K. R., & Zentner, K. R.: Emotional effects of music: production rules. In J. P. N. & J. A. Sloboda (Eds.),
Music and emotion: Theory and research (pp. 361-392). Oxford: Oxford University Press. (2001).

24. Schubert, E.: Measuring emotion continuously: Validity and reliability of the two-dimensional emotion space. Aust. J.
Psychol., vol. 51, no. 3, pp. 154–165. (1999).

25. Freud S. Estudos sobre histeria. In: Edição Standard brasileira das obras completas de Sigmund Freud. Rio de Janeiro:
Imago; p. 13-59. Vol. II. (1895).

26. J. Fornari, T. Eerola. Prosody of Expressivity in Music and Speech. Expressivity in MUsic and Speech - EMUS.
AGORA contemporary Music Festival. Paris, France. (2008).

27. J. Fornari, T. Eerola. The pursuit of happiness in music: retrieving valence with high-level musical descriptors.
Computer Music Modeling and Retrieval - CMMR. Copenhagen, Denmark. (2008).

28. J. Fornari, T. Eerola. Automatic Estimation of Harmonic Complexity. Audio Engineering Society Brazil Section - AES
Brasil. Sao Paulo, Brasil. (2008).

29. J. Fornari, T. Eerola. Estimating the Perception of Complexity in Musical Harmony. The 10th International
Conference on Music Perception and Cognition - ICMPC 10. Sapporo, Japan. (2008).

30. O. Lartillot, T. Eerola, P. Toiviainen, J. Fornari. An Integrated Framework for Onset Detection, Tempo Estimation
and Pulse Clarity Prediction. Ninth International Conference on Music Information Retrieval. ISMIR 2008.
Philadelphia, USA, (2008).

31. J. Fornari, J. Manzolli, A. Maia Jr. Soundscape Design through Evolutionary Engines. Special Issue of "Music at the
Leading of Computer Science". JBCS - Journal of the Brazilian Computer Society - ISSN 0104-6500. (2008).

32. Roads, Curtis. Microsound. Cambridge: MIT Press. ISBN 0-262-18215-7. (2001).

Estudo e Desenvolvimento de Descritores Simbólicos e Acústicos para Síntese Sonora e Performance Musical 20