Interação Multimodal

Cód.: INF13275M

6 ECTS

Duração: 15 semanas/156 horas

Área Científica: Informática

Língua(s) de lecionação: Português, Inglês

Língua(s) de apoio tutorial: Português, Inglês

Regime de Frequência: E-learning

Objetivos de Desenvolvimento Sustentável

Educação de qualidade - Assegurar a educação inclusiva, e equitativa e de qualidade, e promover oportunidades de aprendizagem ao longo da vida para todos.

Objetivos de Aprendizagem

O objetivo da UC Interação Multimodal é estudar novas formas de interação Pessoa-Máquina, bem como o desenho de sistemas que combinam várias dessas técnicas, proporcionando ao utilizador uma experiência mais natural e intuitiva. Os alunos começam por aprender conceitos base da interação, abordando em seguida modelos e técnicas para a implementação de tais formas de interação, e ainda para a adequada integração de múltiplas modalidades de interação.

Conteúdos Programáticos

Conceitos de interação Pessoa-Máquina
Modalidades de Interação
Fala e escrita como interface
Síntese de voz
Reconhecimento de fala
Reconhecimento de escrita
Interfaces tangíveis
Visão por computador: noções de processamento de imagem (features, filtros, limites), deteção automática, reconhecimento e seguimento
Arquitetura de Sistemas com Interação Multimodal e abordagens para a combinação de modalidades
Perspetivas de desenvolvimento futuro na área de Interfaces Pessoa-Máquina
casos de estudo recentes com Deep Learning em processos de interação Pessoa-Máquina ou Ambiente-Máquina

Métodos de Ensino

O ensino inclui
aulas teóricas
aulas práticas laboratoriais
Nas aulas teóricas são apresentados os conceitos de Interação Multimodal e as arquiteturas típicas de processamento de uma modalidade e de agregação de várias modalidades. Nas aulas práticas realizam-se experiências com ferramentas específicas para uma ou mais modalidades de interação.

As últimas aulas são dedicadas à implementação de um projeto em grupo, onde os alunos aplicam técnicas aprendidas na disciplina para conceber um sistema complexo.

Avaliação:
Projeto de complexidade elevada (50%)
Prova Escrita (50%)

Bibliografia

Tangible User Interfaces: Past, Present, and Future Directions
Orit Shaer, Eva Hornecker
Now Publishers Inc, 2010

Computer Vision: Algorithms and Applications
Richard Szeliski
Microsoft Research, 2010

Speech Recognition
France Mihelic and Janez Zibert
InTech, 2008
ISBN 978-953-7619-29-9

User Interface Principles For Multimodal Interaction
T. V. Raman
IBM Research