2023
Interação Multimodal
Nome: Interação Multimodal
Cód.: INF13275M
6 ECTS
Duração: 15 semanas/156 horas
Área Científica:
Informática
Língua(s) de lecionação: Português, Inglês
Língua(s) de apoio tutorial: Português, Inglês
Regime de Frequência: E-learning
Objetivos de Desenvolvimento Sustentável
Objetivos de Aprendizagem
O objetivo da UC Interação Multimodal é estudar novas formas de interação Pessoa-Máquina, bem como o desenho de sistemas que combinam várias dessas técnicas, proporcionando ao utilizador uma experiência mais natural e intuitiva. Os alunos começam por aprender conceitos base da interação, abordando em seguida modelos e técnicas para a implementação de tais formas de interação, e ainda para a adequada integração de múltiplas modalidades de interação.
Conteúdos Programáticos
Conceitos de interação Pessoa-Máquina
Modalidades de Interação
Fala e escrita como interface
Síntese de voz
Reconhecimento de fala
Reconhecimento de escrita
Interfaces tangíveis
Visão por computador: noções de processamento de imagem (features, filtros, limites), deteção automática, reconhecimento e seguimento
Arquitetura de Sistemas com Interação Multimodal e abordagens para a combinação de modalidades
Perspetivas de desenvolvimento futuro na área de Interfaces Pessoa-Máquina
casos de estudo recentes com Deep Learning em processos de interação Pessoa-Máquina ou Ambiente-Máquina
Modalidades de Interação
Fala e escrita como interface
Síntese de voz
Reconhecimento de fala
Reconhecimento de escrita
Interfaces tangíveis
Visão por computador: noções de processamento de imagem (features, filtros, limites), deteção automática, reconhecimento e seguimento
Arquitetura de Sistemas com Interação Multimodal e abordagens para a combinação de modalidades
Perspetivas de desenvolvimento futuro na área de Interfaces Pessoa-Máquina
casos de estudo recentes com Deep Learning em processos de interação Pessoa-Máquina ou Ambiente-Máquina
Métodos de Ensino
O ensino inclui
aulas teóricas
aulas práticas laboratoriais
Nas aulas teóricas são apresentados os conceitos de Interação Multimodal e as arquiteturas típicas de processamento de uma modalidade e de agregação de várias modalidades. Nas aulas práticas realizam-se experiências com ferramentas específicas para uma ou mais modalidades de interação.
As últimas aulas são dedicadas à implementação de um projeto em grupo, onde os alunos aplicam técnicas aprendidas na disciplina para conceber um sistema complexo.
Avaliação:
Projeto de complexidade elevada (50%)
Prova Escrita (50%)
aulas teóricas
aulas práticas laboratoriais
Nas aulas teóricas são apresentados os conceitos de Interação Multimodal e as arquiteturas típicas de processamento de uma modalidade e de agregação de várias modalidades. Nas aulas práticas realizam-se experiências com ferramentas específicas para uma ou mais modalidades de interação.
As últimas aulas são dedicadas à implementação de um projeto em grupo, onde os alunos aplicam técnicas aprendidas na disciplina para conceber um sistema complexo.
Avaliação:
Projeto de complexidade elevada (50%)
Prova Escrita (50%)
Bibliografia
Tangible User Interfaces: Past, Present, and Future Directions
Orit Shaer, Eva Hornecker
Now Publishers Inc, 2010
Computer Vision: Algorithms and Applications
Richard Szeliski
Microsoft Research, 2010
Speech Recognition
France Mihelic and Janez Zibert
InTech, 2008
ISBN 978-953-7619-29-9
User Interface Principles For Multimodal Interaction
T. V. Raman
IBM Research
Orit Shaer, Eva Hornecker
Now Publishers Inc, 2010
Computer Vision: Algorithms and Applications
Richard Szeliski
Microsoft Research, 2010
Speech Recognition
France Mihelic and Janez Zibert
InTech, 2008
ISBN 978-953-7619-29-9
User Interface Principles For Multimodal Interaction
T. V. Raman
IBM Research
Equipa Docente
- José Miguel Gomes Saias [responsável]
