Modelos de Língua Neurais, que constituem a "espinha dorsal" de ferramentas como o ChatGPT e BARD, têm alcançado o estado-da-arte em diversas tarefas de Processamento de Linguagem Natural. Recentemente, tais modelos também têm sido usados para outros tipos de dados de entrada, como áudio, código computacional e imagens. Ademais, a disponibilização de Interfaces de Programação de Aplicações (APIs) e hubs de treinamento e de dados têm levado a escala de utilização de tais modelos para um outro patamar. Neste curso, exploraremos alguns conceitos por trás da criação destes modelos, como as arquiteturas baseadas em Transformers e o treinamento e ajuste dos modelos para problemas específicos, com um foco na língua portuguesa. Veremos ainda como utilizar o framework HuggingFace para utilização e ajuste de modelos. Também discutiremos as limitações técnicas e sociais das tecnologias que se valem de modelos de língua para construir agentes de conversação.
Aline Paes é professora associada do Instituto de Computação da Universidade Federal Fluminense (UFF). É mestre e doutora em Engenharia de Sistemas e Computação, com ênfase em Inteligência Artificial, pela COPPE-Sistemas, UFRJ, tendo feito estágio de doutoramento (sanduíche) por um ano no Imperial College London, UK. Atualmente, é Jovem Cientista do Nosso Estado pela FAPERJ e bolsista de produtividade nível 2 do CNPq. Aline Paes atua na área de Inteligência Artificial, com interesses e contribuições nos seguintes temas: aprendizado de máquina, integrado a técnicas neurais, estatísticas e lógicas, aprendizado de representações para linguagem natural, adaptação de modelos e aprendizado por transferência, IA explicável e IA para bem-estar social. Tem publicado artigos regularmente em um dos principais periódicos da área de Aprendizado de Máquina (Machine Learning Journal), dentre outros, e em conferências nacionais e internacionais da área de Inteligência Artificial. Faz parte do comitê editorial do Machine Learning Journal, da Revista Iberoamericana de Inteligência Artificial e do Journal of Brazilian Computer Society. Participa regularmente do comitê de programa de alguns dos principais congressos internacionais da área de Inteligência Artificial, além de ser revisora ad-hoc de diversos periódicos internacionais. Já coordenou/coordena projetos de pesquisa aprovados por órgãos de fomento, incluindo dois Projetos Universais CNPq, um Projeto "APQ1 FAPERJ" e dois projetos "Jovem Cientista do Nosso Estado FAPERJ", todos na área de Inteligência Artificial. Desde 2020, faz parte do Grupo Brasileiras em PLN. Em 2023, foi professora visitante no Grupo de NLP da University of Sheffield, com bolsa do projeto CAPES-PRINT.
Currículo lattes: http://lattes.cnpq.br/0506389215528790