Evolução dos Modelos de Linguagem
Ministrante(s):

Profa. Dra. Renata Vieira

Ministrante(s):

MSc Joaquim Santos

Resumo

Trabalhos recentes na área de Processamento de Linguagem Natural foram impactados por sofisticados Modelos de Linguagem. Esses modelos de linguagem capturam informações do contexto em que as palavras aparecem e dos caracteres pelos quais são compostas as sentenças. Neste tutorial, falaremos sobre a evolução desses modelos de linguagem, partindo dos primeiros modelos baseados em N-gramas; passando pelos Word Embeddings, que aprendem representações vetoriais de palavras sobre um corpus de treino e finalmente os Modelos Contextuais de Linguagem. Os modelos mais recentes aprendem representações dinâmicas, sensíveis e adaptáveis ao contexto, característica fundamental para lidar com os desafios de desambiguação dos sentidos. Sobre cada tipo de ML, mostramos como eles são gerados e usados; questões de avaliação e suas principais limitações e disponibilidade de modelos para língua portuguesa.

Bibliografia:

  • Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., and Liu, P. J. (2019). Exploring the limits of transfer learning with a unified text-to-text transformer. Computing research repository - arXiv, abs/1910.10683:53.
  • Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D. M., Wu, J., Winter, C., Hesse, C., Chen, M., Sigler, E., Litwin, M., Gray, S., Chess, B., Clark, J., Berner, C., McCandlish, S., Radford, A., Sutskever, I., and Amodei, D. (2020). Language models are few-shot learners. Computing research repository - arXiv, abs/2005.14165:75.
  • Devlin, J., Chang, M., Lee, K., and Toutanova, K. (2019). BERT: pre-training of deep bidirectional transformers for language understanding. In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 4171–4186.
  • Mikolov, T., Karafi ́at, M., Burget, L., Cernock ́y, J., and Khudanpur, S. (2010). Recurrent neural network based language model. In Proceedings of the 11th Annual Conference of the International Speech Communication Association, pages 1045–1048.

Sobre os Ministrantes

Renata Vieira possui título de PhD em Informática pela University of Edinburgh (1998). Atua na área de inteligência computacional, com ênfase em processamento de linguagem natural, representação do conhecimento, ontologias, agentes e web semântica. Possui experiência em coordenação de projetos inter-institucionais e internacionais, e participa em diversos comitês de programa de eventos científicos nacionais e internacionais (STIL, BRACIS, PROPOR, LREC, FLAIRS, FOIS, IJCAI, ACL). Participou da criação da Comissão Especial de PLN da Sociedade Brasileira de Computação, sendo a primeira presidente dessa comissão de 2007 a 2009. Com bolsa de Pesquisador Visitante Sênior CAPES-Fulbright visitou a Universidade do Texas em Austin em 2007. Participou no comitê executivo da Association for Computational Linguistics de 2011 a 2013. Em 2017 realizou estágio pós doutoral na Universidade de Toulouse. Recebeu em duas edições consecutivas prêmio de melhor artigo no Simpósio Brasileiro de Tecnologia da Informação e Linguagem Humana. É atualmente indicada pela SBC como Conferencista Senior na área de Procesamento de Linguagem Natural. Recebeu em 2018 e 2019 o mérito Google da Améria Latina.

Currículo lattes: http://lattes.cnpq.br/6218967777630412



Joaquim Santos é Mestre em Ciência da Computação com voto de Louvor e é licenciado em Matemática. Tem trabalhado intensamente na área de Inteligência Artificial em problemas de Extração de Informação no campo do Processamento de Linguagem Natural (PLN), demonstrando resultados estado-da-arte na tarefa de Reconhecimento de Entidades Nomeadas em Português (REN). Seu trabalho de Extração de Informação tem sido aplicado em áreas como Geociências para domínio de óleo e gás; e Saúde na detecção de Eventos Adversos de Queda em prontuários eletrônicos (evoluções). Tem publicado em conferências e revistas internacionais os resultados de suas pesquisas, usando como principal abordagem estratégias de Deep Learning.

Currículo lattes: http://lattes.cnpq.br/6511667784239144

Não perca esta oportunidade!