Estratégias para Treinamento de Redes Neurais Profundas
Ministrante(s):

Prof. Dr. Moacir Antonelli Ponti (ICMC/USP)

Resumo

Treinar redes neurais profundas pode ser desafiador em dados do mundo real. Utilizar modelos como caixas-pretas, mesmo com transferência de aprendizado, pode resultar em uma generalização fraca ou resultados inconclusivos quando se trata de conjuntos de dados pequenos ou aplicações específicas. Este tutorial abrange os passos básicos, bem como opções mais recentes para melhorar os modelos, em particular aprendizado auto-supervisionado e uso de backbones fortes. Isso pode ser especialmente útil em conjuntos de dados que não estão tão bem preparados quanto os desafios e também em cenários com pouca anotação e/ou poucos dados. Descrevemos procedimentos básicos, como preparação de dados, otimização e transferência de aprendizado, mas também escolhas arquitetônicas recentes.

Bibliografia:

  • Ponti MA, dos Santos FP, Ribeiro LS, Cavallari GB. Training Deep Networks from Zero to Hero: avoiding pitfalls and going beyond. In2021 34th SIBGRAPI Conference on Graphics, Patterns and Images (SIBGRAPI) 2021 Oct 18 (pp. 9-16). IEEE.
  • Ponti, M.A., Ribeiro, L.S.F., Nazare, T.S., Bui, T. and Collomosse, J., 2017, October. Everything you wanted to know about deep learning for computer vision but were afraid to ask. In 2017 30th SIBGRAPI conference on graphics, patterns and images tutorials (SIBGRAPI-T) (pp. 17-41). IEEE.
  • Zhang, A., Lipton, Z.C., Li, M. and Smola, A.J., 2021. Dive into deep learning. arXiv preprint arXiv:2106.11342.

Sobre o Ministrante

Data Science Expert no Mercado Livre, e Professor Associado 3 em tempo parcial no Instituto de Ciências Matemáticas e de Computação da Universidade de São Paulo (ICMC/USP). É Livre-Docente pela mesma instituição. Atuou como pesquisador visitante no Centre for Vision, Speech and Signal Processing (CVSSP), Universidade de Surrey em 2016-2017. Recebeu o Google Latin America Research Award em 2017. Co-autor do livro Machine Learning (2018, Springer). Possui Doutorado em Biotecnologia (2008) e Mestrado em Ciência da Computação (2004) pela Universidade Federal de São Carlos. Suas linhas de pesquisa incluem Aprendizado de Máquina, Processamento de Sinais, Imagens e Video. Desenvolve pesquisa em aprendizado profundo (deep learning), aprendizado de representações para múltiplos domínios e qualidade de dados para aprendizado de máquina.

Currículo lattes: http://lattes.cnpq.br/5041497500746910

Não perca esta oportunidade!