Exportar registro bibliográfico

Um estudo sobre algoritmos de Boosting e a otimização de hiperparâmetros utilizando optuna (2023)

  • Authors:
  • USP affiliated author: PINHEIRO, JOÃO MANOEL HERRERA - EESC
  • School: EESC
  • Sigla do Departamento: SEM
  • Subjects: APRENDIZADO COMPUTACIONAL; MODELOS DE APRENDIZAGEM
  • Keywords: Gradient boosting; Otimização dos hiperparâmetros; Estudo Empírico
  • Language: Português
  • Abstract: Este trabalho é um estudo sobre os algoritmos de Gradient Boosting Machines (GBMs), os quais são algoritmos de aprendizado de máquina supervisionado que vem obtendo excelente resultados em uma ampla gama de problemas e vencendo diversas competições de aprendizado de máquina. Neste trabalho vamos abordar três bibliotecas que implementam os GBMs, essas bibliotecas são: o XGBoost, CatBoost e LightGBM. Foi realizado um comparativo entre as técnicas e os resultados obtidos, e então partimos para a otimização dos hiperparâmetros utilizando o Optuna. Ao construir um modelo de aprendizado de máquina, a otimização de hiperparâmetros pode se tornar uma tarefa desafiadora e demorada, dependendo do número e do espaço de busca do procedimento de otimização. Definir os hiperparâmetros é uma tarefa fundamental. É necessário entender como eles afetam o resultado do modelo e a partir disso, implementamos o Optuna para os três algoritmos, um framework de otimização de hiperparâmetros. Os conjuntos de dados deste experimento são consumidos da plataforma Kaggle e OpenML. O primeiro experimento realizado foi um comparativo entre os algoritmos pelas métricas de validação e em seguida tentou-se alterar os hiperparâmetros para identificar a influência deles no modelo. Inicialmente, não foi possível obter uma conclusão. Na sequência, foi feita uma análise mais complexa pelo estudo do Optuna. Nesses resultados conseguimos identificar quais hiperparâmetros tiveram seu maior impacto na importância do estudo e se houve alterações desses hiperparâmetros em cada conjunto de dados. Além disso, foi possível melhorar todos os modelos preditivos com apenas a utilização do Optuna. E, ainda, para o modelo com a maior complexidade de previsão, o Optuna demonstrou ser eficaz e resultou em aumento de performance. Com a utilização dos Shapley Additive exPlanations (SHAP Values), conseguimos interpretar os modelos e como cada variável impactou noconjunto de treino
  • Imprenta:

  • Download do texto completo

    Tipo Nome Link
    Versão Publicada Pinheiro_JoãoManoelHerre... Direct link
    How to cite
    A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas

    • ABNT

      PINHEIRO, João Manoel Herrera. Um estudo sobre algoritmos de Boosting e a otimização de hiperparâmetros utilizando optuna. 2023. Trabalho de Conclusão de Curso (Graduação) – Escola de Engenharia de São Carlos, Universidade de São Paulo, São Carlos, 2023. Disponível em: https://bdta.abcd.usp.br/directbitstream/6962846b-66bd-4bd6-9f74-2b18bff03234/Pinheiro_Jo%C3%A3oManoelHerrera_tcc.pdf. Acesso em: 28 mar. 2024.
    • APA

      Pinheiro, J. M. H. (2023). Um estudo sobre algoritmos de Boosting e a otimização de hiperparâmetros utilizando optuna (Trabalho de Conclusão de Curso (Graduação). Escola de Engenharia de São Carlos, Universidade de São Paulo, São Carlos. Recuperado de https://bdta.abcd.usp.br/directbitstream/6962846b-66bd-4bd6-9f74-2b18bff03234/Pinheiro_Jo%C3%A3oManoelHerrera_tcc.pdf
    • NLM

      Pinheiro JMH. Um estudo sobre algoritmos de Boosting e a otimização de hiperparâmetros utilizando optuna [Internet]. 2023 ;[citado 2024 mar. 28 ] Available from: https://bdta.abcd.usp.br/directbitstream/6962846b-66bd-4bd6-9f74-2b18bff03234/Pinheiro_Jo%C3%A3oManoelHerrera_tcc.pdf
    • Vancouver

      Pinheiro JMH. Um estudo sobre algoritmos de Boosting e a otimização de hiperparâmetros utilizando optuna [Internet]. 2023 ;[citado 2024 mar. 28 ] Available from: https://bdta.abcd.usp.br/directbitstream/6962846b-66bd-4bd6-9f74-2b18bff03234/Pinheiro_Jo%C3%A3oManoelHerrera_tcc.pdf

    Últimas obras dos mesmos autores vinculados com a USP cadastradas na BDPI:

    Digital Library of Academic Works of Universidade de São Paulo     2012 - 2024