Um estudo sobre algoritmos de Boosting e a otimização de hiperparâmetros utilizando optuna (2023)
- Authors:
- Autor USP: PINHEIRO, JOÃO MANOEL HERRERA - EESC
- Unidade: EESC
- Sigla do Departamento: SEM
- Subjects: APRENDIZADO COMPUTACIONAL; MODELOS DE APRENDIZAGEM
- Keywords: Gradient boosting; Otimização dos hiperparâmetros; Estudo Empírico
- Language: Português
- Abstract: Este trabalho é um estudo sobre os algoritmos de Gradient Boosting Machines (GBMs), os quais são algoritmos de aprendizado de máquina supervisionado que vem obtendo excelente resultados em uma ampla gama de problemas e vencendo diversas competições de aprendizado de máquina. Neste trabalho vamos abordar três bibliotecas que implementam os GBMs, essas bibliotecas são: o XGBoost, CatBoost e LightGBM. Foi realizado um comparativo entre as técnicas e os resultados obtidos, e então partimos para a otimização dos hiperparâmetros utilizando o Optuna. Ao construir um modelo de aprendizado de máquina, a otimização de hiperparâmetros pode se tornar uma tarefa desafiadora e demorada, dependendo do número e do espaço de busca do procedimento de otimização. Definir os hiperparâmetros é uma tarefa fundamental. É necessário entender como eles afetam o resultado do modelo e a partir disso, implementamos o Optuna para os três algoritmos, um framework de otimização de hiperparâmetros. Os conjuntos de dados deste experimento são consumidos da plataforma Kaggle e OpenML. O primeiro experimento realizado foi um comparativo entre os algoritmos pelas métricas de validação e em seguida tentou-se alterar os hiperparâmetros para identificar a influência deles no modelo. Inicialmente, não foi possível obter uma conclusão. Na sequência, foi feita uma análise mais complexa pelo estudo do Optuna. Nesses resultados conseguimos identificar quais hiperparâmetros tiveram seu maior impacto na importância do estudo e se houve alterações desses hiperparâmetros em cada conjunto de dados. Além disso, foi possível melhorar todos os modelos preditivos com apenas a utilização do Optuna. E, ainda, para o modelo com a maior complexidade de previsão, o Optuna demonstrou ser eficaz e resultou em aumento de performance. Com a utilização dos Shapley Additive exPlanations (SHAP Values), conseguimos interpretar os modelos e como cada variável impactou noconjunto de treino
- Imprenta:
- Publisher place: São Carlos
- Date published: 2023
-
ABNT
PINHEIRO, João Manoel Herrera. Um estudo sobre algoritmos de Boosting e a otimização de hiperparâmetros utilizando optuna. 2023. Trabalho de Conclusão de Curso (Graduação) – Escola de Engenharia de São Carlos, Universidade de São Paulo, São Carlos, 2023. Disponível em: https://bdta.abcd.usp.br/directbitstream/6962846b-66bd-4bd6-9f74-2b18bff03234/Pinheiro_Jo%C3%A3oManoelHerrera_tcc.pdf. Acesso em: 18 mar. 2025. -
APA
Pinheiro, J. M. H. (2023). Um estudo sobre algoritmos de Boosting e a otimização de hiperparâmetros utilizando optuna (Trabalho de Conclusão de Curso (Graduação). Escola de Engenharia de São Carlos, Universidade de São Paulo, São Carlos. Recuperado de https://bdta.abcd.usp.br/directbitstream/6962846b-66bd-4bd6-9f74-2b18bff03234/Pinheiro_Jo%C3%A3oManoelHerrera_tcc.pdf -
NLM
Pinheiro JMH. Um estudo sobre algoritmos de Boosting e a otimização de hiperparâmetros utilizando optuna [Internet]. 2023 ;[citado 2025 mar. 18 ] Available from: https://bdta.abcd.usp.br/directbitstream/6962846b-66bd-4bd6-9f74-2b18bff03234/Pinheiro_Jo%C3%A3oManoelHerrera_tcc.pdf -
Vancouver
Pinheiro JMH. Um estudo sobre algoritmos de Boosting e a otimização de hiperparâmetros utilizando optuna [Internet]. 2023 ;[citado 2025 mar. 18 ] Available from: https://bdta.abcd.usp.br/directbitstream/6962846b-66bd-4bd6-9f74-2b18bff03234/Pinheiro_Jo%C3%A3oManoelHerrera_tcc.pdf
Download do texto completo
| Tipo | Nome | Link | |
|---|---|---|---|
 |
Pinheiro_JoãoManoelHerre... | Direct link |
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
