Análise de causa raiz de chamados de suporte de sistemas com aplicação de LLM (2024)
- Authors:
- Autor USP: RAMOS, FERNANDO DOS SANTOS - ICMC
- Unidade: ICMC
- Subjects: BANCOS; APRENDIZADO COMPUTACIONAL
- Keywords: bancos; Sustentação sistemas
- Language: Português
- Abstract: A sustentação de sistemas em produção é frequentemente feita através de um processo de investigação do problema, o qual é executado por pessoal de suporte especializado. Não é incomum que, uma vez sanado o problema em atendimento em primeiro nível, as descrições que caracterizaram o problema não sejam objeto de análise a posteriori. A investigação é registrada em textos não-estruturados, o que dificulta estudos mais massificados e sistematizados da causa- raiz. Com o advento dos Modelos de Linguagem de Grande Escala (Large Language Models, ou LLM) abre-se a possibilidade de fazer uma análise investigativa mais massificada. O trabalho aplicou LLM e estratégias de prompting para a entender e classificar a causa-raíz dos problemas, sobre uma base real de chamados de sustentação de sistemas do setor financeiro, com mais de quarenta sistemas em quatro linhas de negócio: bancos, fundos, previdência e consórcio; desde grandes bancos até pequenos gestores de fundos. A base utilizada é um subconjunto dos dados de produção, atualizados até meados de 2023. Os dados contém o número do chamado, sistema, negócio, descrição e comentários. Para classificar erros na operação, propõe-se uma taxonomia com três níveis: grandes grupos de problemas (tecnologia, ambiente, fatores humanos, segurança), subcategorias (software, hardware, dados, infraestrutura) e tipos de falhas específicas para cada uma das subcategorias. A abordagem aplicada foi uma classificação fracamente supervisionada onde os Modelos de Linguagem de Grande Escala foram usados para classificar um sub-conjunto de chamados e um modelo BERT foi treinado com as classificações realizadas pelo LLM.O estudo investigou a aplicação de LLMs como GPT-3.5 e GPT-4, na classificação automatizada de chamados de suporte técnico. O trabalho demonstrou o potencial desses modelos em identificar padrões, compreender o contexto e classificar chamados com alta precisão. O GPT- 4, em particular, mostrou superioridade ao GPT-3.5, exibindo uma compreensão mais profunda da linguagem natural e capacidade de inferência. Além disso, a pesquisa explorou a utilização de técnicas como Bag-of-Words e agrupamento para analisar as explicações geradas pelos modelos, revelando-se uma abordagem consistente para o processo de análise. O estudo também avaliou a eficácia do modelo BERT, que, após fine-tunning demonstrou bom desempenho, mas também apresentou desafios de overfitting. Por fim, combinação de LLMs e modelos pré-treinados, como o BERT, pode ser uma abordagem promissora para a classificação automatizada de chamados. No entanto, são necessárias pesquisas adicionais para explorar diferentes arquiteturas, técnicas de pré-treinamento e aumento de dados, visando melhorar a precisão e a generalização dos modelos.
- Imprenta:
- Publisher place: São Carlos
- Date published: 2024
-
ABNT
RAMOS, Fernando dos Santos. Análise de causa raiz de chamados de suporte de sistemas com aplicação de LLM. 2024. Trabalho de Conclusão de Curso (MBA) – Instituto de Ciências Matemáticas e de Computação, Universidade de São Paulo, São Carlos, 2024. Disponível em: https://bdta.abcd.usp.br/directbitstream/c8de2a3a-5708-4ef5-963d-129121ae425f/Fernando_dos_Santos_Ramos.pdf. Acesso em: 25 mar. 2025. -
APA
Ramos, F. dos S. (2024). Análise de causa raiz de chamados de suporte de sistemas com aplicação de LLM (Trabalho de Conclusão de Curso (MBA). Instituto de Ciências Matemáticas e de Computação, Universidade de São Paulo, São Carlos. Recuperado de https://bdta.abcd.usp.br/directbitstream/c8de2a3a-5708-4ef5-963d-129121ae425f/Fernando_dos_Santos_Ramos.pdf -
NLM
Ramos F dos S. Análise de causa raiz de chamados de suporte de sistemas com aplicação de LLM [Internet]. 2024 ;[citado 2025 mar. 25 ] Available from: https://bdta.abcd.usp.br/directbitstream/c8de2a3a-5708-4ef5-963d-129121ae425f/Fernando_dos_Santos_Ramos.pdf -
Vancouver
Ramos F dos S. Análise de causa raiz de chamados de suporte de sistemas com aplicação de LLM [Internet]. 2024 ;[citado 2025 mar. 25 ] Available from: https://bdta.abcd.usp.br/directbitstream/c8de2a3a-5708-4ef5-963d-129121ae425f/Fernando_dos_Santos_Ramos.pdf
Download do texto completo
| Tipo | Nome | Link | |
|---|---|---|---|
 |
Fernando_dos_Santos_Ramos... | Direct link |
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
