Aplicando LLMs para Question Answering (2025)
- Authors:
- Autor USP: MELO, ARTHUR SAKAYAN VIEIRA DE - ICMC
- Unidade: ICMC
- Subjects: APRENDIZADO COMPUTACIONAL; INTELIGÊNCIA ARTIFICIAL; TREINAMENTO PROFISSIONAL
- Language: Português
- Abstract: Neste trabalho, é investigado a aplicação de Grandes Modelos de Linguagem (LLM) para a construção de um sistema de Question Answering para auxiliar no processo de onboarding e integração de funcionários. Para poder cumprir tal objetivo, foi utilizada a técnica de Retrieval Augmented Generation. A metodologia baseou-se em quatro etapas: recuperação de documentos relevantes a partir de uma pergunta do usuário, contextualização do LLM com esses documentos, geração da resposta e retorno ao usuário. Para avaliação, foi construída uma base de 36 documentos corporativos reais, e foram avaliados cinco modelos de LLMs (Llama 3.1, DeepSeek-R1, Gemma3, Qwen3 e Phi-4), que foram testados usando oito critérios, como factualidade, fidelidade, clareza, ausência de alucinações dentre outros. Os resultados demonstraram que os modelos Llama 3.1 8B e Gemma3 12B obtiveram o melhor desempenho global, produzindo respostas precisas, concisas e alinhadas ao conteúdo original. Em contraste, o DeepSeek-R1 apresentou desempenho insatisfatório na maioria dos critérios. Conclui-se que a integração de LLMs com RAG é uma abordagem viável e promissora para melhorar a comunicação interna, otimizar a gestão do conhecimento e acelerar a adaptação de novos colaboradores, embora desafios como custo computacional e escalabilidade em grandes volumes de documentos ainda persistam.
- Imprenta:
- Publisher place: São Carlos
- Date published: 2025
-
ABNT
MELO, Arthur Sakayan Vieira de. Aplicando LLMs para Question Answering. 2025. Trabalho de Conclusão de Curso (MBA) – Instituto de Ciências Matemáticas e de Computação, Universidade de São Paulo, São Carlos, 2025. Disponível em: https://bdta.abcd.usp.br/directbitstream/d3ebf083-7655-4965-b129-1a28c2499e54/Arthur_Sakayan_Vieira_de_Melo_TCC_2025.pdf. Acesso em: 27 fev. 2026. -
APA
Melo, A. S. V. de. (2025). Aplicando LLMs para Question Answering (Trabalho de Conclusão de Curso (MBA). Instituto de Ciências Matemáticas e de Computação, Universidade de São Paulo, São Carlos. Recuperado de https://bdta.abcd.usp.br/directbitstream/d3ebf083-7655-4965-b129-1a28c2499e54/Arthur_Sakayan_Vieira_de_Melo_TCC_2025.pdf -
NLM
Melo ASV de. Aplicando LLMs para Question Answering [Internet]. 2025 ;[citado 2026 fev. 27 ] Available from: https://bdta.abcd.usp.br/directbitstream/d3ebf083-7655-4965-b129-1a28c2499e54/Arthur_Sakayan_Vieira_de_Melo_TCC_2025.pdf -
Vancouver
Melo ASV de. Aplicando LLMs para Question Answering [Internet]. 2025 ;[citado 2026 fev. 27 ] Available from: https://bdta.abcd.usp.br/directbitstream/d3ebf083-7655-4965-b129-1a28c2499e54/Arthur_Sakayan_Vieira_de_Melo_TCC_2025.pdf
Download do texto completo
| Tipo | Nome | Link | |
|---|---|---|---|
| Arthur_Sakayan_Vieira_de_... | Direct link |
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
