Avaliação de um Sistema de Resposta a Perguntas baseado em LLMs e RAG para um Centro de Informação de Medicamentos (2025)
- Authors:
- Autor USP: COTA, ÉRIKA FERNANDES - ICMC
- Unidade: ICMC
- Subjects: PROCESSAMENTO DE LINGUAGEM NATURAL; AVALIAÇÃO DE MEDICAMENTOS; TEORIA DE RESPOSTA AO ITEM; INTELIGÊNCIA ARTIFICIAL; APRENDIZADO COMPUTACIONAL
- Language: Português
- Abstract: Os Centros de Informação de Medicamentos (CIMs) desempenham um papel crucial ao fornecer informações confiáveis, atualizadas e baseadas em evidências para promover o uso seguro e racional de medicamentos. Uma das principais atividades dos CIMs é a informação passiva (ou reativa), que envolve o recebimento e resposta a questionamentos de profissionais de saúde para subsidiar decisões clínicas. Este trabalho propõe a automação do processo de consulta para reduzir a sobrecarga operacional dos CIMs e permitir que os profissionais se dediquem às atividades de maior valor, como a curadoria e atualização de documentos de referência, além de disponibilizar o serviço em tempo integral. A solução proposta é a criação de um Sistema de Resposta a Perguntas, utilizando Modelos de Linguagem de Grande Escala (LLMs) em conjunto com a arquitetura Retrieval-Augmented Generation (RAG). O objetivo é desenvolver um sistema que possa responder de forma rápida e coerente às consultas, baseando-se em documentos de referência previamente validados. Esta monografia apresenta a implementação e validação de uma Prova de Conceito (PoC) da solução proposta. Utilizou-se um conjunto de documentos de referência fornecidos pelo CIM para gerar uma base textual consolidada. Um prompt detalhado é construído dinamicamente usando técnicas de engenharia de prompt como role playing e chain-ofthought reasoning. A PoC foi validada usando um conjunto de 56 pares de perguntas e respostas reais. A similaridade semântica entre a resposta gerada pelo LLM e a resposta esperada foi avaliada utilizando outro LLM que gerou um score de similaridade variando entre 0 e 100. Seis LLMs distintos foram executados para comparação de desempenho: OpenAI GPT OSS, Gemini 2.5 Flash, Grok 4 Fast, DeepSeek 3.2, Llama 3.1 e GPT5 Mini. O desempenho da solução foi avaliado com base nas pontuações de similaridade obtidas. A pontuação média de similaridade em todos os modelosfoi baixa (variando aproximadamente entre 40.95 e 53.75 na validação interna). Além disso, não houve diferença estatisticamente significativa no desempenho entre os modelos avaliados. Os scores médios foram menores quando um LLM diferente foi usado para validação. A inspeção manual das respostas revelou uma taxa relativamente alta de respostas do tipo ”Não sei” ou similares, levantando a hipótese de que o contexto fornecido ao RAG pode ter ser insuficiente. Concluiu-se que o desempenho médio obtido pela implementação proposta é insuficiente para o domínio da aplicação, não conferindo confiabilidade suficiente. São necessários mais experimentos explorando outros parâmetros, como o tamanho do contexto passado no prompt, entre outros, antes de se assumir o custo de uma validação humana pelos profissionais do CIM.
- Imprenta:
- Publisher place: São Carlos
- Date published: 2025
-
ABNT
COTA, Érika Fernandes. Avaliação de um Sistema de Resposta a Perguntas baseado em LLMs e RAG para um Centro de Informação de Medicamentos. 2025. Trabalho de Conclusão de Curso (MBA) – Instituto de Ciências Matemáticas e de Computação, Universidade de São Paulo, São Carlos, 2025. Disponível em: https://bdta.abcd.usp.br/directbitstream/0c6361b9-d45c-4da8-bbbc-81a26ffb0de4/Erika_Fernandes_Cota_TCC_2025.pdf. Acesso em: 06 maio 2026. -
APA
Cota, É. F. (2025). Avaliação de um Sistema de Resposta a Perguntas baseado em LLMs e RAG para um Centro de Informação de Medicamentos (Trabalho de Conclusão de Curso (MBA). Instituto de Ciências Matemáticas e de Computação, Universidade de São Paulo, São Carlos. Recuperado de https://bdta.abcd.usp.br/directbitstream/0c6361b9-d45c-4da8-bbbc-81a26ffb0de4/Erika_Fernandes_Cota_TCC_2025.pdf -
NLM
Cota ÉF. Avaliação de um Sistema de Resposta a Perguntas baseado em LLMs e RAG para um Centro de Informação de Medicamentos [Internet]. 2025 ;[citado 2026 maio 06 ] Available from: https://bdta.abcd.usp.br/directbitstream/0c6361b9-d45c-4da8-bbbc-81a26ffb0de4/Erika_Fernandes_Cota_TCC_2025.pdf -
Vancouver
Cota ÉF. Avaliação de um Sistema de Resposta a Perguntas baseado em LLMs e RAG para um Centro de Informação de Medicamentos [Internet]. 2025 ;[citado 2026 maio 06 ] Available from: https://bdta.abcd.usp.br/directbitstream/0c6361b9-d45c-4da8-bbbc-81a26ffb0de4/Erika_Fernandes_Cota_TCC_2025.pdf
Download do texto completo
| Tipo | Nome | Link | |
|---|---|---|---|
 |
Erika_Fernandes_Cota_TCC_... | Direct link |
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
