Development of a fully attention-based question-answering model (2017)
- Authors:
- USP affiliated authors: CORREIA, ALVARO HENRIQUE CHAIM - EP ; SILVA, JORGE LUIZ MOREIRA - EP
- School: EP
- Sigla do Departamento: PMR
- Subjects: SISTEMAS DE QUESTÕES E RESPOSTAS; APRENDIZADO COMPUTACIONAL; REDES NEURAIS
- Language: Inglês
- Abstract: Este trabalho tem como propósito o desenvolvimento de um modelo de perguntas e respostas, capaz de responder a questões sobre um parágrafo, supondo que a resposta possa ser recuperada num trecho contínuo do texto. O estado da arte neste tópico é dominado por redes neurais recorrentes, pois estas são capazes de representar a relação entre as palavras no contexto de uma pergunta. Esses modelos, porém, são sequenciais, o que os torna lentos e difíceis de treinar em comparação a redes neurais tradicionais (feedforward) que são mais simples e paralelizáveis. Estas, no entanto, por terem um tamanho de entrada pré-definido, não conseguem incorporar a relação entre palavras separadas por distâncias arbitrárias, o que reduz sua capacidade de interpretar a estrutura semântica e gramatical do texto. Para solucionar este problema, foram desenvolvidas novas arquiteturas de redes neurais que incorporam a interação entre as palavras através de um mecanismo de atenção que inclui a posição de cada palavra como entrada. O modelo aqui desenvolvido, chamado de FABIR (extrator de informações exclusivamente baseado em atenção), será baseado exclusivamente nesses novos mecanismos, sem o uso de redes recorrentes, com o propósito de estudar sua aplicação em perguntas e respostas. FABIR atingiu resultados semelhantes aos melhores modelos em um banco de dados público, possuindo um menor número de parâmetros e maior velocidade tanto no processo de treino quanto de inferência.
- Imprenta:
-
ABNT
CORREIA, Alvaro Henrique Chaim e SILVA, Jorge Luiz Moreira. Development of a fully attention-based question-answering model. 2017. Trabalho de Conclusão de Curso (Graduação) – Escola Politécnica, Universidade de São Paulo, São Paulo, 2017. Disponível em: https://bdta.abcd.usp.br/directbitstream/e5bd3818-9fae-40a4-9665-d3383369f9c9/AlvaroHenriqueChaimCorreia%20PMR17.pdf. Acesso em: 25 abr. 2024. -
APA
Correia, A. H. C., & Silva, J. L. M. (2017). Development of a fully attention-based question-answering model (Trabalho de Conclusão de Curso (Graduação). Escola Politécnica, Universidade de São Paulo, São Paulo. Recuperado de https://bdta.abcd.usp.br/directbitstream/e5bd3818-9fae-40a4-9665-d3383369f9c9/AlvaroHenriqueChaimCorreia%20PMR17.pdf -
NLM
Correia AHC, Silva JLM. Development of a fully attention-based question-answering model [Internet]. 2017 ;[citado 2024 abr. 25 ] Available from: https://bdta.abcd.usp.br/directbitstream/e5bd3818-9fae-40a4-9665-d3383369f9c9/AlvaroHenriqueChaimCorreia%20PMR17.pdf -
Vancouver
Correia AHC, Silva JLM. Development of a fully attention-based question-answering model [Internet]. 2017 ;[citado 2024 abr. 25 ] Available from: https://bdta.abcd.usp.br/directbitstream/e5bd3818-9fae-40a4-9665-d3383369f9c9/AlvaroHenriqueChaimCorreia%20PMR17.pdf
Download do texto completo
| Tipo | Nome | Link | |
|---|---|---|---|
 |
AlvaroHenriqueChaimCorrei... | Direct link |
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
