Análise em larga escala da evolução temporal de tópicos obtidos do twitter basado em Apache Spark (2022)
- Authors:
- USP affiliated author: VINCES, BRAULIO VALENTIN SÁNCHEZ - ICMC
- School: ICMC
- Subjects: INTELIGÊNCIA ARTIFICIAL; APRENDIZADO COMPUTACIONAL; MINERAÇÃO DE DADOS
- Language: Português
- Abstract: Nos últimos anos, os estudos relacionados à extração de tópicos do Twitter ganharam interesse dos campos acadêmicos e empresariais. A interconexão entre usuários e informações fez desta rede social uma plataforma para a propagação de eventos em tempo real. Aplicações como gerenciamento de desastres, detecção de surtos, análise de mercado e vigilância podem requerir o suporte da extração de tópicos de uma plataforma como o Twitter. Entretanto, esta tarefa é desafiadora devido ao conteúdo curto e textual das postagens (tweets), ao ambiente de plataforma altamente dinâmico e ao volume de tweets que a propagação de um evento pode desencadear. É por estas razões que propomos uma solução de extração e modelagem de tópicos do Twitter que processe um alto volume de tweets, além de usar algoritmos de inteligência artificial que permitam melhorar a extração de características do texto em comparação com os algoritmos clássicos de PLN. Os experimentos realizados demonstram que esta proposta, implementada no Apache Spark e utilizando modelos BERT pré-treinados, consegue não apenas ser viável em larga escala, mas também ser ligeiramente superior aos algoritmos comumente utilizados na modelagme de tópicos, como o LDA. Finalmente, realizamos experimentos de análise temporal sobre os tópicos obtidos por esta proposta.
- Imprenta:
- Place of publication: São Carlos
- Date published: 2022
-
ABNT
VINCES, Braulio Valentin Sánchez. Análise em larga escala da evolução temporal de tópicos obtidos do twitter basado em Apache Spark. 2022. Trabalho de Conclusão de Curso (MBA) – Instituto de Ciências Matemáticas e de Computação, Universidade de São Paulo, São Carlos, 2022. Disponível em: https://bdta.abcd.usp.br/directbitstream/9d6800b1-3f33-4a6c-94b0-eb15f02ab7a7/Braulio%20Valentin%20S%C3%A1nchez%20Vinces_Monograf%C3%ADa%20vers%C3%A3o%20final%20-%20Projeto%20de%20Pesquisa%20-%20Braulio%20Valentin%20S%C3%A1nchez%20Vinces_206502.pdf. Acesso em: 26 abr. 2024. -
APA
Vinces, B. V. S. (2022). Análise em larga escala da evolução temporal de tópicos obtidos do twitter basado em Apache Spark (Trabalho de Conclusão de Curso (MBA). Instituto de Ciências Matemáticas e de Computação, Universidade de São Paulo, São Carlos. Recuperado de https://bdta.abcd.usp.br/directbitstream/9d6800b1-3f33-4a6c-94b0-eb15f02ab7a7/Braulio%20Valentin%20S%C3%A1nchez%20Vinces_Monograf%C3%ADa%20vers%C3%A3o%20final%20-%20Projeto%20de%20Pesquisa%20-%20Braulio%20Valentin%20S%C3%A1nchez%20Vinces_206502.pdf -
NLM
Vinces BVS. Análise em larga escala da evolução temporal de tópicos obtidos do twitter basado em Apache Spark [Internet]. 2022 ;[citado 2024 abr. 26 ] Available from: https://bdta.abcd.usp.br/directbitstream/9d6800b1-3f33-4a6c-94b0-eb15f02ab7a7/Braulio%20Valentin%20S%C3%A1nchez%20Vinces_Monograf%C3%ADa%20vers%C3%A3o%20final%20-%20Projeto%20de%20Pesquisa%20-%20Braulio%20Valentin%20S%C3%A1nchez%20Vinces_206502.pdf -
Vancouver
Vinces BVS. Análise em larga escala da evolução temporal de tópicos obtidos do twitter basado em Apache Spark [Internet]. 2022 ;[citado 2024 abr. 26 ] Available from: https://bdta.abcd.usp.br/directbitstream/9d6800b1-3f33-4a6c-94b0-eb15f02ab7a7/Braulio%20Valentin%20S%C3%A1nchez%20Vinces_Monograf%C3%ADa%20vers%C3%A3o%20final%20-%20Projeto%20de%20Pesquisa%20-%20Braulio%20Valentin%20S%C3%A1nchez%20Vinces_206502.pdf
Download do texto completo
| Tipo | Nome | Link | |
|---|---|---|---|
 |
Braulio Valentin Sánchez... | Direct link |
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
