Delta Lake: técnicas e otimização avançada para armazenamento e processamento de Big Data (2023)
- Authors:
- Autor USP: REZENDE, JÚLIO CÉSAR CALDAS - ICMC
- Unidade: ICMC
- DOI: 10.11606/003190223
- Subjects: APRENDIZADO COMPUTACIONAL; BANCO DE DADOS; BIG DATA; INTELIGÊNCIA ARTIFICIAL
- Keywords: Lakehouse; Governança de dados; Delta Lake
- Language: Português
- Abstract: Com a evolução de sistemas empresariais coletando e armazenando cada vez mais dados, este projeto tem como objetivo desenvolver um lago de dados utilizando um novo conceito, o conceito de Delta Lakehouse abordando diferenças entre Data Lakes e Data Warehouses convencionais. O Delta Lakehouse tem a capacidade de gerenciamento de dados com a possibilidade de substituir a dependência atual de tecnologias como data lakes e data warehouses. O gerenciamento construído tem como base uma arquitetura moderna de Big Data, utilizando tecnologias Spark para coletar, armazenar e processar dados. O lago de dados poderá ser incrementado por diversas fontes de dados, e estará considerando um dicionário de dados como parâmetro de transformação, sendo o pilar principal para a disponibilidade dos dados de forma mais adequada e legível para o consumo do usuário final. O foco principal é ter um armazenamento de dados com fluxos automatizados e distintos por camadas de pré-processamentos, evitando que esses processamentos façam parte da etapa de trabalho de analistas ou engenheiros de IA. O armazenamento possibilitará acompanhamento de histórico referente às informações do estado e modificações antes, e após o processamento dos dados. Aplicando também o gerenciamento de governança de dados. Uma análise dos resultados obtidos será realizada considerando o tempo de resposta para leitura, processamento e aplicação de modelagens disponíveis, para avaliar o desempenho do lago de dados na utilização do conteúdo final. O resultado deste projeto será um armazenamento otimizado e totalmente funcional e aplicável em nuvem, podendo obter na camada de ingestão diferentes formatos de dados e disponibilizar ao utilizador final a coesão e a possibilidade de novas ideias para utilização de grande volumes de dados.
- Imprenta:
- Publisher place: São Carlos
- Date published: 2023
- Este periódico é de acesso aberto
- Este artigo é de acesso aberto
- URL de acesso aberto
- Cor do Acesso Aberto: gold
- Licença: cc-by-nc-sa
-
ABNT
REZENDE, Júlio César Caldas. Delta Lake: técnicas e otimização avançada para armazenamento e processamento de Big Data. 2023. Trabalho de Conclusão de Curso (MBA) – Instituto de Ciências Matemáticas e de Computação, Universidade de São Paulo, São Carlos, 2023. Disponível em: https://doi.org/10.11606/003190223. Acesso em: 14 jan. 2026. -
APA
Rezende, J. C. C. (2023). Delta Lake: técnicas e otimização avançada para armazenamento e processamento de Big Data (Trabalho de Conclusão de Curso (MBA). Instituto de Ciências Matemáticas e de Computação, Universidade de São Paulo, São Carlos. Recuperado de https://doi.org/10.11606/003190223 -
NLM
Rezende JCC. Delta Lake: técnicas e otimização avançada para armazenamento e processamento de Big Data [Internet]. 2023 ;[citado 2026 jan. 14 ] Available from: https://doi.org/10.11606/003190223 -
Vancouver
Rezende JCC. Delta Lake: técnicas e otimização avançada para armazenamento e processamento de Big Data [Internet]. 2023 ;[citado 2026 jan. 14 ] Available from: https://doi.org/10.11606/003190223
Informações sobre o DOI: 10.11606/003190223 (Fonte: oaDOI API)
Download do texto completo
| Tipo | Nome | Link | |
|---|---|---|---|
 |
Júlio César Caldas Reze... | Direct link |
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
