Skip to content

marioMechi/Data-Experience

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

5 Commits
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Data-Experience

A tecnologia dos Bancos de Dados tem uma série de opções de ferramentas no mercado e cada uma tem sua finalidade e o estudo da Engenharia de Dados vem apontando as melhores soluções para cada ferramenta. O Banco de Dados Relacional (SQL) é tipo de banco onde armazena informações que tem elementos entre si, ou seja, elas se relacionam entre si e o esquema entre elas deve ser bem definido, ou seja, rígido. O Banco de Dados Não Relacional (NoSQL) é tipo de banco onde armazena uma grande quantidade de informações de maneira não rígida e de dados não estruturados. O NoSQL não substituí os Bancos de dados relacionais, mas sim para atender resolver problemas que eles não resolviam como o grande volume de dados por sua escalabilidade e armazenar dados não estruturados e ter uma consulta desses dados. A informação é consultada no Banco de Dados NoSQL através de chaves de informações que devem ser pensados em sua implantação, as aplicações tem que saber lidar com sua falta de previsibilidade para possíveis consultas.

Para um desenvolvedor aprender diversas ferramentas de banco de dados para vários tipos de aplicabilidade pode facilitar sua utilização. O conhecimento de vários tipos facilita sua aprendizagem, sua essência e propósito. O SQL foi moldado para estruturas que possuem um rígido controle transacional enquanto os NoSQL possuem uma estrutura mais flexível.

A evolução dos Bancos de Dados depende de transições que permitam mudança de maneira mais suave para seus bancos de maneira que não parem o seu funcionamento. As tecnologias em nuvem escolhidas têm que permitirem essa transição. O refinamento de dados em Data Lake busca soluções de baixo custo ter consistência de grande volume de dados buscando disponibilidade de processamento e segurança de dados. O maior desafio de manipulação dos dados que engloba uma série de rotinas com gestão e preparamento de dados usando ferramentas de ETL. O tipo de Banco de dados influencia na ingestão, transformação e processamento, mas a arquitetura do banco de dados pode dificultar ou facilitar essas operações. Esses dados devem ser coletados baseado em regras de negócio da corporação com auxílio de um time de engenheiros.

O Engenheiro de Dados é responsável pera preparação da informação coletando, armazenando e deixando de forma disponível. O Cientista de Dados usa esta informação criando modelos que fazem sentido para o modelo de negócio da corporação. A estatística é muito importando para definição destes modelos.

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors