data engineer

Os data engineers tornaram-se um dos profissionais mais requisitados do mundo digital atual. À medida que as empresas de todo o mundo se envolvem em mais fluxos de trabalho digitais, há uma procura crescente por profissionais que ajudem a assegurar que a informação seja recolhida e processada, limpa e formatada, e preparada para que os cientistas de dados a utilizem. De facto, tanto os cientistas de dados como os engenheiros são membros essenciais da mesma equipa, necessária para converter os 1s e 0s em informação útil da qual os líderes empresariais necessitam para uma tomada de decisão inteligente.

 

empregos como data engineer
1

o que é um data engineer?

Os data engineers recolhem, gerem e administram dados. São uma parte crítica de qualquer operação de dados, criando a arquitetura para a aquisição e processamento de dados em bruto e, depois, preparando-a para os cientistas de dados analisarem esta informação e criarem conhecimentos a partir dela. Os data engineers identificam tendências em conjuntos de dados e desenvolvem algoritmos como parte do trabalho de preparação. Tal como muitas funções de TI, os data engineers possuem competências técnicas muito profundas e específicas, tais como a conceção de bases de dados SQL, múltiplas linguagens de programação e serviços em cloud. 

Para além da necessidade de competências técnicas, estes profissionais fazem parte de uma equipa que deve fornecer os conhecimentos críticos necessários aos líderes empresariais para orientar os seus objetivos estratégicos do quotidiano e a longo prazo. Ao permitir a estes executivos compreender e reagir rapidamente às tendências imediatas e emergentes, as equipas analíticas desempenham um papel importante na facilitação de resultados para as suas organizações.

De um dia para o outro, data engineers trabalham com colegas de negócios e de TI para desenvolver arquitetura e criar interfaces (APIs) que melhoram a usabilidade dos dados. Quer estejam a preparar as informações para utilização num painel de controlo, para serem importadas para uma base de dados ou extraídas para outros fins, como engenheiro és responsável por assegurar a integridade dos dados e das condutas. Outras tarefas regulares incluem a combinação de diferentes conjuntos de dados, determinares como armazenar a informação e trabalhares com cientistas e analistas de dados para adquirires os conhecimentos necessários.

empregos como data engineer
empregos como data engineer
2

salário médio de um data engineer

Segundo a Glassdoor, o salário médio de um data engineer em Portugal é de 3.066 euros mensais, correspondentes a 32.609 euros por ano. A oscilação nos valores salariais pode ir dos 1.093 euros aos 5.516 euros, sendo que o salário é influenciado por inúmeros fatores. Segundo o Relatório de Empregos Emergentes 2020 do LinkedIn, data engineer é uma profissão em crescimento significativo.

3

tipos de data engineer

Osdata engineers dividem-se tipicamente num de três tipos: generalistas (supervisionas todas as tarefas de dados dentro de uma organização, incluindo a análise), especialistas em pipelines (irás gerir todo o fluxo de dados para a empresa) e especialistas em bases de dados (trabalharás com múltiplas bases de dados). A dimensão da organização dita frequentemente o tipo de engenheiro de dados empregado, uma vez que os mais pequenos podem ser limitados a uma pequena equipa ou mesmo apenas a um indivíduo que gere os dados. As empresas com mais recursos podem ser capazes de empregar mais engenheiros para apoiarem um maior volume e necessidades analíticas mais amplas.

4

trabalhar como data engineer

descrição do trabalho de um data engineer

Se trabalhares como data engineer, algumas das competências necessárias para exerceres a profissão são: 

  • Capacidade de comunicação (dados). Sabes da necessidade de traduzir conceitos técnicos para uma linguagem não técnica e compreendes qual é a comunicação necessária para os intervenientes internos e externos. (Nível pertinente de aptidão: sensibilização)
  • Análise e síntese de dados. Sabes como realizar a análise do perfil dos dados e do sistema de origem e podes apresentar aos colegas conhecimentos claros para apoiar a utilização final dos dados. (Nível pertinente de aptidão: trabalho)
  • Processo de desenvolvimento de dados. É possível conceberes, construíres e testares produtos de dados com base na alimentação de múltiplos sistemas utilizando uma gama de diferentes tecnologias de armazenamento e/ou métodos de acesso. Sabes como criar produtos repetíveis e reutilizáveis. (Nível pertinente de aptidão: trabalho)
  • Inovação de dados. Conheces as oportunidades de inovação com novas ferramentas e a utilização de dados. (Nível pertinente de aptidão: sensibilização)
  • Design de integração de dados. Podes fornecer soluções de dados de acordo com as normas organizacionais acordadas que asseguram serviços resistentes, escaláveis e à prova de futuro. (Nível pertinente de aptidão: trabalho)
  • Modelação de dados. Compreendes os conceitos e princípios da modelação de dados e podes produzir, manter e atualizar modelos de dados relevantes para necessidades comerciais específicas. Sabes como inverter modelos de dados de um sistema ao vivo. (Nível pertinente de aptidão: trabalho)
  • Gestão de metadados. Podes trabalhar com repositórios de metadados para completares tarefas complexas tais como análise de impacto de integração de dados e sistemas. Sabes como manter um repositório para assegurar que a informação se mantenha exata e atualizada. (Nível pertinente de aptidão: trabalho)
  • Resolução de problemas (dados). Conheces os tipos de problemas em bases de dados, processos de dados, produtos e serviços de dados. (Nível pertinente de aptidão: sensibilização)
  • Programação e construção (engenharia de dados). Podes conceber, codificar, testar, corrigir e documentar programas ou scripts simples sob a direção de outros. (Nível pertinente de aptidão: trabalho)
  • Compreensão técnica (engenharia de dados). Compreendes conceitos técnicos fundamentais relacionados com a função e podes aplicá-los com orientação. (Nível pertinente de aptidão: trabalho)
  • Testes. É possível que executes roteiros de teste sob supervisão. Compreendes o papel dos testes e o seu funcionamento. (Nível pertinente de aptidão: sensibilização)

As tarefas diárias envolvidas na realização destes objetivos são variadas. Estas incluem:

  • Extrair dados e prepará-los como parte dos processos ETL (extrair, transformar, e carregar)
  • Fazer convergir conjuntos de dados
  • Avaliar, analisar e limpar conjuntos de dados
  • Codificar e executar
  • Criar armazéns de dados e utilizá-los para análise
  • Utilizar estruturas para servir os dados

É da responsabilidade principal do data engineer assegurar que a informação disponibilizada aos cientistas e outros interessados é verdadeira e utilizável. Isto também requer uma estreita colaboração com outros membros da equipa, incluindo criadores de aplicações, cientistas de dados e administradores de bases de dados.

ofertas de emprego
5

educação & qualificações

Para prosseguires uma carreira em engenharia de dados, as competências-chave envolvem programação, matemática, desenvolvimento de software, mineração de dados, gestão de bases de dados, TI e cibersegurança. É necessário que tenhas uma sólida formação tecnológica de todos os tipos de engenharia de dados, quer o papel seja de generalista, engenheiro especializado em pipelines ou especialista em bases de dados. A maioria das organizações que contratam data engineers procura candidatos com os seguintes graus:

Um bacharelato, mestrado ou doutoramento em:

  • matemática
  • tecnologia da informação
  • ciências da computação
  • engenharia de software

Para além da formação universitária, os empregadores podem procurar a certificação numa das várias áreas tecnológicas chave, sendo que muitos destes certificados são internacionais e obtidos junto de marcas de renome. De acordo com o CIO, as formações mais procuradas para engenheiros e arquitetos de dados incluem certificados emitidos pela Amazon, o Google ou o Big Data, que demonstrem especialização em setores específicos e reconhecimento de marcas internacionais.

aptidões & competências

Como data engineer precisas de ser bem qualificado em arquitetura de dados e conceção e manutenção de bases de dados. Para desempenhares os teus trabalhos de forma competente, é necessário que tenhas um forte conhecimento de uma variedade de tecnologias e línguas - cerca de 10 a 30, para escolheres as melhores ferramentas para os projetos em que trabalhas. Muitas organizações irão implementar um único conjunto de serviços na cloud de um fornecedor singular, pelo que é muitas vezes necessário teres um conhecimento profundo de uma plataforma, quer seja na AWS ou a Azure. 

Algumas das competências de que um data engineer necessita incluem:

  • Apache Spark
  • SQL
  • Hadoop
  • Beam
  • Java
  • Python
  • Databases
  • Scripts Shell
  • Platafomas ML: MLib (Spark) 
  • Computação em paralelo para Aprendizagem Profunda (Tensorflow, GPU Programming) 
  • Desenvolvimento em Containers (Docker, Rkt) 
  • Programming in Notebooks (Zeppelin, Jupyter) 
  • Java, C++, e/ou Go e linguagens funcionais (Scala, Clojure, Elixir)

Para além destas competências técnicas, a progressão na carreira também requer muitas competências transversais tipicamente possuídas pelos gestores em qualquer função: comunicação forte, colaboração orientada para a equipa, boa gestão de projetos e utilização eficiente do tempo. Como os data engineers são normalmente solicitados para satisfazer uma necessidade empresarial, neste papel deves ser capaz de trabalhar com vários colegas de dados e líderes operacionais para determinares o objetivo de qualquer projeto ou iniciativa.

6

FAQs

Aqui estão as perguntas mais frequentes (FAQ’s) sobre trabalhar como data engineer.

 

thank you for subscribing to your personalised job alerts.