data engineer

Se trabalhares em equipa enquanto data engineer poderás realizar os teus trabalhos no local ou remotamente. As ferramentas e conjuntos de dados utilizados para o trabalho são todos digitais, pelo que não há limitações quanto à tua localização física, desde que tenhas acesso seguro aos servidores. Apenas a cultura e as políticas da empresa ditam se o trabalho é realizado no local ou virtualmente, mas considerando a atual adoção generalizada do trabalho a partir de casa, é provável que muitos data engineers continuem a desempenhar as suas funções remotamente.

Com tantas empresas a gerar enormes quantidades de dados e a acelerar as suas operações digitais, a necessidade de conhecimentos empresariais nunca foi tão grande. Isto está a colocar uma enorme pressão sobre as equipas de dados para rapidamente recolherem, extraírem e processarem informação de forma mais expedita. 

Para os data engineers, isto pode significar longos dias atrás da secretária, uma vez que estes enfrentam mais projetos. Se fores um especialista que trabalha em pequenas e médias empresas, pode ser-te pedido que trabalhes mais horas para satisfazer exigências crescentes. As horas são ditadas por uma série de fatores, incluindo a cultura da empresa, tipo de negócio, dimensão da equipa e trajetória de crescimento.

Cada vez mais, as empresas estão a empregar data engineers numa base contingente ou contratual para satisfazer as suas crescentes necessidades de dados. Isto permite que alguns trabalhadores assumam vários projetos e adquiram experiência valiosa em diferentes tecnologias para satisfazer uma variedade de necessidades empresariais. Estes acordos também permitem aos data engineers não contratados a título permanente passar de um cliente para outro para ganharem uma maior exposição a novos desafios e oportunidades.

Nesta área terás de trabalhar com cientistas de dados e com profissionais da equipa de TI. É também provável que tenhas um supervisor no começo da tua carreira. Terás contacto com os demais profissionais da empresa onde trabalhas, que irão variar consoante a tua área de trabalho.

As tarefas diárias envolvidas na realização destes objetivos são variadas. Estas incluem:

• Extrair dados e prepará-los como parte dos processos ETL (extrair, transformar, e carregar)
• Fazer convergir conjuntos de dados
• Avaliar, analisar e limpar conjuntos de dados
• Codificar e executar
• Criar armazéns de dados e utilizá-los para análise
• Utilizar estruturas para servir os dados

É da responsabilidade principal do data engineer assegurar que a informação disponibilizada aos cientistas e outros interessados é verdadeira e utilizável. Isto também requer uma estreita colaboração com outros membros da equipa, incluindo criadores de aplicações, cientistas de dados e administradores de bases de dados.

Sendo o maior negócio de serviços de RH do mundo, a Randstad trabalha com alguns dos mais experientes e talentosos data engineers e empresas líderes que os empregam. Como fornecedor de talentos à maioria das empresas da Fortune 500, os nossos candidatos têm acesso aos negócios mais admirados no seu campo, incluindo as principais empresas de TI&C, ciências da vida, serviços financeiros, indústria transformadora e outras.

As experientes equipas de recrutamento da Randstad em todo o mundo utilizam as mais recentes tecnologias de talento para criar fortes combinações de candidatos às vagas de emprego disponíveis. Os nossos recrutadores também passam um tempo significativo em interação direta com os candidatos a emprego para compreender os seus desejos profissionais e os conectar com os empregadores certos.

Como data engineer precisas de ser bem qualificado em arquitetura de dados e conceção e manutenção de bases de dados. Para desempenhares os teus trabalhos de forma competente, é necessário que tenhas um forte conhecimento de uma variedade de tecnologias e línguas - cerca de 10 a 30, para escolheres as melhores ferramentas para os projetos em que trabalhas. Muitas organizações irão implementar um único conjunto de serviços na cloud de um fornecedor singular, pelo que é muitas vezes necessário teres um conhecimento profundo de uma plataforma, quer seja na AWS ou a Azure. 

Algumas das competências de que um data engineer necessita incluem:

• Apache Spark
• SQL
• Hadoop
• Beam
• Java
• Python
• Databases
• Scripts Shell
• Platafomas ML: MLib (Spark) 
• Computação em paralelo para Aprendizagem Profunda (Tensorflow, GPU Programming) 
• Desenvolvimento em Containers (Docker, Rkt) 
• Programming in Notebooks (Zeppelin, Jupyter) 
• Java, C++, e/ou Go e linguagens funcionais (Scala, Clojure, Elixir)

Para além destas competências técnicas, a progressão na carreira também requer muitas competências transversais tipicamente possuídas pelos gestores em qualquer função: comunicação forte, colaboração orientada para a equipa, boa gestão de projetos e utilização eficiente do tempo.

Como os data engineers são normalmente solicitados para satisfazer uma necessidade empresarial, neste papel deves ser capaz de trabalhar com vários colegas de dados e líderes operacionais para determinares o objetivo de qualquer projeto ou iniciativa.

Não exatamente. Os engenheiros concentram-se em garantir que a informação que será utilizada para criar uma visão empresarial seja precisa, organizada e pronta a ser utilizada pelos cientistas de dados. Estes dois papéis podem trabalhar em estreita colaboração para assegurar que o trabalho analítico resulte em informação que os líderes empresariais possam compreender e utilizar para alcançar os seus objetivos empresariais.

Muitos empregadores procuram candidatos com pelo menos alguns anos de experiência de trabalho na área, mas com a escassez de data engineers neste momento, alguns estão a recrutar licenciados que têm fortes conhecimentos de programação e tecnologia e capacidades de resolução de problemas. A melhor maneira de obteres trabalho como data engineer é adquirires muitas das competências de base e desenvolvê-las através de certificação adicional e trabalhando em projetos de dados.

A codificação é uma competência essencial que os data engineers devem possuir, mas o teu trabalho é muito mais complexo do que a mera programação. É necessária uma compreensão da arquitetura de dados, bases de dados e sistemas de distribuição. Deves ser capaz de identificar problemas com conjuntos de dados, desenvolver soluções para os resolver e integrar os dados nos sistemas que serão utilizados para analisar os números.

Nem todas as empresas exigem que os seus engenheiros e cientistas de dados tenham um mestrado, mas para adquirires uma função a nível de gestão, isto é fortemente recomendado.

Há muitos especialistas experientes em dados que trabalham na área sem um diploma de pós-graduação, aproveitando a sua experiência de trabalho e conhecimentos tecnológicos para se destacarem na sua área. No entanto, um mestrado ou doutoramento oferece uma maior compreensão sobre teorias e resolução de problemas. Além disso, a certificação em várias ferramentas e tecnologias pode também ajudar-te a progredir na carreira neste setor.

Candidatares-te a um trabalho como data engineer é fácil: cria um perfil em MyRandstad, pesquisa as nossas ofertas de emprego e candidata-te às vagas na tua área. Precisas de ajuda com a tua candidatura? Consulta todas as nossas dicas de procura de emprego!