ENGENHEIRO DATAOPS

Sobre a posição
Buscamos um(a) Engenheiro(a) DataOps AWS para atuar na construção e evolução
da plataforma de dados de uma seguradora. Essa pessoa terá papel fundamental na
estruturação de pipelines escaláveis e confiáveis, apoiando áreas como subscrição,
sinistros, risco, antifraude e atendimento, garantindo qualidade, governança e
eficiência no uso de dados.

Principais responsabilidades:

• Desenvolver, testar e manter pipelines de dados escaláveis no ecossistema
  AWS;
• Implementar e sustentar arquitetura Lakehouse utilizando S3, Delta Lake e
  Apache Iceberg;
• Orquestrar pipelines com Apache Airflow, garantindo confiabilidade e
  automação;
• Processar grandes volumes de dados com Apache Spark (PySpark / Spark
  SQL);
• Provisionar e otimizar ambientes AWS EMR (EC2, EKS ou Serverless);
• Implementar pipelines orientados a eventos (SQS, SNS, Kafka) para cenários
  near real-time (ex: eventos de sinistro);
• Aplicar práticas de DataOps:
  • CI/CD para dados
  • Testes automatizados
  • Versionamento
    
• Monitorar pipelines, custos e qualidade de dados com ferramentas de
  observabilidade;
• Garantir governança, segurança e conformidade com requisitos do setor de
  seguros.

Requisitos técnicos obrigatórios:

Experiência em engenharia de dados com foco em AWS.

Conhecimento avançado em:

• Spark (PySpark / Spark SQL);
• AWS EMR;
• AWS S3 e Glue Data Catalog;
• Experiência com arquitetura Data Lake / Lakehouse.

Experiência com:

• Apache Iceberg ou Delta Lake
• Experiência com Apache Airflow.
• Conhecimento em mensageria/event streaming:
  o SQS, SNS, Kafka ou similares
• Experiência com IaC (Terraform ou CloudFormation);
• Experiência com CI/CD aplicado a dados;
• Conhecimento em Docker e noções de Kubernetes (EKS);
• Experiência com monitoramento (CloudWatch, Grafana, Prometheus ou
  similares).

Diferenciais:

• Experiência no setor de seguros, financeiro ou ambiente regulado.

Conhecimento em domínios:

• Sinistros;
• Subscrição;
• Aólices;
• Fraude;

Experiência com:

• Trino ou Amazon Athena
• AWS Lake Formation ou Apache Ranger

• Ferramentas de Data Observability (Datadog, Great Expectations);
• Certificações AWS (Data Engineer, Solutions Architect);
• Experiência com arquitetura orientada a eventos em larga escala.

Perfil comportamental:

• Perfil analítico, com foco em qualidade e confiabilidade de dados;
• Proatividade e senso de dono sobre pipelines e plataforma de dados;
• Comunicação clara para interação com áreas técnicas e de negócio (sinistros,
  risco, atuária);
• Organização e disciplina na gestão de ambientes e processos críticos;
• Capacidade de resolver problemas complexos em ambientes distribuídos;
• Mentalidade orientada a automação e melhoria contínua;
• Colaboração em equipes multidisciplinares e ágeis;
• Foco em performance, escalabilidade e otimização de custos.