Engenheiro DataOps AW

Sobre a posição
Buscamos um(a) Engenheiro(a) DataOps AWS para atuar na construção e evolução
da plataforma de dados de uma seguradora. Essa pessoa terá papel fundamental na
estruturação de pipelines escaláveis e confiáveis, apoiando áreas como subscrição,
sinistros, risco, antifraude e atendimento, garantindo qualidade, governança e
eficiência no uso de dados.

Principais responsabilidades:

• Desenvolver, testar e manter pipelines de dados escaláveis no ecossistema
  AWS;
• Implementar e sustentar arquitetura Lakehouse utilizando S3, Delta Lake e
  Apache Iceberg;
• Orquestrar pipelines com Apache Airflow, garantindo confiabilidade e
  automação;
• Processar grandes volumes de dados com Apache Spark (PySpark / Spark
  SQL);
• Provisionar e otimizar ambientes AWS EMR (EC2, EKS ou Serverless);
• Implementar pipelines orientados a eventos (SQS, SNS, Kafka) para cenários
  near real-time (ex: eventos de sinistro);
• Aplicar práticas de DataOps:
  o CI/CD para dados
  o Testes automatizados
  o Versionamento
• Monitorar pipelines, custos e qualidade de dados com ferramentas de
  observabilidade;
• Garantir governança, segurança e conformidade com requisitos do setor de
  seguros.

Requisitos Técnicos Obrigatórios

• Experiência em engenharia de dados com foco em AWS.
• Conhecimento avançado em:
  o Spark (PySpark / Spark SQL);
  o AWS EMR;
  o AWS S3 e Glue Data Catalog;
• Experiência com arquitetura Data Lake / Lakehouse.
• Experiência com:
  o Apache Iceberg ou Delta Lake
• Experiência com Apache Airflow.
• Conhecimento em mensageria/event streaming:
  o SQS, SNS, Kafka ou similares
• Experiência com IaC (Terraform ou CloudFormation);
• Experiência com CI/CD aplicado a dados;
• Conhecimento em Docker e noções de Kubernetes (EKS);
• Experiência com monitoramento (CloudWatch, Grafana, Prometheus ou
  similares).
  

Diferenciais

• Experiência no setor de seguros, financeiro ou ambiente regulado.
• Conhecimento em domínios:
  o Sinistros;
  o Subscrição;
  o Apólices;
  o Fraude;
• Experiência com:
  o Trino ou Amazon Athena
  o AWS Lake Formation ou Apache Ranger
• Ferramentas de Data Observability (Datadog, Great Expectations);
• Certificações AWS (Data Engineer, Solutions Architect);
• Experiência com arquitetura orientada a eventos em larga escala.

Perfil Comportamental

• Perfil analítico, com foco em qualidade e confiabilidade de dados;
• Proatividade e senso de dono sobre pipelines e plataforma de dados;
• Comunicação clara para interação com áreas técnicas e de negócio (sinistros,
  risco, atuária);
• Organização e disciplina na gestão de ambientes e processos críticos;
• Capacidade de resolver problemas complexos em ambientes distribuídos;
• Mentalidade orientada a automação e melhoria contínua;
• Colaboração em equipes multidisciplinares e ágeis;
• Foco em performance, escalabilidade e otimização de custos