10870 - Engenheiro de Dados Aws

Que tal trabalhar como Engenheiro de Dados, atuando com projeção e implementação de pipelines de dados robustos usando Apache NiFi, Python (com pandas) e SQL Server.

Desenvolver e manter APIs RESTful utilizando Flask e FastAPI para exposição e integração de dados.

Gerenciar armazenamento e consulta de dados com Amazon S3, Athena, Glue Crawler, Glue Data Catalog e OpenSearch.

Configurar e administrar sistemas de arquivos distribuídos, especialmente EFS.

Implementar arquiteturas seguras e escaláveis utilizando VPC, IAM, Secrets Manager, Grupos de Segurança (SG) e Load Balancer.

Orquestrar mensageria e filas com SQS para garantir fluxo assíncrono de dados.

Trabalhar com serviços de computação e serverless: Elastic Beanstalk, ECS, ECR, EC2, Lambda.

Monitorar ambientes e aplicações usando Kibana para visualização e análise de logs.

Realizar deploy e manutenção de aplicações, incluindo APIs para LLMs (Large Language Models).

Conhecimentos Específicos:

Containerização e empacotamento com Docker e Poetry.

Controle de versão com Git e experiência em pipelines de CI/CD envolvendo deploy de LLMs e APIs.

Monitoramento avançado com CloudWatch.

Conhecimento avançado em Python e bibliotecas de manipulação de dados (pandas).

Conhecimento avançado de ferramentas AWS (S3, Athena, Glue, Lambda, ECS, EC2, etc.).

Habilidade com ferramentas de ingestão de dados e orquestração (Apache NiFi).

Experiência com configuração e gerenciamento de aplicações hospedadas na AWS (IAM, VPC, SG).

Capacidade de desenvolver APIs escaláveis usando Flask e FastAPI.

Familiaridade com sistemas de mensageria, filas e processamento assíncrono (SQS).

Conhecimento em monitoramento e análise de logs (Kibana, CloudWatch).

Domínio de processos de deploy, versionamento e automação (Docker, Git, CI/CD).

Superior completo ou cursando

100% Home office (Somente candidatos de SP)

Contratação: CLT FULL + Benefícios