Data Engineer Spark (Python/Scala) Kafka, Glue, Kinesis, Airflow, Elasticsearch, AWS, Devops

  • Freelance
  • Paris

Certifications requires : * au moins une

AWS Solution Architect ;

AWS Database;

AWS Developer;

AWS Data Analytics

Une expérience significative dans le développement en environnement Cloud, de préférence

AWS; Azure & CGP acceptés dans la mesure où l’approche data analytics dans le cloud est

maitrisée ;

* Une solide compréhension de l’ETL et de l’ELT;

•Très bonne connaissance du Langage SQL et développement Spark (Python ou Scala);

•Maitrise des techniques de conception et de modélisation des données;

•Maitrise des processus et des outils d’ingestion, transformation et chargement de données (AWS

Glue, AWS Lambda, EMR…);

•Connaissance des contraintes et des attentes d’exploitation;

* Bonne connaissances autour de l’orchestration et scheduling de tâches (Control/M, Apache

Airflow, Ooozie, Kubeflow, EMR):

Bonnes pratiques DevOps;

⚫ Manipulation des technologies (connaissances et pas maitrise) et des ressources as-a-service

via (*-as-code);

Utilisation collaborative d’un même code source:

•Manipulation des outils DevOps (Git, Jenkins, Gitlab-CI, Docker, Kubernetes, Ansible, Terraform,

Helm…);

Connaissance sur les environnements et les problématiques DATA (chaines DataOps, qualité de

données, ETL, etc.);

⚫ Bonne connaissance des problématiques API (OpenAPI swagger, Jason web token, API

management;

⚫ Maitrise des outils data streaming (AWS Kinesis, Kafka…):

⚫ Maitrise des bases analytiques et bases NoSQL (Redshift, ElasticSearch, AWS Athena, AWS

RDS);

Maitrise du Stockage objet (AWS S3);

* Bonne connaissance de la gestion des droits et habilitation sur des supports de données variés

(SGBDR, AWS IAM, AWS KMS, Apache Ranger, Sentry);

* Gouvernance de la donnée (datalineage, cataloging, Apache Atlas…)

* Machine learning (Spark, services ML AWS, ElasticSearch)

Certifications requires : * au moins une

AWS Solution Architect ;

AWS Database;

AWS Developer;

AWS Data Analytics

Méthodologie:

* Agile

SAFe 6.0

Les Incontournables technologies necessaires pour la mission!

data transfo (AWS Glue, AWS Lambda, EMR…)

data streaming (AWS Kinesis, Kafka…)

Bases analytiques et bases NoSQL (Redshift, ElasticSearch, AWS Athena, AWS RDS)

Langage SOL

⚫Stockage objet (AWS S3)

Bonnes pratiques DevOps:

Manipulation des technologies et des ressources as-a-service par programmation (*-as-code)

* Utilisation collaborative d’un même code source

Autres :

Outils DevOps (Git, Jenkins, Gitlab-CI, Docker, Kubernetes, Ansible, Terraform, Helm…)

* Connaissance sur les environnements et les problématiques DATA (chaines DataOps, qualité de

données, ETL, etc.)

* Orchestration et scheduling de tâches (Control/M, Apache Airflow, Ooozie, Kubeflow, EMR)

API (OpenAPI swagger, Jason web token, API management):

* Gestion des droits et habilitation sur des supports de données variés (SGBDR, AWS IAM, AWS

KMS, Apache Ranger Sentry)

* Gouvernance de la donnée (datalineage, cataloging Apache Atlas…)

Machine learning (Spark, services ML AWS, ElasticSearch)

Profil du candidat

Les Incontournables technologies necessaires pour la mission!

data transfo (AWS Glue, AWS Lambda, EMR…)

data streaming (AWS Kinesis, Kafka…)

Bases analytiques et bases NoSQL (Redshift, ElasticSearch, AWS Athena, AWS RDS)

Langage SOL

⚫Stockage objet (AWS S3)

Pour postuler, envoyez votre CV et votre lettre de motivation par e-mail à n.valentina@abalsia.com