Keyrus

Dataquitaine 2024 - SESSION 3.3 - Amphi 3 - 21/03/2024 16h25 > 16h55

Modern Data Stack : DataOps VS FinOps - comment concilier les deux !

Résumé

Introduction

Bam, plantage en production, les données n'ont pas chargé cette nuit !
Sans DataOps, comment faire pour savoir
- quelle table/script a planté ?
- quel impact sur le reste de la chaine ?
- qui a édité en dernier ce script ?
- est-ce que les hypothèses de modélisation (basé sur les choix métiers) sont en erreur ?
- est-ce que les garant de ces périmètres donnés a été prévenues ?
Mais à la fois, la DataOps, on se retrouve vite à devoir de rejouer les scripts sur toutes les données 3 fois (dév, préprod, prod) pour être sûr qu'il n'y a pas d'erreurs !
- Est ce que ne brûlerait pas du kérosène pour rien à tout rejouer, surtout qd on a de grande volumétrie de données ?
- Il y aurait-il un moyen d'être plus sobre tout en garantissant que cette chaine de valorisation de données soit bien testée, maîtrisée & résiliente ?

Méthodologie

Rappeler les enjeux autour
- du DataOps
- de la FinOps

Croiser avec des défis métiers rencontrés au quotidien
- Enjeux autour de l'orchestration / lineage
- Talend, Airflow, Dagster
- DBT / Dataform VS dépendances à la main (TOS / Airflow)
- Enjeux autour du lineage / dépendances des tâches / tables

Proposer des pistes pour concilier les deux approches !
- Volumétrie des jeux de données test
- Incrémental & défis à avoir en tête (rejeu historique)
- SCD2 : Slowly Changing Dimension
- défis ajout de colonne
- rejeu d'historique

Originalité / perspective

Fort de l'expérience terrain de nos consultants auprès de nos différents clients, nous proposons de faire un retour d'expérience autour de ces problématique DataOps & FinOps

Revoir la vidéo :

https://france.keyrus.com/

A propos des orateurs

Benoît DOMAS

Expert Data

Fort de plus de 14 années d'expériences dans le domaine de la Data, j'ai su me forger des capacités d'analyses et d'adaptabilité à travers de nombreux projets aux domaines fonctionnels différents (RH, Santé, Télécom, Banque, Grande Distribution, Industrie...). Accompagnant les clients dans leur stratégie data, je réalise des audits afin de les aider à améliorer/optimiser leur SI, à choisir et mettre en uvre les outils, solutions et architectures data correspondantes à leurs besoins. Ayant une forte appétence pour le Cloud, j'accompagne également les clients dans leur stratégie Move To Cloud, particulièrement sur Talend, Azure et Snowflake. Mon expertise professionnelle est axée principalement sur : Les solutions techniques d'alimentation avec un fort background DataEngineer (notamment SQL, SHELL, Talend, Azure Data Factory, DBT), La conception, modélisation et mise en oeuvre d'architecture data (Datalake, Datafabric, Datahub, DWH/DTM) principalement sous Azure, Snowflake, Teradata, Oracle, SQLServer dans mon rôle de DataArchitect, Mais se décline également dans le domaine de la restitution sur certains outils me permettant d'avoir une vision end-to-end des enjeux clients.

https://france.keyrus.com/

Antoine GIRAUD

Consultant Sénior Data

Consultant passionné en mobilité. Expert modélisation (SQL, DBT/Dataform, DataOps) et visualisation (Power BI & Tableau)?. Antoine travaille sur toutes les phases d'un projet décisionnel : de la prise du besoin, à la modélisation, la transformation, l'orchestration, la gouvernance des données, l'architecture, à la visualisation puis la transmission et l'accompagnement? des métiers / demandeurs. Après ses 6 années à Montréal, il contribue activement comme techlead sur la veille data et au rayonnement des savoir-faire Keyrus dans la région Grand-Ouest?. Il oeuvre depuis 2 années comme Analytics Engineer chez Homeserve avec des missions d'expertises ponctuelles en parallèle.

https://france.keyrus.com/

S'inscrire !

Ticket

Organisation

Avec le soutien de

Cet événement a bénéficié d'une aide de l’État gérée par l'Agence Nationale de la Recherche au titre du Plan France 2030, portant la référence ANR-21-EXES-0004

Avec la participation de

Partenaire OR & ARGENT

Partenaire PLATINE