Lead Data Engineer

At CWP Energy Trading, we are an innovative company operating at the intersection of energy analytics and fintech. Our mission is to leverage high-quality data analytics and deep market expertise to optimize power markets. We are looking for a Lead Data Engineer to support multiple teams across the company by building and maintaining a scalable data infrastructure.

As Lead Data Engineer, you'll drive the consolidation of our data infrastructure, shape the team with best practices, and drive data governance. With a strategic mindset, you'll prioritize data needs and keep stakeholders informed.

Key Responsibilities

• Build and maintain reliable data pipelines to integrate data from many heterogeneous sources.
• Develop and maintain a data catalog documenting all datasets, their sources, and usage guidelines.
• Own the user experience of data users across the business, supporting both structured analytics and ad-hoc querying needs.
• Drive the data infrastructure, including the use of infrastructure-as-code tools, across all data projects.
• Implement and support both batch processing and real-time streaming solutions.
• Work closely with multiple teams across the company to define and prioritize data needs.
• Act as the technical lead for the development team, providing guidance on best practices, mentoring junior engineers, and contributing to architectural decisions. Ensure that the data strategy is aligned with the short, mid and long term needs of the business.
• Regularly update stakeholders on data availability, system performance, and project status.

Required Skills & Qualifications

• 8+ years of experience in data engineering or a related field.
• Demonstrated expertise in data warehousing and data governance at data-intensive organizations.
• Proficiency in Python and SQL for data processing.
• Strong experience with analytical databases (BigQuery, Snowflake, Databricks).
• Experience with ETL/ELT pipelines and workflow orchestration tools (Dagster, Apache Airflow, dbt).
• Proven track record in taming large numbers of heterogeneous data sources.
• Expertise in at least one cloud computing platform (GCP is a plus).
• Experience with real-time data streaming technologies is desirable (Dataflow, Kafka, Flink, Spark Streaming, Kinesis).
• Experience with AI/ML is highly desirable, including proficiency with frameworks such as TensorFlow, PyTorch, Keras, and tools for model training and optimization. Familiarity with large language models (LLMs), reinforcement learning, and model deployment will be a plus.
• Tech Lead / Team Lead experience, with the ability to scope, prioritize, and manage multiple workstreams.
• Strong communication and stakeholder management skills, with the ability to present technical concepts to non-technical audiences.
• Senior and versatile professional, comfortable when interacting with developers as well as C-Suite stakeholders.

Why Join Us?

• A dynamic environment that encourages initiative and experimentation. Here's McGill St Laurent
• A results-driven corporate culture.
• Full group insurance and an RRSP contribution program.
• Vacation policy from day one.
• Public transit incentive program.
• Give & Match program.
• Flexible hours and hybrid work options.
• A modern office with a gym, lounge, locker rooms, and showers.

We collect your information via a secure applicant tracking system, where access is restricted according to the position. Data, including CVs and interview notes, are stored in this system. If you have any objections or wish to withdraw your consent, please contact us at [email protected].

Chez CWP Energy Trading, on repousse les limites entre l'analytique nergtique et la fintech. Notre mission : exploiter des donnes de qualit et une expertise pointue des marchs pour optimiser le secteur de l'lectricit. On cherche un e Lead Data Engineer prt e btir et faire voluer une infrastructure de donnes robuste au service de toutes nos quipes. Ton rle : piloter la consolidation de notre architecture data, instaurer les meilleures pratiques, structurer la gouvernance des donnes et faire rayonner une vision stratgique. Tu sauras prioriser les besoins, accompagner les quipes et garder tout le monde align grce une communication claire et proactive.

Responsabilits :

• Concevoir et maintenir des pipelines de donnes fiables afin d'intgrer des donnes issues de sources htrognes.
• Dvelopper et mettre jour un catalogue de donnes documentant l'ensemble des donnes, leurs sources et leurs rgles d'utilisation.
• Garantir une exprience optimale aux utilisateurs de donnes au sein de l'entreprise en rpondant leurs besoins analytiques, qu'ils soient structurs ou ponctuels.
• Grer l'infrastructure de donnes, y compris l'utilisation d'outils d'infrastructure-as-code, pour l'ensemble des projets lis aux donnes.
• Mettre en place et assurer le suivi des solutions de traitement par lots ainsi que de diffusion en temps rel.
• Travailler en troite collaboration avec plusieurs quipes afin d'identifier et de hirarchiser les besoins en donnes.
• Agir en tant que rfrent technique pour l'quipe de dveloppement en fournissant des conseils sur les bonnes pratiques, en encadrant les juniors et en contribuant aux dcisions architecturales. Veiller ce que la stratgie en matire de donnes soit aligne avec les besoins court, moyen et long terme de l'entreprise.
• Informer rgulirement les parties prenantes sur la disponibilit des donnes, la performance des systmes et l'tat d'avancement des projets.

Ton profil:

• Plus de 8 ans d'exprience en ingnierie des donnes ou dans un domaine connexe.
• Expertise dmontre en entreposage de donnes et en gouvernance des donnes, acquise au sein d'organisations forte intensit data.
• Matrise de Python et SQL pour le traitement des donnes.
• Solide exprience avec les bases de donnes analytiques (BigQuery, Snowflake, Databricks).
• Exprience dans la conception de pipelines ETL/ELT et l'utilisation d'outils d'orchestration de workflows (Dagster, Apache Airflow, dbt).
• Capacit prouve grer un grand nombre de sources de donnes htrognes.
• Matrise d'au moins une plateforme de cloud computing (GCP est un atout).
• Une exprience avec les technologies de diffusion de donnes en temps rel est souhaitable (Dataflow, Kafka, Flink, Spark Streaming, Kinesis).
• Une exprience en IA/ML est fortement souhaite, incluant la matrise de frameworks comme TensorFlow, PyTorch, Keras, ainsi que des outils d'entranement et d'optimisation de modles. Une connaissance des grands modles de langage (LLMs), de l'apprentissage par renforcement et du dploiement de modles est un plus.
• Exprience en tant que Tech Lead / Team Lead, avec la capacit de dfinir la porte des projets, de prioriser les tches et de grer plusieurs flux de travail en parallle.
• Excellentes comptences en communication et en gestion des parties prenantes, avec la capacit de vulgariser des concepts techniques auprs de publics non techniques.
• Profil senior, polyvalent, l'aise aussi bien avec les dveloppeurs qu'avec les cadres excutifs.

Ce que nous offrons :

• Un environnement dynamique o l'initiative et l'exprimentation sont encourages. Voici McGill St Laurent
• Une culture d'entreprise axe sur les rsultats.
• Assurance collective complte et programme de cotisation REER.
• Politique de congs ds l'entre en poste.
• Programme d'incitatif au transport en commun.
• Programme Give & Match.
• Horaires flexibles et tltravail hybride.
• Un bureau moderne avec gym, lounge, vestiaires et douches.

Nous recueillons vos informations via un systme de suivi des candidats scuris, o l'accs est restreint selon le poste. Les donnes, incluant CVs et notes d'entretiens, sont conserves dans ce systme. Pour tout dsaccord ou retrait de consentement, contactez-nous [email protected].