Ingénieur Python/Python Engineer
Apply NowCompany: NTT DATA Group Corporation
Location: Montreal, QC H1A 0A1
Description:
Company Overview:
Req ID: 318669
NTT DATA s'efforce de recruter des personnes exceptionnelles, innovantes et passionnes qui souhaitent voluer avec nous. Si vous souhaitez intgrer une organisation inclusive, adaptable et avant-gardiste, postulez ds maintenant.
Nous recherchons actuellement un ingnieur plateforme de donnes Python pour rejoindre notre quipe Montral, Qubec (CA-QC), Canada (CA).
Description du poste
Tches : En tant qu'ingnieur(e) plateforme de donnes Python, vous intgrerez l'quipe C3 Data Warehouse au sein du dpartement Controls Engineering, Measurement and Analytics (CEMA). Votre mission : dvelopper notre plateforme de donnes nouvelle gnration, utilise pour l'approvisionnement et le stockage des donnes issues de diffrents systmes technologiques de l'entreprise, en une plateforme centralise permettant de fournir diverses solutions de reporting et d'analyse pour les fonctions Risques technologiques du service Courtage. ce titre, vous serez principalement charg(e) de contribuer au dveloppement d'un framework de pipeline de donnes unifi, crit en Python et utilisant des technologies telles qu'Airflow, DBT, Spark et Snowflake. Vous contribuerez galement l'intgration de ce framework aux plateformes internes existantes pour la qualit, le catalogage et la dcouverte des donnes, la journalisation des incidents et la gnration d'indicateurs. Vous travaillerez en troite collaboration avec les responsables de l'entreposage de donnes, les analystes de donnes, les dveloppeurs ETL, les ingnieurs infrastructure et les quipes d'analyse de donnes afin de faciliter la mise en uvre de cette plateforme et de ce pipeline de donnes.
Principales responsabilits
NTT DATA est un innovateur mondial de confiance, pesant 30 milliards de dollars, spcialis dans les services aux entreprises et les technologies. Nous accompagnons 75 % des entreprises du Fortune Global 100 et nous engageons accompagner nos clients dans l'innovation, l'optimisation et la transformation pour une russite durable. En tant qu'employeur de premier plan mondial, nous comptons des experts diversifis dans plus de 50 pays et un solide cosystme de partenaires compos d'entreprises tablies et de start-up. Nos services comprennent le conseil aux entreprises et aux technologies, les donnes et l'intelligence artificielle, les solutions sectorielles, ainsi que le dveloppement, la mise en uvre et la gestion d'applications, d'infrastructures et de connectivit. Nous sommes l'un des principaux fournisseurs mondiaux d'infrastructures numriques et d'IA. NTT DATA fait partie du groupe NTT, qui investit plus de 3,6 milliards de dollars chaque anne en R&D pour aider les organisations et la socit voluer sereinement et durablement vers l'avenir numrique. Retrouvez-nous sur us.nttdata.com
NTT DATA s'efforce de rendre https://us.nttdata.com accessible tous. Si vous souhaitez nous contacter concernant l'accessibilit de notre site web ou si vous avez besoin d'aide pour complter votre candidature, veuillez nous contacter l'adresse https://us.nttdata.com/en/contact-us. Ces coordonnes sont rserves aux demandes d'adaptation et ne peuvent tre utilises pour vous renseigner sur l'tat d'avancement des candidatures. NTT DATA souscrit au principe de l'galit des chances. Les candidats qualifis seront pris en considration pour un emploi sans distinction de race, de couleur, de religion, de sexe, d'orientation sexuelle, d'identit de genre, d'origine nationale, de handicap ou de statut d'ancien combattant protg. Pour consulter notre dclaration de politique d'galit des chances en matire d'emploi, veuillez cliquer ici. Pour plus d'informations sur vos droits en matire d'galit des chances en matire d'emploi, veuillez cliquer ici. Pour plus d'informations sur la transparence salariale, veuillez cliquer ici.
NTT DATA strives to hire exceptional, innovative and passionate individuals who want to grow with us. If you want to be part of an inclusive, adaptable, and forward-thinking organization, apply now.
We are currently seeking a Python Data Platform Engineer to join our team in Montreal, Quebec (CA-QC), Canada (CA).
Job Description:
Job Duties: As a Python Data Platform Engineer, you will be a member of the C3 Data Warehouse team within the Controls Engineering, Measurement and Analytics (CEMA) department, with a focus on building our next-gen data platform used for sourcing and storing data from different technology systems across the firm into a centralized data platform that empowers various reporting and analytics solutions for the Technology Risk functions within Brokerage. In this role you will be primarily responsible for contributing to the development of a unified data pipeline framework written in Python utilizing technologies such as Airflow, DBT, Spark and Snowflake. You will also be responsible for contributing to the integration of this framework with existing internal platforms for data quality, data cataloging, data discovery, incident logging, and metric generation. You will be working closely with data warehousing leads, data analysts, ETL developers, infrastructure engineers, and data analytics teams to facilitate the implementation of this data platform and data pipeline framework.
Key Responsibilities:
To develop various components in Python of our unified data pipeline framework.
To contribute towards the establishment of best practices for the optimal and efficient usage of Airflow, DBT and Snowflake.
To assist with the testing and deployment of our data pipeline framework utilizing standard testing frameworks and CI/CD tooling.
To monitor the performance of queries and data loads and perform tuning as necessary.
To provide assistance and guidance during the QA & UAT phases to quickly confirm the validity of potential issues and to determine the root cause and best resolution of verified issues.
Minimum Skills Required:
About NTT DATA:
NTT DATA is a $30 billion trusted global innovator of business and technology services. We serve 75% of the Fortune Global 100 and are committed to helping clients innovate, optimize and transform for long term success. As a Global Top Employer, we have diverse experts in more than 50 countries and a robust partner ecosystem of established and start-up companies. Our services include business and technology consulting, data and artificial intelligence, industry solutions, as well as the development, implementation and management of applications, infrastructure and connectivity. We are one of the leading providers of digital and AI infrastructure in the world. NTT DATA is a part of NTT Group, which invests over $3.6 billion each year in R&D to help organizations and society move confidently and sustainably into the digital future. Visit us at us.nttdata.com
NTT DATA endeavors to make https://us.nttdata.com accessible to any and all users. If you would like to contact us regarding the accessibility of our website or need assistance completing the application process, please contact us at https://us.nttdata.com/en/contact-us. This contact information is for accommodation requests only and cannot be used to inquire about the status of applications. NTT DATA is an equal opportunity employer. Qualified applicants will receive consideration for employment without regard to race, color, religion, sex, sexual orientation, gender identity, national origin, disability or protected veteran status. For our EEO Policy Statement, please click here. If you'd like more information on your EEO rights under the law, please click here. For Pay Transparency information, please click here.
Req ID: 318669
NTT DATA s'efforce de recruter des personnes exceptionnelles, innovantes et passionnes qui souhaitent voluer avec nous. Si vous souhaitez intgrer une organisation inclusive, adaptable et avant-gardiste, postulez ds maintenant.
Nous recherchons actuellement un ingnieur plateforme de donnes Python pour rejoindre notre quipe Montral, Qubec (CA-QC), Canada (CA).
Description du poste
Tches : En tant qu'ingnieur(e) plateforme de donnes Python, vous intgrerez l'quipe C3 Data Warehouse au sein du dpartement Controls Engineering, Measurement and Analytics (CEMA). Votre mission : dvelopper notre plateforme de donnes nouvelle gnration, utilise pour l'approvisionnement et le stockage des donnes issues de diffrents systmes technologiques de l'entreprise, en une plateforme centralise permettant de fournir diverses solutions de reporting et d'analyse pour les fonctions Risques technologiques du service Courtage. ce titre, vous serez principalement charg(e) de contribuer au dveloppement d'un framework de pipeline de donnes unifi, crit en Python et utilisant des technologies telles qu'Airflow, DBT, Spark et Snowflake. Vous contribuerez galement l'intgration de ce framework aux plateformes internes existantes pour la qualit, le catalogage et la dcouverte des donnes, la journalisation des incidents et la gnration d'indicateurs. Vous travaillerez en troite collaboration avec les responsables de l'entreposage de donnes, les analystes de donnes, les dveloppeurs ETL, les ingnieurs infrastructure et les quipes d'analyse de donnes afin de faciliter la mise en uvre de cette plateforme et de ce pipeline de donnes.
Principales responsabilits
- Dvelopper divers composants en Python pour notre infrastructure de pipeline de donnes unifie.
- Contribuer l'tablissement de bonnes pratiques pour une utilisation optimale et efficace d'Airflow, DBT et Snowflake.
- Participer aux tests et au dploiement de notre infrastructure de pipeline de donnes l'aide de frameworks de test standard et d'outils CI/CD.
- Surveiller les performances des requtes et des chargements de donnes et effectuer les ajustements ncessaires.
- Fournir une assistance et des conseils pendant les phases d'assurance qualit et d'acceptation des utilisateurs afin de confirmer rapidement la validit des problmes potentiels et d'en dterminer la cause profonde et la meilleure solution pour les problmes vrifis.
- Licence en informatique, gnie logiciel, technologies de l'information ou domaine connexe requise.
- Au moins 7 ans d'exprience en dveloppement de donnes et en solutions dans des environnements de donnes trs complexes avec d'importants volumes de donnes.
- Au moins 7 ans d'exprience en SQL/PLSQL avec la capacit crire des requtes ad hoc et complexes pour l'analyse de donnes.
- Au moins 5 ans d'exprience en dveloppement de pipelines de donnes et de solutions d'entreposage de donnes avec Python et des bibliothques telles que Pandas, NumPy, PySpark, etc.
- Au moins 3 ans d'exprience en dveloppement de solutions dans un environnement de donnes hybride (sur site et dans le cloud).
- Au moins 3 ans d'exprience en dveloppement de DAG Airflow pour orchestrer des pipelines de donnes utilisant la ramification, la gnration dynamique de DAG/tches et la gestion des erreurs. Exprience pratique du dveloppement de pipelines de donnes pour les donnes structures, semi-structures et non structures et exprience de l'intgration avec leurs magasins de support (par exemple, SGBDR, bases de donnes NoSQL, bases de donnes de documents, fichiers journaux, etc.)
- Une exprience pratique avec Snowflake est indispensable.
- Une exprience pratique avec Apache Spark est indispensable.
- Une exprience pratique avec DBT est un atout.
- Une exprience avec les requtes SQL d'optimisation des performances, les tches Spark et les procdures stockes est un atout.
- Une comprhension des modles de donnes E-R (conceptuels, logiques et physiques) est un atout.
- Une comprhension des concepts avancs d'entrept de donnes (tables de faits sans faits, modles temporels et bitemporels, etc.) est un atout.
- De solides comptences analytiques, notamment une comprhension approfondie de l'interprtation des exigences mtier des clients et de leur traduction en conceptions et solutions techniques.
- De solides comptences en communication, tant l'oral qu' l'crit. Capacit collaborer efficacement avec divers groupes informatiques et mtiers, dans diffrentes rgions et diffrents rles, et interagir efficacement avec tous les niveaux.
- Autonome. Capacit avre grer plusieurs projets simultans avec un minimum de supervision. Capacit grer une liste de priorits complexe en constante volution et rsoudre les conflits entre priorits concurrentes.
- Solides comptences en rsolution de problmes. Capacit identifier les points cibler et clarifier les objectifs, les exigences et les priorits de l'entreprise.
NTT DATA est un innovateur mondial de confiance, pesant 30 milliards de dollars, spcialis dans les services aux entreprises et les technologies. Nous accompagnons 75 % des entreprises du Fortune Global 100 et nous engageons accompagner nos clients dans l'innovation, l'optimisation et la transformation pour une russite durable. En tant qu'employeur de premier plan mondial, nous comptons des experts diversifis dans plus de 50 pays et un solide cosystme de partenaires compos d'entreprises tablies et de start-up. Nos services comprennent le conseil aux entreprises et aux technologies, les donnes et l'intelligence artificielle, les solutions sectorielles, ainsi que le dveloppement, la mise en uvre et la gestion d'applications, d'infrastructures et de connectivit. Nous sommes l'un des principaux fournisseurs mondiaux d'infrastructures numriques et d'IA. NTT DATA fait partie du groupe NTT, qui investit plus de 3,6 milliards de dollars chaque anne en R&D pour aider les organisations et la socit voluer sereinement et durablement vers l'avenir numrique. Retrouvez-nous sur us.nttdata.com
NTT DATA s'efforce de rendre https://us.nttdata.com accessible tous. Si vous souhaitez nous contacter concernant l'accessibilit de notre site web ou si vous avez besoin d'aide pour complter votre candidature, veuillez nous contacter l'adresse https://us.nttdata.com/en/contact-us. Ces coordonnes sont rserves aux demandes d'adaptation et ne peuvent tre utilises pour vous renseigner sur l'tat d'avancement des candidatures. NTT DATA souscrit au principe de l'galit des chances. Les candidats qualifis seront pris en considration pour un emploi sans distinction de race, de couleur, de religion, de sexe, d'orientation sexuelle, d'identit de genre, d'origine nationale, de handicap ou de statut d'ancien combattant protg. Pour consulter notre dclaration de politique d'galit des chances en matire d'emploi, veuillez cliquer ici. Pour plus d'informations sur vos droits en matire d'galit des chances en matire d'emploi, veuillez cliquer ici. Pour plus d'informations sur la transparence salariale, veuillez cliquer ici.
NTT DATA strives to hire exceptional, innovative and passionate individuals who want to grow with us. If you want to be part of an inclusive, adaptable, and forward-thinking organization, apply now.
We are currently seeking a Python Data Platform Engineer to join our team in Montreal, Quebec (CA-QC), Canada (CA).
Job Description:
Job Duties: As a Python Data Platform Engineer, you will be a member of the C3 Data Warehouse team within the Controls Engineering, Measurement and Analytics (CEMA) department, with a focus on building our next-gen data platform used for sourcing and storing data from different technology systems across the firm into a centralized data platform that empowers various reporting and analytics solutions for the Technology Risk functions within Brokerage. In this role you will be primarily responsible for contributing to the development of a unified data pipeline framework written in Python utilizing technologies such as Airflow, DBT, Spark and Snowflake. You will also be responsible for contributing to the integration of this framework with existing internal platforms for data quality, data cataloging, data discovery, incident logging, and metric generation. You will be working closely with data warehousing leads, data analysts, ETL developers, infrastructure engineers, and data analytics teams to facilitate the implementation of this data platform and data pipeline framework.
Key Responsibilities:
To develop various components in Python of our unified data pipeline framework.
To contribute towards the establishment of best practices for the optimal and efficient usage of Airflow, DBT and Snowflake.
To assist with the testing and deployment of our data pipeline framework utilizing standard testing frameworks and CI/CD tooling.
To monitor the performance of queries and data loads and perform tuning as necessary.
To provide assistance and guidance during the QA & UAT phases to quickly confirm the validity of potential issues and to determine the root cause and best resolution of verified issues.
Minimum Skills Required:
- Bachelor's degree in Computer Science, Software Engineering, Information Technology, or related field required.
- At least 7 years of experience in data development and solutions in highly complex data environments with large data volumes.
- At least 7 years of SQL / PLSQL experience with the ability to write ad-hoc and complex queries to perform data analysis.
- At least 5 years of experience developing data pipelines and data warehousing solutions using Python and libraries such as Pandas, NumPy, PySpark, etc.
- At least 3 years of experience developing solutions in a hybrid data environment (on-Prem and Cloud)
- At least 3 years of experience developing Airflow DAGs to orchestrate data pipelines that utilize branching, dynamic DAG / task generation, and error handling.
- Hands-on experience with developing data pipelines for structured, semi-structured, and unstructured data and experience integrating with their supporting stores (e.g. RDBMS, NoSQL DBs, Document DBs, Log Files, etc.)
- Hands on experience with Snowflake a must.
- Hands-on experience with Apache Spark a must.
- Hands-on experience with DBT preferred.
- Experience with performance tuning SQL queries, Spark job, and stored procedures.
- An understanding of E-R data models (conceptual, logical, and physical).
- Understanding of advanced data warehouse concepts (Factless Fact Tables, Temporal \ Bi-Temporal models, etc.) a plus.
- Strong analytical skills, including a thorough understanding of how to interpret customer business requirements and translate them into technical designs and solutions.
- Strong communication skills both verbal and written. Capable of collaborating effectively across a variety of IT and Business groups, across regions, roles and able to interact effectively with all levels.
- Self-starter. Proven ability to manage multiple, concurrent projects with minimal supervision. Can manage a complex ever changing priority list and resolve conflicts to competing priorities.
- Strong problem-solving skills. Ability to identify where focus is needed and bring clarity to business objectives, requirements, and priorities.
About NTT DATA:
NTT DATA is a $30 billion trusted global innovator of business and technology services. We serve 75% of the Fortune Global 100 and are committed to helping clients innovate, optimize and transform for long term success. As a Global Top Employer, we have diverse experts in more than 50 countries and a robust partner ecosystem of established and start-up companies. Our services include business and technology consulting, data and artificial intelligence, industry solutions, as well as the development, implementation and management of applications, infrastructure and connectivity. We are one of the leading providers of digital and AI infrastructure in the world. NTT DATA is a part of NTT Group, which invests over $3.6 billion each year in R&D to help organizations and society move confidently and sustainably into the digital future. Visit us at us.nttdata.com
NTT DATA endeavors to make https://us.nttdata.com accessible to any and all users. If you would like to contact us regarding the accessibility of our website or need assistance completing the application process, please contact us at https://us.nttdata.com/en/contact-us. This contact information is for accommodation requests only and cannot be used to inquire about the status of applications. NTT DATA is an equal opportunity employer. Qualified applicants will receive consideration for employment without regard to race, color, religion, sex, sexual orientation, gender identity, national origin, disability or protected veteran status. For our EEO Policy Statement, please click here. If you'd like more information on your EEO rights under the law, please click here. For Pay Transparency information, please click here.