Data Engineer

Job Requisition ID #

25WD86903

French job description to follow!/La description de poste en franais se trouve plus bas!

Position Overview

Autodesk is looking for a talented and motivated Data Engineer to join our Platform Strategy & Emerging Technologies organization to develop robust and scalable data pipelines using and improving existing platforms, to support data-driven decision-making across the platform initiatives.

The successful candidate will drive performance enhancements, build pipelines and collaborate with analysts, data scientists, stakeholders and other Data Engineering teams across Autodesk. You will work with cutting edge technologies in the big data space.

Responsibilities

• Design, develop, automate and maintain scalable, robust and reliable ELT/ETL data pipelines that collect, process and transform large volumes of structure and unstructured data from various sources
• Maintain and enhance our existing data architecture to ensure smooth and efficient data flow across platforms
• Interface with data peers, product managers and cross- functional stakeholders to gather requirements, sequence work and document technical solutions
• Implement best practices for data quality, integrity and governance, including monitoring, validation and auditing processes to ensure reliable and consistent data availability
• Contribute to a team culture that values quality, robustness, and scalability while fostering initiatives and innovation by staying up to date with industry trends and new technologies

Minimum Qualifications

• 3+ years of data processing and data engineering experience in a fast-paced, large cloud-based infrastructure (AWS experience required)
• Hands-on software development experience in Python
• Expert understanding of SQL, dimensional modeling, and analytical data warehouses, such as Snowflake, Presto/Hive
• Understanding of Data Engineering best practices for medium to large scale production workloads
• Knowledge of big data processing frameworks (e.g. Spark, Hadoop)
• Expertise with data pipeline orchestration tools, such as Airflow
• Familiar with processing semi-structured file formats such as Json or parquet
• Team player with good communication skills
• Problem solver with excellent written and interpersonal skills
• Bachelor's degree in computer science, data science, or related fields

Preferred Qualifications

• Experience with Jinja, Shell scripting, DBT
• Developing in Cloud platform using serverless technologies such as AWS glue, lambda, EMR and EKS is a plus
• Experience with remote development using AWS SDK is a plus
• Experience with both ETL and ELT pipelines, including traditional ETL tools (e.g., Airflow, Talend, Informatica) and modern ELT frameworks (e.g., dbt, Snowflake)
• Knowledge of AWS IAM roles, permissions, and best practices for least-privilege access
• Experience with Terraform for AWS resource provisioning, including remote state management and security best practices
• Hands-on experience with AWS networking (VPC, security groups, cross-account permissions)
• REST API design and implementation
• Familiarity with containers and infrastructure-as-code principles
• Experience with automation frameworks - Git, Jenkins, and Terraform
• Master's degree in computer science, data science, or related fields

Description du poste

Autodesk est la recherche d'un ingnieur de donnes talentueux et motiv pour rejoindre notre organisation Platform Strategy & Emerging Technologies afin de dvelopper des pipelines de donnes robustes et volutifs en utilisant et en amliorant les plateformes existantes, afin de soutenir la prise de dcision base sur les donnes dans le cadre des initiatives de la plateforme.

Le candidat retenu sera charg d'amliorer les performances, de construire des pipelines et de collaborer avec des analystes, des scientifiques des donnes, des parties prenantes et d'autres quipes d'ingnierie des donnes au sein d'Autodesk. Vous travaillerez avec des technologies de pointe dans le domaine du big data.

Responsabilits

• Concevoir, dvelopper, automatiser et maintenir des pipelines de donnes ELT/ETL volutifs, robustes et fiables qui collectent, traitent et transforment de grands volumes de donnes structures et non structures provenant de diverses sources.
• Maintenir et amliorer notre architecture de donnes existante afin d'assurer un flux de donnes fluide et efficace entre les plateformes.
• Assurer l'interface avec les pairs en matire de donnes, les gestionnaires de produits et les parties prenantes interfonctionnelles afin de recueillir les besoins, de squencer le travail et de documenter les solutions techniques.
• Mettre en uvre les meilleures pratiques en matire de qualit, d'intgrit et de gouvernance des donnes, y compris les processus de contrle, de validation et d'audit, afin de garantir la disponibilit de donnes fiables et cohrentes.
• Contribuer une culture d'quipe qui valorise la qualit, la robustesse et l'volutivit tout en encourageant les initiatives et l'innovation en se tenant au courant des tendances du secteur et des nouvelles technologies.

Qualifications minimales

• Plus de 3 ans d'exprience dans le traitement et l'ingnierie des donnes au sein d'une grande infrastructure en nuage au rythme soutenu (exprience AWS requise)
• Exprience pratique du dveloppement de logiciels en Python
• Vous avez une connaissance approfondie de SQL, de la modlisation dimensionnelle et des entrepts de donnes analytiques, tels que Snowflake, Presto/Hive
• Comprhension des meilleures pratiques d'ingnierie des donnes pour les charges de travail de production moyenne et grande chelle
• Connaissance des cadres de traitement des donnes volumineuses (par exemple Spark, Hadoop)
• Expertise avec les outils d'orchestration de pipeline de donnes, tels que Airflow
• Familiarit avec le traitement de formats de fichiers semi-structurs tels que Json ou parquet
• Vous avez l'esprit d'quipe et de bonnes capacits de communication
• Rsolveur de problmes avec d'excellentes comptences crites et interpersonnelles
• Baccalaurat en informatique, en science des donnes ou dans un domaine connexe

Qualifications souhaites

• Exprience avec Jinja, Shell scripting, DBT
• Dvelopper dans une plateforme Cloud en utilisant des technologies sans serveur telles que AWS glue, lambda, EMR et EKS est un plus
• Exprience du dveloppement distance l'aide d'AWS SDK est un plus
• Exprience avec les pipelines ETL et ELT, y compris les outils ETL traditionnels (par exemple, Airflow, Talend, Informatica) et les frameworks ELT modernes (par exemple, dbt, Snowflake)
• Connaissance des rles AWS IAM, des permissions et des meilleures pratiques pour un accs avec le moins de privilges possible
• Exprience de Terraform pour le provisionnement des ressources AWS, y compris la gestion de l'tat distance et les meilleures pratiques en matire de scurit
• Exprience pratique du rseau AWS (VPC, groupes de scurit, autorisations inter-comptes)
• Conception et mise en uvre d'API REST
• Familiarit avec les conteneurs et les principes de l'infrastructure en tant que code
• Exprience avec les cadres d'automatisation - Git, Jenkins et Terraform
• Matrise en informatique, en science des donnes ou dans un domaine connexe

At Autodesk, we're building a diverse workplace and an inclusive culture to give more people the chance to imagine, design, and make a better world. Autodesk is proud to be an equal opportunity employer and considers all qualified applicants for employment without regard to race, color, religion, age, sex, sexual orientation, gender, gender identity, national origin, disability, veteran status or any other legally protected characteristic. We also consider for employment all qualified applicants regardless of criminal histories, consistent with applicable law.

Are you an existing contractor or consultant with Autodesk? Please search for open jobs and apply internally (not on this external site). If you have any questions or require support, contact Autodesk Careers.