TechDoQuest 高级数据工程师招聘 加拿大 | LinkedIn

负责Databricks架构和设计原则的分析与贡献，确保可扩展性和性能；开发和维护高效的数据处理脚本，使用Python和PySpark；深入理解数据集的结构、血缘、语义和业务背景；使用GitHub进行版本控制，通过GitHub Actions自动化工作流和CI/CD流水线；在DevOps环境中配置和维护CI/CD流水线；利用GitHub Copilot和Databricks Assistant等AI编码助手提高开发效率；与数据科学家、分析师和平台工程师等跨职能团队协作；使用高级SQL进行数据转换、分析和故障排除；应用强的数据工程原则设计、优化和维护可扩展的ETL/ELT流程；使用Apache Airflow或类似编排工具构建和管理数据工作流；在DBX环境中开发可扩展的流水线并执行平台的最佳实践。

5年以上数据工程或相关经验；精通Python和PySpark，具备分布式数据处理基础；有Databricks（DBX）使用经验，包括工作区管理和Unity Catalog集成；熟悉数据安全和治理最佳实践；精通SQL，包括复杂查询、优化和性能调优；有Datadog等监控工具经验；精通Git/GitHub，包括拉取请求、分支策略和GitHub Actions；有DevOps实践经验，特别是数据流水线部署；熟悉GitHub Copilot和Databricks Assistant等AI编码工具；具备强的问题解决能力，能适应快节奏、协作型工作环境；有工作流编排经验， preferably使用Apache Airflow。