L1 数据工程师 - 远程

我们正在寻找一名充满热情且技术扎实的L1数据工程师，加入我们快速增长的数据与分析团队。在这一角色中，您将负责设计、构建和维护支持我们组织数据战略的数据架构和基础设施。您将亲自参与开发、测试和部署可靠的解决方案，确保管道可扩展、高效且符合业务需求。您将负责设计、开发和维护可扩展的数据管道和ETL/ELT工作流，以支持业务智能和分析用例。您将使用Azure Data Factory和Databricks构建和优化数据摄入过程，确保数据质量在数据平台的所有层面上保持一致。您将使用PySpark和Python处理和转换大数据集，应用最佳实践以确保性能和可维护性。您将编写和优化复杂的SQL查询以支持分析报告和数据验证需求。您将与数据架构师和高级工程师合作，实施和维护与组织标准一致的数据模型。您将监控、排查和解决管道失败和数据质量问题，应用根本原因分析以防止再次发生。您将参与数据管道、数据字典和工程标准的文档编写。您将支持团队在探索和评估新工具和方法以持续改进数据基础设施。

2年以上在数据工程或相关领域的专业经验。熟练使用Python进行数据处理、转换和自动化任务。有Pandas用于数据操作和PySpark用于分布式数据处理的实践经验。有Databricks的实践经验，包括笔记本开发、集群和作业编排。有使用Azure Data Factory构建和管理数据管道的经验。对Azure Synapse Analytics有工作知识，特别是Spark池集成。有扎实的SQL技能，包括查询编写、优化和性能调优。熟悉数据工程原则，包括增量加载、数据湖架构和Delta Lake。理解云数据平台中的数据治理和安全概念。

DeepSource Technologies是一家快速发展的技术公司，专注于数据工程和分析解决方案。我们致力于通过创新的数据平台和工具，帮助客户实现数据驱动的决策。