高级数据工程师

负责设计、开发和管理数据处理和分析基础设施。理想的候选人需要有使用Spark和Databricks的丰富经验，以及扎实的数据工程原则和最佳实践背景。

教育背景：计算机科学、数据工程、工程或相关技术领域的学士学位，或同等实践经验。硕士学历或相关行业认证（Databricks认证数据工程师专业、AWS/Azure数据认证）优先。

经验：7年以上数据工程经验，其中3年以上在Databricks和Apache Spark上构建数据管道的实战经验。

技术技能：精通Python（PySpark、pandas、NumPy）和SQL（复杂查询、窗口函数、CTE、查询优化）。深入掌握Apache Spark，包括性能优化（分区调优、广播连接、数据倾斜处理、缓存策略）、Delta Lake特性（ACID事务、时间旅行、MERGE操作、CDC、液体聚类）以及Spark内部机制（DAG执行、催化剂优化器、钨执行引擎）。具备Databricks平台生产经验，包括Delta Live Tables（DLT）声明式管道开发、Unity Catalog数据治理、Databricks Workflows orchestration、集群优化和成本管理（spot实例、自动扩展、无服务器计算）、Databricks Asset Bundles CI/CD、Databricks SQL和Lakeview仪表板。数据架构与建模：熟悉数据建模技术，包括维度建模（星型 schema、事实/维度表）、Medallion架构（bronze/silver/gold层）、Slowly Changing Dimensions（SCD）实现、专家级SQL技能（查询优化、执行计划分析、性能调优）以及现代湖仓模式和湖仓与传统数据仓库的权衡理解。DevOps与数据运维：具备强DevOps/DataOps经验，包括Git工作流（分支策略、拉取请求、代码审查）、CI/CD数据工作流（GitHub Actions、Azure DevOps、Jenkins）、测试策略（单元测试、集成测试、数据质量测试）、监控和可观测性（日志、告警、SLA跟踪）。领导力与软技能：能够指导初级工程师并进行技术代码审查，有技术设计讨论领导经验，具备跨职能团队环境中的沟通协作能力。

VaxCare是一家专注于医疗健康领域的创新技术公司，致力于通过数据驱动的解决方案提升疫苗分配效率和公共卫生管理。