数据工程高级工程师

负责开发数据处理代码，确保性能和可扩展性要求得到满足。定义编码标准、模板和检查清单。审查团队和同行的代码。创建/审查设计/流程/开发的模板、检查表、指南和标准。创建/审查可交付文档，包括设计文档、架构文档、基础设施成本、业务需求、源-目标映射、测试用例和结果。定义并管理配置管理计划。确保团队合规。审查单元测试用例、场景和执行。审查测试团队制定的测试计划和策略。提供对测试团队的澄清。与客户领域相关，识别增值机会。完成相关领域认证。支持项目经理的项目输入。提供项目计划或冲刺所需的输入。管理模块交付。执行缺陷根本原因分析（RCA）和缓解措施。识别缺陷趋势并实施主动措施提高质量。创建和提供努力和大小估计以及项目资源计划。消费和贡献项目相关文档、SharePoint库和客户大学。审查团队创建的可重用文档。执行和监控发布流程。贡献应用程序设计（HLD/LLD/SAD）/架构和业务组件和数据模型。澄清需求并指导开发团队。向客户提供设计选项。进行产品演示。与客户架构师紧密合作以确定最终设计。设置FAST目标并提供建议。理解团队成员的抱负并提供指导和机会。确保团队成员得到技能提升。与客户领域相关，识别增值机会。完成相关领域和技术认证。精通SQL、Python或其他用于数据处理的编程语言。使用Apache Airflow、Talend、Informatica、AWS Glue、Dataproc和Azure ADF等ETL工具的经验。在AWS、Azure或Google Cloud等云平台上，特别是与数据相关服务（如AWS Glue、BigQuery）的经验。对数据管道进行测试并评估结果是否符合数据质量和性能规范。具有性能调优经验。具有数据仓库设计和成本改进经验。应用和优化数据模型以高效存储、检索和处理大规模数据集。与客户沟通和解释设计/开发方面。估计开发/调试功能/组件的时间和资源需求。参与RFP响应和解决方案。指导团队成员并指导他们在相关技能提升和认证方面的学习。

精通SQL、Python或其他用于数据处理的编程语言。使用Apache Airflow、Talend、Informatica、AWS Glue、Dataproc和Azure ADF等ETL工具的经验。在AWS、Azure或Google Cloud等云平台上，特别是与数据相关服务（如AWS Glue、BigQuery）的经验。具有性能调优经验。具有数据仓库设计和成本改进经验。应用和优化数据模型以高效存储、检索和处理大规模数据集。与客户沟通和解释设计/开发方面。估计开发/调试功能/组件的时间和资源需求。参与RFP响应和解决方案。指导团队成员并指导他们在相关技能提升和认证方面的学习。