职位描述

负责开发、扩展和优化数据和数据管道架构，以及优化数据流和收集以满足跨职能团队的需求。支持软件开发人员、数据库架构师、数据分析师和数据科学家的数据项目，并确保最佳数据交付架构在整个项目中保持一致。创建新的管道并维护现有管道，更新提取、转换、加载（ETL）过程，创建新的ETL功能，使用Redshift Spectrum、Databricks、AWS EMR、SageMaker等构建PoC。实施大数据工程：数据增强、数据质量分析、数据分析（异常和趋势）、数据配置文件、数据算法和（测量/开发）数据成熟度模型并开发数据策略建议。操作大规模数据处理管道并解决与处理和数据质量相关的业务和技术问题。组装大型复杂的数据集以满足非功能性及功能性业务需求。识别、设计并实施内部流程改进，包括重新设计数据基础设施以提高可扩展性、优化数据交付和自动化手动流程。使用AWS和SQL技术构建必要的基础设施，以优化从各种数据源提取、转换和加载数据。构建分析工具以利用数据管道，提供有关关键业务绩效指标（运营效率和客户获取）的可操作见解。与数据、设计、产品和政府相关利益持有者合作，协助他们解决数据相关的技术问题。编写所有数据处理代码的单元和集成测试。与DevOps工程师合作进行CI、CD和IaC。阅读规范并将其转化为代码和设计文档。执行代码审查并开发提高代码质量的过程。执行其他指派的任务。

任职要求

所有候选人必须通过美国联邦政府的公众信任清查。这要求候选人必须是美国公民，或通过外国国家政府系统获得清查，这要求候选人至少在过去的五年中在美国生活了三年，持有有效且未过期的护照，并有适当的签证/工作许可文件。至少8年的数据工程师或在实际软件开发中的经验，包括至少4年使用Python、Java和云技术来构建和维护数据管道的经验。计算机科学、信息管理、工程、商业或相关科学和技术学科的学士学位要求。或在 lieu of 学位，候选人可能有10年的信息技术经验，包括至少8年的专业经验。专家数据管道构建者和数据整理者，享受优化数据系统并从地面建设它们。自我独立且能够支持多个团队、系统和产品的数据需求。有设计共享服务数据架构的经验，可扩展性和性能。有设计数据服务的经验，包括API、元数据和数据目录。有数据治理流程的经验，包括批量和流数据的摄入、整理和与上游和下游数据用户共享数据。能够构建和优化数据集、'大数据'数据管道和架构。能够对内部和外部过程和数据进行根本原因分析，以识别改进机会并回答问题。具有与无结构数据集工作相关的出色分析技能。能够构建支持数据转换、工作负载管理、数据结构、依赖性和元数据的过程。有使用软件和工具的经验，包括大数据工具如Spark和Hadoop；关系数据库包括MySQL和Postgres；工作流管理和管道工具如Apache Airflow和AWS Step Function；AWS云服务包括Redshift、RDS、EMR和EC2；流处理系统如Spark-Streaming和Storm；以及面向对象脚本语言包括Scala、Java和Python。灵活并愿意接受必要的优先事项变更。能够在一个快速节奏、团队导向的环境中工作。有敏捷方法经验，使用测试驱动开发。有GitHub和Atlassian Jira/Confluence的经验。英语的出色掌握能力。