AWS数据工程师

我们正在寻找一位才华横溢的AWS数据工程师加入我们的动态数据工程团队。理想的候选人将负责设计、开发和维护可扩展的数据管道和架构在AWS云环境。该角色将与数据科学家、分析师和其他业务相关方紧密合作，以交付稳健的数据解决方案。关键职责包括：设计、构建和维护高效、可重用且可靠的架构和代码用于数据管道和数据应用；构建稳健的数据摄入管道（从本地到AWS和AWS内部）使用AWS服务如Glue、Redshift、S3、Lambda、EMR/Spark、Kinesis、SQS；开发和管理ETL/ELT过程以收集、处理和存储来自多个来源的数据，确保数据质量、完整性和安全性；构建和实施端到端数据解决方案（摄入、存储、整合、处理、访问）在AWS，重点是数据湖和数据仓库；参与高规模数据工程项目的架构和系统设计讨论；独立执行hands-on开发、单元测试并参与代码审查以确保遵守最佳实践；使用AWS Lambda、API Gateway、Step Functions和其他AWS技术实现无服务器应用程序；将数据从传统关系数据库、文件系统和API迁移到AWS基于数据湖（S3）、RDS、Aurora、Redshift；实现高速流解决方案使用Amazon Kinesis、SQS和Kafka（首选）；构建企业数据平台的CI/CD策略；与产品、运营、QA和跨职能团队在整个软件开发生命周期中协作；保持对新技术发展的了解，实施新工具/技术的POC并将其引入实际用例；识别并解决性能问题并持续优化成本、可靠性和可扩展性。

4年以上在AWS上实施和维护数据湖、数据仓库和数据应用的经验；强大的Python、Shell脚本和SQL编程经验；熟悉AWS服务：CloudFormation、S3、Athena、Glue、EMR/Spark、RDS、Redshift、DynamoDB、Lambda、Step Functions、IAM、KMS、Secrets Manager；具有无服务器应用程序开发和数据管道编排经验；具有在AWS上系统分析、设计、开发和实施数据摄入管道的经验；了解ETL/ELT、数据建模和大数据技术；熟悉数据仓库概念和云架构；强大的问题解决技能和注意力到细节；优秀的沟通和团队合作能力。