数据工程师 — AWS Glue / 流处理 / Python

我们正在寻找一名数据工程师，负责设计、构建和运营跨AWS和混合（本地+云）环境的可扩展、事件驱动的数据管道。您将负责构建数据摄入和同步服务，确保近实时更新和可靠的变化传播。使用Python和ETL工具（包括AWS原生服务）摄入多个来源的数据。设计和实现基于事件驱动/流架构的解决方案，使用AWS EventBridge、Kafka或SNS/SQS进行实时数据移动和处理。设计、实现和维护跨本地+AWS云环境的可扩展数据管道。开发高效的Python/PySpark应用程序来处理大规模数据集（利用pandas和NumPy库）。与NoSQL数据库（如DynamoDB、MongoDB、Cassandra）合作以支持高性能存储和检索模式。构建并部署云原生架构，确保可扩展性、弹性和安全设计。实施强监控和运营卓越实践：CloudWatch、日志、警报、追踪和主动故障排除。将现有管道迁移到MS SQL Server并确保性能、治理和数据质量得到维持或提升。与业务/应用所有者紧密合作以了解当前摄入和管道架构、业务逻辑和转换模式、数据消费和分析需求。设计和记录目标状态的数据架构，包括管道、处理模式和分析能力。识别优化、合并和简化管道、逻辑和基础设施的机会。与数据团队合作将业务逻辑分解为可扩展的转换模式和可重用的组件。

AWS Glue（ETL管道开发，orchestation，job tuning） 流处理/消息：Kafka和/或AWS SNS/SQS（事件驱动的数据流） Python（强）和PySpark 数据湖概念和实现（例如基于S3的湖模式） 可观测性：CloudWatch和CloudTrail用于监控和审计 可能需要数据库设计和SQL（关系模型，性能导向的查询）

年薪范围：$92,000 - $141,000/年（可转换为月薪） 医疗、牙科、视力、处方药、人寿、意外死亡及残疾保险 员工援助计划 401(k)退休计划 10天带薪年假（某些职位可享受无指定天数的需求数量年假） 10天带薪假日/年

请提交简历（PDF）和总结相关经验的简短说明（包含AWS Glue + 流处理（Kafka/SNS/SQS） + Python/PySpark）