SEO
$2000 - $4500 / month
加载中...
我们正在寻找一名数据工程师加入我们的数据平台团队,专注于构建可扩展的数据管道,并在组织内启用分析。在这一职位中,您将与现代数据栈工具如 Databricks、AWS、Airflow、Airbyte 和 dbt 一起设计和维护数据工作流,以支持报告、分析和数据驱动的决策。这是一个很好的选择,如果您喜欢在大规模数据系统中工作,构建可靠的工作流,并在云环境中优化性能。
您的职责包括:设计和构建可扩展的ETL/ELT工作流,使用批量和流式方法;从多个来源(数据库、API、事件流)开发输入工作流;实施输入策略,包括完整加载、增量加载和CDC;使用Apache Airflow orchestrate数据工作流;使用Airbyte管理数据连接器;使用Databricks Lakehouse构建和优化数据处理工作流;编写并优化复杂的SQL查询用于分析和转换;使用dbt构建模块化且可测试的数据模型(staging → intermediate → marts);维护平台的数据质量、可观察性和可靠性;使用AWS服务如S3、Lambda、EC2、IAM;使用Docker和Kubernetes(EKS)容器化数据服务;文档化工作流、数据模型和数据字典以确保长期可维护性。
至少4年数据工程经验;对数据架构(数据湖、数据仓库、湖仓一体)有深入理解;有ETL/ELT工作流的实战经验,包括批量和流式处理;熟悉输入模式:完整加载、增量加载、CDC、事件驱动;有Databricks(Delta Live Tables、Jobs、Notebooks)使用经验;在PySpark或Spark SQL进行大规模数据处理方面有强技能;对Delta Lake(ACID、时间旅行、模式演变)有扎实理解;有Apache Airflow(DAGs、调度、监控)使用经验;有Airbyte或类似输入工具使用经验;强SQL技能(CTEs、连接、窗口函数、查询优化);有dbt用于转换、测试和文档化经验;有AWS(S3、Lambda、IAM等)实战经验;英语沟通能力(至少C1水平)。
有竞争力的薪资范围,如果您是合适的人选,我们愿意协商;混合/远程友好文化,工作地点由您选择!;灵活工时,异步团队协作(我们尊重您的专注时间);工作设备支持;允许认证及技能发展津贴;年终奖金及绩效奖励;第五年享有22天带薪假期(可休整一个月);职业成长与个人辅导会;开放、协作的团队文化——无微管理,只有信任;工具及AI驱动的工作流使远程工作更简单。
CoderPush 是一家以远程工作为核心的技术公司,与初创企业和全球企业合作,构建可扩展、高质量的软件产品。我们专注于长期合作、清晰沟通,并通过强工程和产品思维带来真实影响。请访问:https://coderpush.com/
注册并登录后即可查看
$2000 - $4500 / month
$3000 - $6500 / month
年薪20k-50k,负责区块链生态渠道拓展与合作伙伴运营
VIP 成员成功专员 关于 Wellnite Wellnite 是一个快速发展的心理健康平台,帮助人们获得治疗、精神科和 24/7 AI 驱动的心理健康支持。我们与主要保险计划合作,专注于让心理健康护理更简单、更快捷且更有人性。