大数据开发工程师(Pyspark/Scala)
大数据开发工程师(Pyspark/Scala)职位负责参与新或修订应用程序系统的建立和实施,与技术团队协调。
加载中...
加入我们的大数据工程团队,负责开发高并发API、核心系统组件和稳健SDK。参与并领导设计评审,选择和实现分布式查询处理、异步消息管道及LLM驱动代理技术。维护复杂数据架构,包括多集群Trino、Cassandra、Redis和客户面向SDK。调试分布式大数据系统和高吞吐Kafka驱动管道及Kubernetes管理服务。整合LLM和自动化流程到日常开发生命周期中。要求3年以上经验,精通Golang和Python API服务器,熟悉Trino/Presto、Redis和Cassandra。具备Java、Python和Golang SDK和库开发经验。能构建和优化高吞吐数据管道,读取和写入对象存储。具备整合LLM到日常开发流程的能力。理解数据结构、算法、模式设计(Cassandra CQL、Parquet)、查询优化(Trino SQL)和分布式查询引擎维护。具备大规模数据集处理能力(DuckDB、Apache Arrow、pandas、numpy)。
3年以上专业经验,计算机科学、工程或相关领域学士学位。精通Golang和Python API服务器,有Trino/Presto、Redis和Cassandra实战经验。具备Java、Python和Golang SDK和库开发经验。有高吞吐数据管道开发经验。能整合LLM到日常开发流程中。理解数据结构、算法、模式设计(Cassandra CQL、Parquet)、查询优化(Trino SQL)和分布式查询引擎维护。具备大规模数据集处理能力(DuckDB、Apache Arrow、pandas、numpy)。
提供全面的健康、财务、家庭、工作时间及其它方面的福利。包含医疗保险、401K储蓄计划、公司假期、带薪病假、家庭友好福利(包括产假)、员工援助计划(关注心理健康和财务健康)。全球灵活工作安排(FlexBase)允许95%员工选择在家、办公室或两者兼顾工作。公司为全球人才提供灵活的工作方式。
Akamai通过云到边缘的全球分布式计算平台,帮助全球领先企业构建、交付和安全数字体验,服务数十亿人日常生活。公司致力于保护在线体验,通过解决最严峻挑战,共同推动技术进步。
注册并登录后即可查看
大数据开发工程师(Pyspark/Scala)职位负责参与新或修订应用程序系统的建立和实施,与技术团队协调。
Binance 是全球领先的区块链生态系统,背后是按交易量和注册用户数最大的加密货币交易所。我们被 3 亿多人在 100 多个国家信任,以行业领先的安保、用户资金透明度、交易引擎速度、深度流动性以及 unmatched 的数字资产产品而闻名。Binance 的产品涵盖从交易和金融到教育、研究、支付、机构服务、Web3 特性等。我们利用数字资产和区块链的力量,构建包容性的金融生态系统,以推进金钱的自由并改善全球人们的金融接入。
EPAM 是全球领先的数字平台工程和开发服务提供商。我们致力于对客户、员工和社区产生积极影响。我们拥抱动态和包容的文化。在这里,您将与跨国团队合作,参与众多创新项目,交付最具创意和前沿的解决方案,并有机会持续学习和成长。无论您在哪里,您都将加入一个专注、创意和多样化的社区,帮助您发现您的最大潜力。
亚马逊零售利润智能团队正在寻找一位经验丰富的高级数据工程师加入历史贡献利润(HCP)团队。HCP是一个快速增长的团队,致力于构建自动化利润和损失预测与规划工具,支持物理消费品业务。我们使用大数据技术和原生AWS(NAWS)构建下一代数据和商业智能解决方案。