Luxoft Spain 招聘 Lead 数据平台工程师（Palantir 或 Databricks）在西班牙 | LinkedIn

管理并优化 Palantir 数据平台。
确保数据系统的高可用性、安全性和性能。
提供关于数据平台使用情况的有价值的见解。
优化大规模数据处理的计算和存储。
设计和维护用于 ETL 流程和平台治理的系统库（Python）。
优化 ETL 过程——增强和调优现有 ETL 过程以提高性能、可扩展性和可靠性。
AIP 与 AI 能力：支持设计和部署 AIP 使用案例，如 Copilot、检索工作流和决策支持代理。
通过连接相关数据源、嵌入/向量搜索、本体内容来引导代理和逻辑流使用 RAG（检索增强生成）。
在需要时使用本体增强生成（OAG）：在逻辑、数据、行动和关系嵌入本体的运营决策制定中。
与高级工程师合作，使用 AIP 的原生功能设计代理、指令和评估。

必须拥有至少 10 年的 IT/数据经验。
至少 5 年的数据平台工程师/数据工程师经验。
至少 3 年的 Palantir Foundry 经验。
具备使用或支持 AIP 特性（如 RAG 工作流、Copilot 或基于代理的应用）的实践经验。
IT 或相关领域学士学位。
基础设施与云：Azure、AWS（存储、网络、计算方面的专长）。
精通 PySpark 分布式计算。
精通 Python 的 ETL 开发。
SQL：精通编写和优化 SQL 查询， preferably 有 PostgreSQL、MySQL、Oracle 或 Snowflake 等数据库的经验。
ETL 工具：熟悉 ETL 工具与流程。
数据建模：有维度建模、规范化/反规范化和模式设计的经验。
版本控制：熟悉 Git 等版本控制工具以管理代码库并协作开发。
数据管道监控：熟悉监控工具（如 Prometheus、Grafana 或自定义监控脚本）以跟踪管道性能。
数据质量工具：有实施数据验证、清洗和质量框架的经验，理想情况下使用 Monte Carlo。