如何将 dbt ETL 管道迁移到 Databricks

Databricks 介绍如何让 Genie Agents 同时基于结构化数据与文档运行，且不牺牲治理能力。文章探讨了构建自动化简单业务任务的智能体虽易，但要在统一治理框架下融合两类数据源、确保安全合规地执行查询，仍需解决数据权限、血缘追踪与策略管控等关键问题。

IFCO 数据平台团队与 Databricks Forward Deployed Engineering 合作，将核心语义层作业的每日运行时间缩短超过 60%，并停用了昂贵的夜间全量刷新。改造后转换逻辑仍留在 dbt 中，运行在 Databricks 上，通过 Liquid clustering、merge 增量策略和行哈希校验等配置，让每次运行只触碰实际变更的数据。

Databricks 详解 Genie Ontology 如何为 Genie 提供持续更新的企业业务上下文，结合 Unity Catalog 中经治理认证的核心概念与从仪表盘、文档、查询、notebook 中学习到的知识，再由 OntoRank 按认证、使用量、作者等信号排序权威性。

Databricks 提出一套评估框架，用业务影响、需求重复度、数据与元数据就绪度、范围清晰度、治理与风险匹配 5 项标准各打 1-5 分，总分 20-25 分即可开建，14-19 分需继续打磨，低于 14 分暂不适合。2026 年 Genie Agents 创建量已超 100 万个，最常见的失败原因是选错工作流，而非准确率。此外，若没有业务负责人或高管支持，无论评分多高都不应启动。

Databricks 发布基于 Lakebase 和 AI Search 的电商实时推荐参考架构，源自服务亚洲某时尚电商平台的真实实现，该平台月活超 100 万、SKU 超 10 万。系统每秒摄入约 1000 条事件，通过 Zerobus Ingest 写入 Unity Catalog Delta 表，并采用预计算批量推荐与实时会话感知两条服务路径。

Databricks 的 Genie One 是一款基于业务上下文的数据智能 AI 同事，可理解已批准的指标定义、财年逻辑、实体结构和企业术语，帮助财务团队分析预算差异、现金流预测、财务关账和支出分析等场景。Coty 用它让财务负责人自助访问受治理的 P&L、净收入和 CapEx 数据，Unilever 表示原本需要数天的工作现在只需几分钟。

Databricks 的 Lakebase Postgres 通过存储计算分离架构实现成本优化：数据库分支共享底层存储，避免为每个环境复制物理副本；自动扩缩容按实际用量计费，配合 scale to zero 可在闲置后完全暂停计算，几百毫秒内恢复。

Databricks 联合 OpenAI 和 Stellantis 探讨企业级智能体应用的规模化路径，提出基础设施需同时提供模型与框架选择、受治理的企业上下文、以及贯穿每次操作的控制能力。

Databricks 发文介绍其让 12,000 多名员工在新模型发布首日即可使用的方法，依托 Unity Gateway 和 UG CLI 分发实验配置，并用按用户的四类预算限制用量。

Databricks 发布 Genie One 企业推广分步指南，建议从单一团队和一组明确问题起步，先定义语义层再逐步扩大范围。Genie One 让业务用户用自然语言提问并获得带来源引用的答案，配套 Genie Agents、Genie Ontology 和 Unity Catalog 分别负责领域智能体、业务语义图谱与权限治理。