Flyte 2:规模化的可靠ML编排
用纯Python可靠编排ML流水线、模型和智能体——能够规模运行。
- Star 数
- ★ 7.7k
- 最近更新
- 2 天前
- License
- Apache-2.0
- 主语言
- Go
- FA 评分
- 0/100 · 缺口较多
30 秒速览
- 运行形态
- 可在哪里用
- 平台专用
- 费用
- 有免费版,另有付费云服务
- 上手难度
- 中 · 需要几步配置
- 开始前需要
- 典型场景
- 数据科学家需要仅使用Python定义一个ML流水线,无需深入了解基础设施细节。
- 不适合
- 需要开箱即用生产后端的团队,开源后端尚未发布
- 希望完全离线或自建集群运行的团队,生产级后端目前仅在 Union.ai 提供
- 仍在使用 Flyte 1 且不愿迁移的用户
这个 Agent 能做什么,适合哪些场景?
Flyte 2是一个开源、Kubernetes原生的AI编排平台,能够协调数据、模型和计算,在规模上构建AI工作流。它提供Python SDK和CLI,用于定义和运行任务、工作流,以及使用FastAPI服务模型。Flyte 2能处理异步任务执行、并发,并且是LF AI & Data基金会的毕业项目。该仓库目前包含SDK和本地开发体验(包括TUI),而Kubernetes后端则被预告为即将推出,或者可通过Union.ai获取企业版后端。
Flyte 2可让用户通过Python装饰器(如 @env.task)定义任务,并利用异步并发来编排工作流。它提供了任务环境(TaskEnvironment),可指定容器镜像和依赖项。用户可以使用Python或CLI运行工作流,其中CLI命令如 flyte run hello.py main --numbers '[1,2,3]'。模型可通过FastAPI应用提供服务,使用 FastAPIAppEnvironment 和 flyte serve 命令进行部署。该平台通过管理异步执行的编排和并发,简化了多步骤ML流水线的运行。
- 数据科学家需要仅使用Python定义一个ML流水线,无需深入了解基础设施细节。
- ML工程师希望以可靠、可扩展的方式在Kubernetes上编排异步任务。
- 团队需要为模型提供一个带有REST API的FastAPI服务。
- 开发者希望体验本地开发工具,包括TUI,以便进行快速迭代。
- 组织需要具有生产级支持的编排平台,可用于大规模AI工作负载。
如何安装或部署这个 Agent?
使用 uv pip install flyte 安装Flyte。对于TUI本地开发体验,使用 uv pip install flyte[tui]。
如何使用这个 Agent?
- 初始化一个Flyte环境:env = flyte.TaskEnvironment(name="hello_world", image=flyte.Image.from_debian_base(python_version=(3, 12)))
- 使用 @env.task 定义任务,并使用异步函数或并发调用它们。
- 使用 flyte.init() 初始化Flyte,并使用 flyte.run(main, numbers=list(range(10))) 运行工作流。
- 或者,使用CLI:flyte run hello.py main --numbers '[1,2,3]'。
- 对于模型服务,使用FastAPI创建应用,使用 FastAPIAppEnvironment 包装它,并使用 flyte.serve(env) 提供服务。
这个 Agent 有哪些优点和局限?
- 纯Python SDK,便于采用。
- 支持异步任务,实现高效并发。
- 提供本地开发TUI,改善开发体验。
- 与Kubernetes原生集成,可扩展部署。
- 来自LF AI & Data基金会的毕业项目。
- 后端目前不可用;需要等待或使用企业版解决方案。
- 需要Python 3.12和uv,可能需要对现有环境进行调整。
- 与Flyte 1存在迁移复杂性。
- 文档指向外部网站,而非仓库内的文档。
这个 Agent 与同类方案有什么区别?
与相关度最高的同类 agent 并排比较关键指标。
| Agent | 源码审查 | 形态 / 费用 | Star | 最近更新 | 主语言 | 完整支持的平台 |
|---|---|---|---|---|---|---|
| Flyte 2:规模化的可靠ML编排 当前 | 0 · 缺口较多 | 命令行工具免费版 + 付费版 | ★ 7.7k | 2 天前 | Go | — |
| Metaflow | 77 · 表现良好 | 代码库 / SDK免费 | ★ 10k | 3 天前 | Python | — |
| Sparrow 文档智能平台 | 29 · 缺口较多 | 命令行工具免费 + 模型费 | ★ 5.2k | 11 天前 | Python | — |
| DecisionBox | 44 · 缺口较多 | 自托管服务免费 + 模型费 | ★ 120 | 20 天前 | Go | OpenAI API · Claude API |
FollowAgents 如何评估这个 Agent?
查看各维度的扣分理由
证据不足:仓库未提供权限模型、用户确认机制、数据流透明性、敏感数据处理、依赖安全审计、外部影响控制、回滚机制或来源归属的明确说明。所有标准均因缺乏证据而评为0。
证据不足:未提供自洽性、依赖可用性或失败消息的明确证据。所有标准均因缺乏证据而评为0。
证据不足:未提供目标受众、能力边界、触发精度或环境适配的明确说明。所有标准均因缺乏证据而评为0。
证据不足:未提供信息架构、安装说明、命名稳定性、示例与FAQ、已知限制、许可证、版本控制或维护责任的明确证据。所有标准均因缺乏证据而评为0。
证据不足:未提供输出可用性、边际价值或成本效益的明确证据。所有标准均因缺乏证据而评为0。
证据不足:未提供声明可追溯性、跨来源佐证或事实与推断分离的明确证据。所有标准均因缺乏证据而评为0。
- 源码中未见:最小权限约束只授予完成任务所需的权限:用专用账号或只读令牌,并限定可访问的目录和仓库。
- 源码中未见:执行前用户确认开启或自行加上执行前确认;先在沙箱或测试环境跑通,确认行为后再接入真实数据。
- 源码中未见:数据流向说明运行时观察它连接了哪些外部服务(代理或防火墙日志);弄清数据去向之前不要输入敏感数据。
- 源码中未见:敏感信息处理使用专用、低权限、可随时吊销的 API 密钥,不要复用生产凭据,也不要让密钥出现在日志里。
- 源码中未见:依赖安全审查安装前固定版本并做一次依赖扫描(如 npm audit、pip-audit);优先放在容器里运行。
- 源码中未见:外部影响披露先弄清它会写入、发送或修改哪些外部系统,用测试账号或测试仓库验证后再接入正式环境。
- 源码中未见:回滚或恢复路径运行前先备份,或在 git 分支、快照上操作,确保改动可以撤销。
- 源码中未见:来源归属可核验从官方仓库或包源安装,核对发布者和仓库地址,避免同名仿冒包。
- 仓库内容不足以支持对Agent产品的全面评估,建议获取更多文档或代码细节。
- 发布者身份未经验证,需谨慎对待。
最近版本
来自该项目 GitHub Releases 的最新发布记录,说明为上游原文摘录,未经本站改写或测试。
-
发布说明摘录
What's Changed * fix(copilot): download multipart blob items through the authenticated store by @k1sauce in https://github.com/flyteorg/flyte/pull/8077 * fix(executor): surface Kueue preemptions as system retries with their reason by @AdilFayyaz in https://github.com/flyteorg/flyte/pull/8070 * feat: add queue_id to SelectClusterRequest by @EngHabu in https://github.com/flyteorg/flyte/pull/8088 * idl: restrict the character set of artifact name and version by @EngHabu in https://github.com/flyteorg/flyte/pull/8092 …在 GitHub 查看 ↗ -
发布说明摘录
What's Changed * [Feat] add sleep plugin by @machichima in https://github.com/flyteorg/flyte/pull/7579 * build(deps): bump github.com/prometheus/client_golang from 1.23.2 to 1.24.1 by @dependabot[bot] in https://github.com/flyteorg/flyte/pull/7724 * build(deps): bump gorm.io/driver/postgres from 1.6.0 to 1.6.1 by @dependabot[bot] in https://github.com/flyteorg/flyte/pull/7734 * update README messaging for Flyte v2 by @cosmicbboy in https://github.com/flyteorg/flyte/pull/7769 …在 GitHub 查看 ↗ -
发布说明摘录
What's Changed * fix(flytek8s): dedupe container env vars by name in DecorateEnvVars by @AdilFayyaz in https://github.com/flyteorg/flyte/pull/8053 * build(deps): bump google.golang.org/api from 0.297.0 to 0.298.0 by @dependabot[bot] in https://github.com/flyteorg/flyte/pull/8062 * build(deps): bump sigs.k8s.io/controller-runtime from 0.25.0 to 0.25.1 by @dependabot[bot] in https://github.com/flyteorg/flyte/pull/8061 * build(deps): bump github.com/aws/aws-sdk-go-v2/service/secretsmanager from 1.49.0 to 1.50.0 by @dependabot[bot] in https://github.com/flyteorg/flyte/pull/8059 …在 GitHub 查看 ↗