ETL, Data Mining, RPA, Workflow All in One
关于可视化流程编排工具,相信很多人并不陌生。在日常的工作场景中,我们总会接触到各类 Workflow 工具,并利用它们来解决不同的业务问题,比如:BPM 工作流、ETL、RPA 以及最近火热的 AI 工作流等。这些 Workflow 通常由不同的技术框架提供底层支撑,它们将一些基础能力进行封装,并允许使用者进行扩展与组合,以完成特定的业务场景。
渐进式的演进:从代码到可视化
大部分 Workflow 框架最初是面向开发人员的,提供了便利的代码开发方式,例如:Spark、Flink、Temporal、LangChain 等。但伴随着业务复杂度的提升,以及实施过程中需求的频繁变更,可视化编排 Workflow的需求应运而生。
如今,我们能够看到大量具备可视化编排能力的工具:
面向 ETL 场景:Kettle、StreamSets;
面向数据挖掘(Data Mining):SPSS、KNIME、RapidMiner;
面向 RPA 场景:n8n、UiPath;
面向 AI 工作流场景:Dify、Coze;
面向调度编排:Airflow、DolphinScheduler;
面向 BPM/业务流:Flowable、Activiti;
以及面向 CDC、CEP、SOAR 等各类特定场景的工具。
这些工具起源于不同的业务需求,但给出的可视化编排方式却非常相似——都支持通过“拖拽组件 + 连接线”的方式构建特定的业务 Workflow。这种模式极大地降低了流程构建的门槛,提升了对业务需求的响应速度,同时也因其较低的学习成本,让业务人员也有机会按需调整自己的业务逻辑。
相似的外表下,大相径庭的底层计算
虽然各类 Workflow 框架发展活跃,且可视化编排风格高度相似,但它们的底层工作机制却存在天壤之别:
ETL 与数据挖掘场景:要求支持批处理与高并行计算,能够应对海量数据的分析与清洗;
CDC 实时数据流:对低延迟、高实时的计算有极高要求;
RPA 与 AI 工作流:需要高并发支持,能够同时响应并激活大量的并发请求;
BPM 与 Human-in-the-Loop 场景:要求计算“可中断”,并能根据人工干预的条件随时被激活恢复。
可以看到,不同场景的编排方式彼此相似,但计算模式却千差万别。这就导致当使用者面临复合型的业务需求时,不得不部署和维护多套不同的 Workflow 框架。这不仅增加了学习与运维的成本,也带来了技术栈割裂的问题。
复杂业务下的真实挑战:我们需要多少套 Workflow?
在企业真实的业务场景中,真的需要融合这么多不同的 Workflow 吗?答案是肯定的,尤其是在企业加速全面拥抱 AI 的今天。
企业利用 AI 提效的前提是运营信息的数字化。然而,数字化的原始数据并不能直接“喂”给大语言模型(LLM),必须先经过预处理,这就依赖ETL技术。处理好的数据,一方面可以通过AI Flow与 LLM 结合,构建企业专属的智能体;另一方面,对于故障预测、销售预测等 LLM 并不擅长的特定业务,仍然需要通过Data Mining流程训练专有模型。模型训练完成后,又需要搭建应用流程将其上线运行。
在这些自动化流程运行的过程中,人工干预(Human-in-the-Loop)同样不可或缺。例如,在企业级 AI 应用中,AI 调取敏感数据必须经过授权审批。在等待人工审批时,最佳的方式是中断运行并释放计算资源,待获得授权后再恢复执行。由于人类审批的时间不可预知,传统的阻塞等待会导致资源极大浪费,因此具备中断恢复能力的Durable Execution(持久化执行)成了刚需。
面对如此繁杂且交织的技术需求,企业不得不引入运行编排流程,将各类工具拼凑起来。
HuggingFists 的破局之道:“统一表达,多态执行”
针对上述复杂的应用需求,最新版本的HuggingFists提出了一种全新的技术理念——面向 Workflow 的“统一表达,多态执行”。
HuggingFists 提供了一套统一的可视化流程编排语言,使用者只需掌握这一套编排方式,即可编写出满足不同业务场景的流程。系统则根据流程的类型与特性,自动将流程调度到最匹配的底层计算引擎上完成计算。
HuggingFists 能够实现这一能力,得益于其“定义与计算分离”的设计架构:
定义层(统一表达):前端可视化编排输出统一的流程描述(中间抽象表达 IR),与具体的执行引擎彻底解耦。
调度层(智能路由):调度器根据流程的业务属性与节点特性,将其动态分发至最合适的底层计算引擎。
计算层(多态执行):不同计算引擎按需响应,精准匹配业务形态。
| 业务场景 | 可视化表达(统一) | 底层执行多态(异构引擎) | 核心解决能力 |
|---|---|---|---|
| 海量数据预处理 | 批处理 / 流式数据管道 | 调度至高并行数据引擎 | 海量数据高吞吐、高并行清洗与变换 |
| AI 智能体 / API 服务 | 高并发请求响应流程 | 调度至轻量化异步高并发引擎 | 支持高 QPS,实时响应多个并发计算请求 |
| 人机交互审批 (BPM) | 带条件分支的长流程 | 调度至 Durable 持久化引擎 | 计算可中断、状态可持久化,等待授权后恢复 |
| 跨任务运行编排 | 依赖关系工作流 | 调度至 DAG 任务调度器 | 跨系统能力编排与自动化调度 |
这种架构让使用者免去了在不同工具间频繁切换和重复学习的成本,真正实现了“一套画布,打通企业全场景流程”。
开源生态与未来扩展
目前,HuggingFists 已经提供了覆盖数据输入/输出、读/写、数据处理、数据分析、逻辑控制等类型的500+ 算子,能够全面覆盖上文中所述的各类计算场景。
当然,相较于深耕某一极细分领域的单点 Workflow 工具,HuggingFists 在局部深度上仍有扩充空间。为此,HuggingFists 已经开源了部分核心算子库datayoo-ops。开发者可以效仿这些算子的实现逻辑,快速扩展符合自身业务需求的自定义算子,共同构建更加完善的低代码流程生态。