高级编排介绍
circle
高级编排介绍
快速了解 FastGPT 高级编排
FastGPT 从 V4 版本开始采用新的交互方式来构建 AI 应用。使用了 Flow 节点编排的方式来实现复杂工作流,提高可玩性和扩展性。但同时也提高了上手的门槛,有一定开发背景的用户使用起来会比较容易。
什么是模块?
在程序中,模块可以理解为一个个 Function 或者接口。可以理解为它就是一个步骤。将多个模块一个个拼接起来,即可一步步的去实现最终的 AI 输出。
如下图,这是一个最简单的 AI 对话。它由用户输入的问题、聊天记录以及 AI 对话模块组成。
执行流程如下:
- 用户输入问题后,会向服务器发送一个请求,并携带问题。从而得到【用户问题】模块的输出。
- 根据设置的【最长记录数】来获取数据库中的记录数,从而得到【聊天记录】模块的输出。 经过上面两个流程,就得到了左侧两个蓝色点的结果。结果会被注入到右侧的【AI】对话模块。
- 【AI 对话】模块根据传入的聊天记录和用户问题,调用对话接口,从而实现回答。(这里的对话结果输出隐藏了起来,默认只要触发了对话模块,就会往客户端输出内容)
模块分类
从功能上,模块可以分为 2 类:
- 系统模块:用户引导(配置一些对话框信息)、用户问题(流程入口)。
- 功能模块:知识库搜索、AI 对话等剩余模块。(这些模块都有输入和输出,可以自由组合)。
模块的组成
每个模块会包含 3 个核心部分:固定参数、外部输入(左边有个圆圈)和输出(右边有个圆圈)。
- 对话模型、温度、回复上限、系统提示词和限定词为固定参数,同时系统提示词和限定词也可以作为外部输入,意味着如果你有输入流向了系统提示词,那么原本填写的内容就会被覆盖。
- 触发器、引用内容、聊天记录和用户问题则为外部输入,需要从其他模块的输出流入。
- 回复结束则为该模块的输出。
模块什么时候被执行?
模块执行的原则:
- 仅关心已连接的外部输入,即左边的圆圈被连接了。
- 当连接内容都有值时触发。
- 可以多个输出连接到一个输入,后续的值会覆盖前面的值。
示例 1:
聊天记录模块会自动执行,因此聊天记录输入会自动赋值。当用户发送问题时,【用户问题】模块会输出值,此时【AI 对话】模块的用户问题输入也会被赋值。两个连接的输入都被赋值后,会执行 【AI 对话】模块。
例子 2:
下图是一个知识库搜索例子。
- 历史记录会流入【AI 对话】模块。
- 用户的问题会流入【知识库搜索】和【AI 对话】模块,由于【AI 对话】模块的触发器和引用内容还是空,此时不会执行。
- 【知识库搜索】模块仅一个外部输入,并且被赋值,开始执行。
- 【知识库搜索】结果为空时,“搜索结果不为空”的值为空,不会输出,因此【AI 对话】模块会因为触发器没有赋值而无法执行。而“搜索结果为空”会有输出,流向指定回复的触发器,因此【指定回复】模块进行输出。
- 【知识库搜索】结果不为空时,“搜索结果不为空”和“引用内容”都有输出,会流向【AI 对话】,此时【AI 对话】的 4 个外部输入都被赋值,开始执行。
如何连接模块
- 为了方便识别不同输入输出的类型,FastGPT 给每个模块的输入输出连接点赋予不同的颜色,你可以把相同颜色的连接点连接起来。其中,灰色代表任意类型,可以随意连接。
- 位于左侧的连接点为输入,右侧的为输出,连接只能将一个输入和输出连接起来,不能连接“输入和输入”或者“输出和输出”。
- 可以点击连接线中间的 x 来删除连接线。
- 可以左键点击选中连接线
如何阅读?
- 建议从左往右阅读。
- 从 用户问题 模块开始。用户问题模块,代表的是用户发送了一段文本,触发任务开始。
- 关注【AI 对话】和【指定回复】模块,这两个模块是输出答案的地方。
FAQ
想合并多个输出结果怎么实现?
- 文本加工,可以对字符串进行合并。
- 知识库搜索合并,可以合并多个知识库搜索结果
- 其他结果,无法直接合并,可以考虑传入到
HTTP
模块中进行合并,使用[Laf](https://laf.run/)
可以快速实现一个无服务器HTTP接口。
模块为什么有2个用户问题
左侧的用户问题
是指该模块所需的输入。右侧的用户问题
是为了方便后续的连线,输出的值和传入的用户问题一样。