概念:
短期记忆是在一次会话里里面,后续对话可以看到之前的对话内容
作用:可以在处理一些复杂任务的时候得心应手
挑战:
1.受限于LLM的上下文窗口,如果把历史信息都给LLM,可能会造成上下文窗口溢出的情况发生
2.即使LLM上下文窗口很大,也可能发生一下问题:
a.响应速度慢
b.成本变高
c.被陈旧内容干扰,偏离主题
总之就是随着对话的消息增加,我们的消息列表(AIMessage和UserMessage)会越来越长,所以我们需要解决这个窗口限制问题。
解决手段:
通过清理、遗忘的手段,把消息列表缩短,目的是缓解上下文窗口的限制