RAG文本检索:小模型的思考
2026/9/6 4:57:16 网站建设 项目流程

首先本文作者很擅长做时序类行列attention的代码,做过一个时序basemodel的,但是没办法很好的表现自己。
所以我想到了一篇怎么来做文本检索的,但是限于资源没办法实现
1.首先是预训练,让模型学会读懂行。整一篇文章就是一个2D的行列
最创新的想法,就是以行作为基本元素来进行训练。
然后损失就是用行复原的百分比来做损失。
2.微调阶段,就是用分割行符号 来分割检索的问题和内容,这种方法应该是有效的。
用来做效果应该不错,可惜缺乏资源来实现

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询