首先本文作者很擅长做时序类行列attention的代码,做过一个时序basemodel的,但是没办法很好的表现自己。
所以我想到了一篇怎么来做文本检索的,但是限于资源没办法实现
1.首先是预训练,让模型学会读懂行。整一篇文章就是一个2D的行列
最创新的想法,就是以行作为基本元素来进行训练。
然后损失就是用行复原的百分比来做损失。
2.微调阶段,就是用分割行符号 来分割检索的问题和内容,这种方法应该是有效的。
用来做效果应该不错,可惜缺乏资源来实现
RAG文本检索:小模型的思考
首先本文作者很擅长做时序类行列attention的代码,做过一个时序basemodel的,但是没办法很好的表现自己。
所以我想到了一篇怎么来做文本检索的,但是限于资源没办法实现
1.首先是预训练,让模型学会读懂行。整一篇文章就是一个2D的行列
最创新的想法,就是以行作为基本元素来进行训练。
然后损失就是用行复原的百分比来做损失。
2.微调阶段,就是用分割行符号 来分割检索的问题和内容,这种方法应该是有效的。
用来做效果应该不错,可惜缺乏资源来实现