我在https://github.com/BlinkDL/ChatRWKV/blob/main/API_DEMO_CHAT.py 上的推理代码上写了可以修改停止词: ~~~ if "\n\n" in tmp: # 如果生成的文本包含双换行符,表示模型的响应已结束(可以将 \n\n 改成其他停止词) print(tmp, end="", flush=True) # 实时打印解码得到的文本 break #结束本轮推理 ~~~ 但是模型的停止词修改之后不是应该重新训练吗?大家有尝试改过吗
我在https://github.com/BlinkDL/ChatRWKV/blob/main/API_DEMO_CHAT.py 上的推理代码上写了可以修改停止词:
但是模型的停止词修改之后不是应该重新训练吗?大家有尝试改过吗