Skip to content

如何修改停止词啊 #209

@rainstorm12

Description

@rainstorm12

我在https://github.com/BlinkDL/ChatRWKV/blob/main/API_DEMO_CHAT.py 上的推理代码上写了可以修改停止词:

if "\n\n" in tmp:  # 如果生成的文本包含双换行符,表示模型的响应已结束(可以将 \n\n 改成其他停止词)
    print(tmp, end="", flush=True) # 实时打印解码得到的文本
    break #结束本轮推理

但是模型的停止词修改之后不是应该重新训练吗?大家有尝试改过吗

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions