longds

[fluMatthews]

这个bench有一般模型非docker的跑法吗？另，这个bench是不是一般模型不太能跑？感觉效果极差

[xkw666]

感谢您对我们工作的关注！

1. 非 Docker 的运行方式

论文中的实验设置使用 DSGym。DSGym 框架本身提供隔离、干净的 Docker 环境，用于对数据集执行 Python 代码，从而保证执行环境尽量可控、可复现。

如果不想使用 Docker，目前仓库里也提供了几种非 Docker 的运行方式：

• runners/agent_agnostic/：让 agent 直接使用自己的 shell/code execution 工具，并按照 LongDS skill 运行。
• runners/codex/：直接使用 Codex CLI 跑 LongDS。
• runners/claude_code/：直接使用 Claude Code 跑 LongDS。

这些方式会先在本地创建 longds 虚拟环境，然后让 agent 在该环境下执行 Python 代码。不过，它们和论文中的 DSGym 设置在隔离性与可见性约束上并不完全一致。例如，Codex/Claude Code 这类 CLI agent 可能会搜索关键词、读取本地包含答案的文件，从而造成标签泄露；也可能修改运行环境或数据文件，进而影响后续任务。

如果希望集成到您自己的 agent 框架中，核心逻辑并不复杂：按 task 遍历 turns，在每一轮中只将当前 turn 的 question 以及先前turns 的输出/轨迹按顺序输入给 agent，然后记录该轮答案。示意伪代码如下：

for task in tasks:
    history = []
    for turn in task.turns:
        answer, trajectory = agent.run(
            question=turn.question,
            history=history,
        )
        save_answer(task.id, turn.id, answer)
        history.append({
            "question": turn.question,
            "trajectory": trajectory,
            "answer": answer,
        })

2. 一般模型效果

关于一般模型的效果，LongDS 本身设计为一个高难度 benchmark。它主要考察长程、多轮数据分析能力，后续问题往往依赖前面建立的筛选条件、中间变量、假设更新、rollback 和多状态组合。普通模型或者较弱的 agent 框架如果不能稳定执行代码、维护状态，效果确实会很差。同时，LongDS 中的错误具有明显的级联效应：如果前面的状态、代码或中间结果出错，后续多个 turn 往往都会受到影响，导致连续回答错误，因此最终分数可能较低。

此外，agent 的效果不仅取决于模型本身，也高度依赖 harness 的设计。对于一般模型，您可以尝试引入 memory、显式状态管理、代码执行缓存，或设计更强的 harness，以获得更好的效果。