PPMat-Agent共创计划

[leeleolay]

PPMat-Agent 共创计划

背景

为提升 PaddleMaterials 在研发、代码质量保障与自动化协作方面的能力，计划围绕材料科学研发场景，建设一套可扩展的 Agent 能力体系。本期优先聚焦两个核心方向：Review Agent 与单测 Agent。

目标

• 建立适用于 PaddleMaterials 的 Agent 共创机制
• 优先落地 Review Agent 与单测 Agent 两类基础能力
• 提升开发效率、代码质量与研发协同体验
• 为后续扩展文档生成、实验配置检查、数据处理等 Agent 能力打基础

共创范围

1. Review Agent

目标：在 PR/代码开发流程中，提供自动化辅助评审能力。

能力方向

• 代码规范检查
• 关键逻辑风险提示
• API 使用合理性检查
• 配置/脚本错误识别
• 文档与注释完整性提醒
• 针对 PaddleMaterials 目录结构给出上下文相关建议

预期输出

• 对 PR/commit/diff 进行自动分析
• 生成 review comments 或 review summary
• 给出风险等级与修改建议
• 支持与人工 reviewer 协同

典型场景

• 新增模型代码时检查结构与命名规范
• 修改训练/推理脚本时识别潜在兼容性问题
• 检查文档、配置、示例是否同步更新

2. 单测 Agent

目标：提升单元测试覆盖率与测试编写效率。

能力方向

• 根据函数/模块自动生成基础单测
• 补全缺失测试样例
• 识别边界条件与异常分支
• 提供 mock/fixture 建议
• 根据报错日志辅助定位失败原因
• 输出测试覆盖建议

预期输出

• 自动生成或补全测试代码
• 给出推荐测试点清单
• 辅助构造输入输出样例
• 结合 CI 结果生成失败分析报告

典型场景

• 新增模块后快速生成基础测试
• 对已有代码补充回归测试
• 测试失败后自动分析高概率原因

里程碑建议

• Phase 1：需求梳理
  • 明确 Review Agent / 单测 Agent 的目标场景
  • 梳理 PaddleMaterials 当前开发流程中的痛点
  • 定义输入输出形式、使用方式与优先级
• Phase 2：能力原型
  • 完成 Review Agent 原型设计
  • 完成 单测 Agent 原型设计
  • 建立最小可用 Demo
• Phase 3：工程接入
  • 接入代码仓库开发流程
  • 与 PR、测试、CI 流程联动
  • 建立基础评测机制
• Phase 4：迭代优化
  • 基于真实使用反馈优化提示词、规则与流程
  • 提升结果稳定性与可用性
  • 形成可复用 Agent 开发范式

待讨论问题

• Review Agent 优先覆盖哪些类型的 PR？
• 单测 Agent 优先支持哪些模块？
• Agent 输出以 comment、summary 还是 patch 建议为主？
• 如何定义评测指标（review 有效建议率、单测生成可执行率、覆盖率提升、人工采纳率等）？
• 是否需要建立 benchmark / case set 用于持续评估？

期望协作方式

欢迎围绕以下内容参与共创：

• 场景需求补充
• Agent 工作流设计
• 提示词 / 规则设计
• 工程实现与接入
• 评测集建设
• 真实案例反馈

TODO

• 明确共创目标与优先级
• 梳理 Review Agent 需求清单
• 梳理单测 Agent 需求清单
• 确定技术方案与工程接入方式
• 设计初版评测方案
• 推进首个 Demo 落地

欢迎大家在本 Issue 下讨论需求、方案与分工。