Skip to content

BIOP02-53 Critic 교차리뷰 (kkkim→sjpark): CLAM MIL — caution#21

Open
kakyungkim wants to merge 3 commits into
mainfrom
docs/BIOP02-53-kkkim-critic-review
Open

BIOP02-53 Critic 교차리뷰 (kkkim→sjpark): CLAM MIL — caution#21
kakyungkim wants to merge 3 commits into
mainfrom
docs/BIOP02-53-kkkim-critic-review

Conversation

@kakyungkim

Copy link
Copy Markdown
Collaborator

Critic 교차리뷰 — BIOP02-53 Attention MIL (owner: sjpark, reviewer: kkkim)

CLAM-SB attention MIL (UNI, ER/PR/HER2, TCGA→CPTAC) 실학습 결과에 대한 7-point 교차리뷰. verdict: caution (모델링 cross-review까지; 최종 pass는 braveji 총괄).

7-point

# 항목 판정 근거
1 Data leakage PASS TSS 37사이트 train/val/test 중복 0 (site-disjoint 실검증); val↔CPTAC gap 미미
2 Baseline PASS ER 0.901 > random 0.526 · mean_embed 0.816. subtype_only(0.918)=PAM50 입력 ceiling → floor 아님
3 Counterfactual N/A Paper B 단계
4 Cross-dataset CAUTION ER 0.894 / PR 0.778 외부 유지; HER2 외부 near-random(ext_auc 0.53) = 실제 실패
5 Bio plausibility N/A(defer) owner 자기리뷰 불가 → braveji 지정 non-owner
6 DRP framing PASS 금지표현 0
7 Claim-level PASS hypothesis_only

필수 후속

  1. jamie 공식 CPTAC 라벨로 교체(현재 kkkim 임시본 395/653, self-reference) 후 외부평가 재실행
  2. braveji: 최종 critic_status + docs: Claude Code Atlassian MCP를 OAuth 방식으로 수정 (깨진 npx 패키지 대체) #5 bio sub-reviewer 지정
  3. sjpark: PAM50 attention-MIL 추가 (현재 MLP만 → scope 미완)
  4. HER2 외부 near-random 명시, '검증됨' 표현 금지

산출

  • experiments/kkkim/20260703_critic_biop02-53/critic_report.json (schema v0.1 valid)
  • REVIEW.md

🤖 Generated with Claude Code

- 7-point: leakage PASS(site-disjoint 실검증), baseline PASS(subtype_only=PAM50 ceiling), cross-dataset CAUTION(HER2 외부 near-random), DRP/claim PASS
- ER/PR 외부(CPTAC) 유지, HER2 실패. subtype_only 오판정 방지(ceiling≠floor)
- critic_report.json(schema v0.1 valid) + REVIEW.md
- 최종 pass는 braveji 총괄; CPTAC 라벨 self-reference로 #done 보류
재사용 스캐폴드(Ka-Kyung Kim, CC BY 4.0)를 팀 공유로 설치.
- .claude/agents/ 9개(재사용 7 + 도메인 슬롯 spatialpatho-analyst + manuscript-writer), 오케스트레이터 Skill, docs/HARNESS.md, CLAUDE.md 라우팅
- 도메인 슬롯 = 기존 agents/{data,embedding,modeling,therapeutic_evidence,critic} 파이프라인 대표
- .gitignore: !.claude/agents,skills 네가션 추가로 하네스만 팀 공유(settings.local.json은 개인별 유지)
- 분석 진행 단계 → 집필-단계 FILL(결과요약·verify-gate·headline·저자순서·GPU제공처 Modulabs)은 팀 확정 대기
@kakyungkim

Copy link
Copy Markdown
Collaborator Author

@braveji18 최종 sign-off 요청드립니다 🙏

이 PR은 BIOP02-53 Critic 교차리뷰(reviewer=kkkim → owner=sjpark, CLAM-SB attention MIL) 산출물입니다. 규정상 최종 critic_status 총괄은 braveji 몫이라 셀프 머지하지 않고 리뷰 요청드립니다 (Owner≠Reviewer).

verdict = caution — 7-point 요약:

  • ① Data leakage PASS — TSS 37사이트 train/val/test 중복 0 (site-disjoint 실검증)
  • ② Baseline PASS — ER 0.901 > random 0.526 · mean_embed 0.816. subtype_only(0.918)은 PAM50를 입력으로 쓰는 ceiling이라 floor 아님 → 미초과는 limitation, FAIL 아님
  • ③ Counterfactual N/A
  • ④ Cross-dataset CAUTION — ER 0.894 / PR 0.778 외부 유지되나, HER2 외부 near-random (ext_auc 0.53 / auprc 0.12) = 실제 실패
  • ⑤ Bio plausibility N/A → braveji sub-reviewer 지정 필요
  • ⑥ DRP framing PASS, ⑦ Claim-level PASS (hypothesis_only)

주의: CPTAC 라벨은 kkkim 임시본(공개 cBioPortal 395/653)이라, self-reference 회피 위해 #done 전환 안 했습니다. jamie 공식 라벨(BIOP02-88 블록) 도착 시 외부평가 재실행 필요.

산출물: experiments/kkkim/20260703_critic_biop02-53/critic_report.json (schema v0.1 valid) + REVIEW.md. 승인되면 머지 → BIOP02-53 #done 전환 가능합니다.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant