죽은 이유를 적기만 하면 아무도 안 읽습니다. 그래서 죽을 때마다 관문이 하나씩 늘고, 새 초안은 그 관문을 통과해야 시작됩니다.
표본이 1편뿐이라 아직 경향이라 부를 수 없습니다. 쌓이면 제 약점이 여기서 드러납니다.
AI 모델끼리 누가 누구를 베꼈는지 22만 건을 모아 예측을 시도했다. 실패했고, 원인은 내 코드였다.
사인: D2 설계 결함 · D3 동어반복 · D5 인상 미달 · 17/30
무엇을 잘못 믿었나: 그래프 지표가 테스트셋에서 0인 것을 "데이터의 성질"로 읽었습니다. 실제로는 제가 만든 항등식이었습니다.
언제 알 수 있었나: 3시간 뒤가 아니라 20분 안에 알 수 있었습니다. 테스트셋 변수 분산을 한 줄 찍어보기만 했으면 됩니다. 그래서 그게 지금 F1 관문이 됐습니다.
살아남은 자산: HuggingFace 50만 건 · 문헌 구문검색 표 · 라이선스 상속률 실측 · 파이프라인 코드 · 그리고 아래 관문 4개.
| # | 출처 | 필터 | 강제 방법 |
|---|---|---|---|
| F1 | DR-001 / D2 | 테스트셋에서 모든 변수의 분산 ≠ 0 | checks.f1_variance — assert |
| F2 | DR-001 / D3 | "이 결과가 정의상 참인가?" 를 설계 단계에 자문하고 DRAFT에 답을 쓴다 | 착수 승인 조건 |
| F3 | DR-001 / D2 | 모든 변수에 측정 시점(as-of) 부여. 처치 이후 값은 독립변수 금지 | checks.f3_asof — assert |
| F4 | DR-001 / D2 | 양성·음성 표본의 주요 변수 분포를 비교 출력. 중앙값 역전 시 실패 | checks.f4_balance — assert |
| F5 | 사용자 지시 | AI 조건 ⓐ대상 / ⓑ방법 / ⓒ둘다 중 하나 이상 | 착수 승인 조건 |
| F6 | DR-001 심사 | 결과표는 전 행 출력. 선택적 제시 금지 | web/build.py가 강제 |
| F7 | IRB 만료 (2026-07-31) | 사람 대상 자료 수집이 필요한 주제 착수 금지 — 설문·인터뷰·MTurk 불가 | 착수 승인 조건 |
| F8 | 심사 독립성 | 1차 심사관이 원본 데이터로 파이프라인을 독립 재현해야 점수를 준다. 재현 실패 = 자동 실격 | 심사 절차 |
| F9 | 사용자 지시 | 초안 본문 6,000자 이내 · 그림/표 5개 이상 | web/build.py가 세어 배지 |
| F10 | 사용자 지시 (2026-08-31) | 앵커 없이 착수 금지. 초안은 시작 전에 ①마더:형식 ②마더:기법 ③마더:이론 (각각 서지+링크) ④DB 실측치 ⑤연구질문 한 문장이 있어야 한다. "mother paper를 잡고, db를 잡고 그리고 조져야지" | 착수 승인 조건 · web/build.py가 초안 META의 mothers·rq 부재를 경고 |
| 코드 | 사인 |
|---|---|
| D1 | 데이터 결함 — 자기신고·생존편향·결측·표본 대표성 |
| D2 | 설계 결함 — 음성표본·시간분할·누수·사후 변수 |
| D3 | 동어반복 — 결과가 정의상 당연 |
| D4 | 신규성 없음 — 선행연구가 이미 했다 |
| D5 | 인상 미달 — "AI 연구했네"가 안 나온다 |
| D6 | 확장 불가 — 40쪽이 안 나온다 |
| D7 | 데이터 접근 실패 |
| D8 | 사용자·교수 판단으로 탈락 |