오픈 AI 모델 생태계에서 파생 관계는 예측 가능한가

교수님께 들고 가는 원문입니다. 여기서도 드래그해 밑줄을 그으실 수 있습니다.

⚠️ 미승인 초안 (Unapproved Draft). 이 문서는 결정이 아닙니다. state/DECISIONS.md·ROADMAP.md·BACKLOG.md 어디에도 등록되지 않았습니다.

오픈 AI 모델 생태계에서 파생 관계는 예측 가능한가 — 그래프 위상과 메타데이터의 비교

🔴 이 초안은 1차 심사에서 폐기됐다 (17/30). §6의 결과는 무효다.

적대적 심사관이 버그 3건을 지적했고 작성자가 재검증해 전부 확인했다. 1) 그래프 지표 4개가 테스트셋에서 완전 상수(고유값 1, 분산 0) — "중요도 0"은 발견이 아니라 구성상 항등식 2) p_downloads 단독 AUC 0.8469 > 그것을 포함한 모형 B 0.5928 — 파이프라인이 깨졌다 3) 음성표본 부모차수 중앙값 역전(양성 0.0 / 음성 1.0) — "선호적 연결 무용"은 샘플러 부산물

same_license 2위도 인공물이다 — 파생은 부모 라이선스를 상속한다(양성 83.1% vs 음성 41.2%). 상세: REVIEW.md · 수정에 약 3일 소요 추정

아래 §1·§6·§7은 무효 상태로 보존한다. 삭제하지 않는 이유는 실패 경위를 지우지 않기 위해서다.

1. 한 줄 요약

그래프 위상 지표는 작동하지 않았다. 공통이웃·Adamic-Adar·Jaccard·부모 차수(degree)의 순열 중요도가 전부 0.000이었고, 부모 차수는 오히려 음수(-0.019) 였다. 메타데이터만 쓴 모형이 AUC 0.593으로 가장 높았으며, 그래프를 더하자 0.555로 떨어졌다.

2. 연구질문

오픈 AI 모델 저장소에서 어떤 모델이 어떤 모델의 파생으로 이어질지를, 그래프 구조 정보로 메타데이터보다 잘 예측할 수 있는가?

3. 왜 아직 없는 질문인가

로컬 코퍼스 34,469건(AIS eLibrary 18,784 + 상위저널 15,685) 구문검색, 2026-08-28 확인.

가장 가까운 선행연구 2건

1. ICIS 2025 · Fine-Tuning: How Model Family Diversification Shapes LLM Adoption — 63,767 모델 / 14,581 패밀리. 패밀리를 크기(개수) 로 다루며 다운로드를 종속변수로 회귀. 파생 관계 자체를 예측 대상으로 삼지 않았고, 그래프 위상을 쓰지 않았다.
2. ICIS 2024 · Influence of Leaderboard and Trial Space on LLM Popularity — 9,487 LLM 종단. 플랫폼 기능 → 인기도. 관계 예측이 아니다.

→ 질문 자체는 비어 있었다. 다만 §6이 보여주듯 답은 부정적이다.

4. 데이터

표본 감소 사다리 (results/t1_sample_ladder.csv)

5. 방법

시간 기반 분할 — 2026-01-01 이전 생성된 파생을 학습, 이후를 테스트. 그래프 지표는 학습 시점 그래프에서만 계산해 미래 정보 누수를 차단했다. 음성 표본 — 실제로 생기지 않은 (부모, 자식) 쌍을 1:1로 무작위 추출. 베이스라인 2종 — ① 부모 차수만(선호적 연결) ② 메타데이터만(그래프 미사용). 분류기는 로지스틱 회귀와 HistGradientBoosting. 시도 스펙 4개.

6. 결과

표 1. 모형 비교 (테스트 174,624쌍, 부트스트랩 200회 95% CI)

표 2. 순열 중요도 (D 모형, 20,000쌍 표본, 5회 반복)

7. 읽히는 것 INFERENCE

그래프 위상 지표가 전부 0인 것은 파생 구조가 forest에 가깝기 때문으로 보인다 — 엣지 223,517개에 노드 229,750개로, 부모와 자식이 공통 이웃을 거의 갖지 않는다. 공통이웃 계열 지표는 이런 구조에서 정보를 담지 못한다.

부모 차수의 중요도가 음수인 것은, 선호적 연결이 이 데이터에서 예측에 도움이 되기는커녕 잡음으로 작용했음을 시사한다. 인기 있는 부모가 더 많은 자식을 갖는다는 통념이 파생 관계 개별 예측 수준에서는 성립하지 않았다.

예상하지 못한 결과는 라이선스 동일 여부가 2위 변수로 나온 것이다. 이는 라이선스가 단순한 법적 표기를 넘어 파생 관계와 연관되어 있을 가능성을 시사한다. (인과 주장이 아니다.)

8. 한계 · 확인하지 못한 것

• AUC 0.593은 낮다. 무작위(0.5) 대비 개선이 크지 않다. 실용적 예측력이 있다고 말할 수 없다.
• 음성 표본 설계가 약하다. 무작위 (부모,자식) 쌍은 링크예측의 표준 관행이지만, 이 forest 구조에서는 양성·음성 모두 그래프 지표가 0에 가까워 그래프의 판별력이 구조적으로 죽는다. 더 어려운 음성(같은 과업, 같은 시기)을 쓰면 결과가 달라질 수 있다.
• dangling 22.6%. 부모가 수집 표본에 없는 엣지를 통째로 버렸다. 그 부모들은 다운로드가 낮아 상위 50만에 못 든 모델일 가능성이 높으므로 체계적 편향이다.
• base_model은 자기신고 필드다. 선언하지 않은 실제 파생이 얼마나 되는지 모른다.
• 생존편향. 표본은 최근 30일 다운로드 상위 50만이며 최소 8회다. "HuggingFace 모델은…"이 아니라 "최근 30일 다운로드 상위 50만 모델 중에서는…" 이라고 읽어야 한다.
• downloads는 최근 30일 창이다(누적 아님, SOURCE_VERIFIED). 특징으로만 썼고 종속변수로 쓰지 않았다.
• GNN을 실제로 쓰지 않았다. 공통이웃 계열 지표가 전부 0이라 그래프 신호 자체가 없었으므로, 학습형 그래프 임베딩(GraphSAGE 등)으로 올라가는 것이 정당화되지 않았다.
• 시도 스펙 4개. 하이퍼파라미터 탐색을 하지 않았고 테스트셋은 1회만 사용했다.

이 결과를 뒤집을 수 있는 것: 음성 표본을 "같은 과업·같은 분기에 공개된 모델"로 어렵게 만들면 그래프 지표가 살아날 수 있다. 또한 파생 관계를 쌍(pair) 예측이 아니라 노드 수준 예측(이 모델이 90일 내에 자식을 가질 것인가)으로 바꾸면 차수 정보가 다시 유효해질 가능성이 있다. 두 재설계는 각각 반나절이면 검증 가능하다.

9. 40페이지로 커지는가

판정: 현 상태로는 40페이지가 안 된다. 1단계에서 신호가 살아나지 않으면 이 방향은 접는 것이 옳다. 남은 94일 중 1주를 투자해 판정할 가치는 있다.

10. 교수님께 여쭐 것

1. 예측력이 낮은 결과(AUC 0.59)를 그대로 보고하는 논문이 이 학교에서 통과 가능합니까?
2. 음성 표본을 어렵게 만드는 재설계에 1주를 더 쓰는 것과, 지금 접고 다른 데이터로 가는 것 중 어느 쪽을 권하십니까?
3. 라이선스가 2위 변수로 나온 것을 독립 주제로 키우는 방향을 어떻게 보십니까?

부록. 5분 구두 설명 (6문장)

1. 허깅페이스에서 모델 50만 개를 받아, 어떤 모델이 어떤 모델에서 파생됐는지를 22만 개의 관계로 그래프를 만들었습니다.
2. 질문은 "그 파생 관계를 미리 예측할 수 있는가"였고, 2026년 이전 데이터로 학습해서 2026년 관계를 맞히는 방식으로 검증했습니다.
3. 결과는 부정적입니다. 공통이웃 같은 그래프 지표가 전부 중요도 0이었고, 인기 있는 모델이 더 많은 자식을 갖는다는 가정도 오히려 예측을 방해했습니다.
4. 이유는 이 그래프가 나무 모양에 가까워서, 부모와 자식이 공통 이웃을 거의 안 갖기 때문으로 보입니다.
5. 대신 예상 못 한 게 나왔는데, 라이선스가 같은지 여부가 두 번째로 중요한 변수였습니다.
6. 그래서 저는 이 방향을 1주 더 검증해볼지, 아니면 라이선스 쪽으로 옮겨갈지를 여쭙고 싶습니다.

1차 심사관이 쓴 심사평 원문입니다. 왜 죽었는지가 여기 있습니다.

DR-001 1차 심사

총점 17/30 · 판정: KILLED-LLM

심사 방식: 적대적 LLM 심사관이 원본 데이터로 파이프라인을 독립 재현해 검증. 이후 작성자(Claude)가 동일 난수·동일 음성표본으로 재검증해 지적 3건을 전부 확인했다.

자동 실격 6조: 미발동. 표 숫자는 CSV와 반올림 범위에서 전부 일치했다. 다만 §6 표2가 t3 14행 중 10행만 싣고 두 번째 음수 변수 p_parents(−0.00024)를 무언급 삭제한 것은 선택적 제시로 기록한다.

죽일 이유 — 작성자 재검증으로 전부 확인됨

1. "그래프 지표 중요도 0"은 발견이 아니라 구성상 항등식

run.py가 자식 쪽 이웃을 학습 그래프에서만 계산한다. 테스트 자식은 정의상 2026년 이후 생성이므로 학습 그래프에 존재할 수 없다 → 모든 테스트 쌍에서 이웃집합이 공집합인 것이 수학적으로 보장된다.

작성자 재검증 (동일 난수, 테스트 174,624쌍):

→ 순열 중요도가 정확히 0.0000, 표준편차 정확히 0.0000인 것은 상수를 섞었기 때문이다. §1 헤드라인("그래프 위상 지표는 작동하지 않았다")과 §7의 forest 설명은 자기가 만든 상수를 데이터의 성질로 오독한 것이다.

더 나쁜 것: §8의 "그래프 신호가 없었으므로 GraphSAGE로 올라가는 것이 정당화되지 않았다"는 깨진 피처 정의를 근거로 GNN을 포기한 순환논증이다.

2. 모형이 자기 입력변수 하나보다 나쁘다 — 파이프라인이 깨졌다

작성자 재검증, 동일 테스트셋 단일 변수 AUC:

→ 부스팅 모형이 자기 입력변수 하나보다 AUC 0.25 낮을 수 없다. §6 표1 네 줄, §1의 결론, §8의 "AUC 0.593은 낮다"까지 전부 무효다. 원인은 시간분할에서의 분포 시프트로 추정되나 확정하지 않았다.

3. 음성 표본이 차수 가중 vs 균등 추출로 어긋났다

양성은 엣지 단위라 차수 가중(자식 5,550개 부모는 5,550번 등장), 음성 부모는 중복 없는 집합에서 균등 추출.

작성자 재검증 (테스트, 부모 out-degree):

→ 중앙값이 역전돼 있다. 순열 중요도 −0.0193은 여기서 나온다. §1·§7의 "선호적 연결 통념이 성립하지 않았다"는 음성 추출기 설계의 부산물이다.

살릴 방법 (약 3일)

§9 1단계(1주)에 지금 착수하는 것은 반대. 진단이 틀렸으므로 1주를 태우고도 같은 자리다.

★ same_license 2위는 발견인가 인공물인가 — 인공물이다

1. 파생이 라이선스를 상속하는 것은 기계적 사실이다. 실측: 양성 쌍에서 양쪽 라이선스 보유 시 83.1%가 일치, 음성은 41.2%. HF 모델카드 템플릿이 base model 카드를 복사하고, Llama·Gemma 계열은 파생 라이선스 승계가 의무다. → "파생이면 라이선스가 같다"는 파생의 정의에 가까운 성질이지 가설이 아니다.

2. 사후 측정 변수다. license는 2026-08-07 스냅샷이고, 자식이 그 라이선스를 갖게 된 이유가 파생됐기 때문이다. post-treatment variable이며 시점상 누수다.

3. "2위"라는 순위 자체가 무의미하다. same_task도 0.6669로 거의 같다. 라이선스가 특별한 게 아니라 "부모와 자식이 닮았다"를 재는 지표는 전부 이 패턴을 낸다. 게다가 순위가 나온 D 모형은 죽일 이유 1·2로 오염돼 있다.

→ §10 3번 질문과 부록 5·6번 문장은 지금 상태로 교수님께 가져가면 안 된다. "그건 파생하면 당연히 따라오는 거 아닌가"에 답할 말이 없다.

다만 라이선스 방향 자체는 유효하다 — 질문을 뒤집으면

• ✗ "라이선스 동일 여부가 파생을 예측하는가" → 상속이라 동어반복
• ○ "부모 라이선스의 제약 강도가 파생의 양·다양성·확산 속도와 어떻게 연관되는가"

→ 부모 속성만 쓰므로 사후 변수가 아니고, 종속변수가 노드 수준이라 쌍 샘플링 문제도 우회. 지도교수의 조직통제 축에 정면으로 붙는다

• ○ "언제 파생 모델이 부모 라이선스를 이탈하는가" (상속하지 않은 16.9%)

→ 동어반복이 아니고 통제 메커니즘의 실패 사례로 IS 문헌에 걸린다

이 셋 중 어디로 갈지는 사용자·지도교수 결정 사항이다.