## 배경 (Phase 15 직후) Phase 15 (PR #72 머지) 에서 **edge prune (dynamic shrink)** 도입 — paradigm 의 진짜 dynamic phase 첫 단계. 검증 결과: - 30% prune almost-free (+0.041 loss), 70% 도 catastrophic cliff 없음 (+0.134) - post-prune recovery curve 가 gradient resurrection 방지 메커니즘의 정확성을 학습 dynamics 차원에서 입증 Phase 15 의 *graceful capacity scaling* 가능성 → Phase 16 의 두 갈래 시도: | Sub-Phase | 메커니즘 | 핵심 가설 | |---|---|---| | **16a (RigL/SET DST)** | iterative prune + regrow, **constant sparsity 유지** | 30% almost-free 구간이 *topology 재할당* 으로 50%+ 까지 확장 가능? | | **16b (Net2Net grow)** | pruned slot 에 **function-preserving 신규 edge** 추가 (또는 shape 확장) | 학습 중 capacity 동적 확장 가능? Phase 15 prune 의 반대 방향. | 두 갈래 모두 paradigm 의 dynamic phase 의 다른 차원: - **16a**: within-shape dynamics (sparsity reallocation, total 일정) - **16b**: cross-shape dynamics (capacity expansion, total 변동) ## Sub-issue 분할 (sub-issue Relation 활성화 예정) - **#76 (예정)** — Phase 16a: RigL/SET-style edge regrow - **#77 (예정)** — Phase 16b: Net2Net-style function-preserving grow 각 sub-issue 가 별도 PR 로 진행. 본 메인 이슈는 두 sub-issue 모두 close 될 때 함께 close. ## 완료 조건 - Sub-issue 16a 머지 (RigL regrow + 노트북 + verdict) - Sub-issue 16b 머지 (Net2Net grow + 노트북 + verdict) - Notion Phase 16 종합 페이지 작성 (두 sub-phase 결과 통합) ## 관련 - Phase 15 PR #72 (edge prune foundation) - DBN/DBM historical roots (PR #74, energy-based papers)
Activity