Skip to content

demo: regression gate must fail (throwaway, do not merge) - #748

Closed
owjs3901 wants to merge 16 commits into
mainfrom
ci/benchmark-regression-demo
Closed

owjs3901 wants to merge 16 commits into
mainfrom
ci/benchmark-regression-demo

Conversation

@owjs3901

@owjs3901 owjs3901 commented Oct 3, 2026 •

Copy link
Copy Markdown
Contributor

Refs #683. 시연 전용 draft PR이며 절대 병합하지 않습니다. #746의 새 게이트가 실제 회귀를 거부하는지 확인하기 위한 폐기 대상입니다. 확인 후 종료는 코디네이터가 처리하며 작업자는 닫거나 draft 상태를 바꾸지 않습니다.

요약

  • 실제 두 부모 병합 5526b360으로 기존 시연 head 06e5beaa에 갱신된 ci: fail the benchmark job on a Devup UI regression and keep a WASM size budget #746 64dd9569를 통합했습니다.
  • 기존 Devup UI Turbopack 픽스처의 3초 인위적 지연을 그대로 유지했습니다.
  • 더 작은 절대 상한으로 실패를 만드는 옛 시연은 제거했습니다. 정책 파일은 #746과 바이트 단위로 같은 1% / 1KiB 상대 정책입니다.
  • 승인에 따라 WASM 후처리에서 결정론적인 비실행 custom section 256KiB를 추가합니다. 실제 배포 산출물의 raw/gzip 바이트가 증가하며, 측정 JSON을 고치거나 결과를 조작하지 않습니다.

동작

custom section은 함수·import·export를 추가하거나 실행하지 않는 불투명 데이터입니다. 고정 시드로 생성하므로 결과가 결정론적이며, 기존 release WASM/optimizer 이후의 실제 index_bg.wasm에 추가됩니다. 애플리케이션 스타일링 런타임이나 helper는 없습니다.

독립 시연 작업이 main 기준 소스와 실제 테스트 merge 소스를 각각 빌드하고, 실제 파일 크기로 실패해야 합니다. 기존 benchmark 시간 회귀 역시 의도된 실패 대상입니다.

새로 생기는 오류

제품 빌드 오류를 만들지 않습니다. benchmark의 지연 행과 WASM raw/gzip 상대 상한 초과가 이 시연의 의도적인 CI 실패입니다. 설치·기준 빌드 실패는 회귀 검출 증거로 대신 인용하지 않습니다.

남는 한계

이 PR은 성능 저하와 용량 증가를 의도적으로 포함하므로 제품 수정이 아니며 병합하면 안 됩니다. 실패 실행 및 실제 산출물 보고 후 종료만 해야 합니다.

검증

  • 현재 head 5526b360ddd847cbcba5a8da0aa646e9db184c2a, 정확한 부모 06e5beaa + 64dd9569, 정상 push 및 정상 전체 hook 완료.
  • 기본 스택 Rust fmt/clippy/native 5,137/0, 새 WASM/root 빌드, Bun 6,505/0/함수·라인 100%, lint 오류 0개 / 기존 경고 20개. 12GB hook peak4.837GB, 소유 프로세스 drain0. WindowsRust97.96%를 Linux100으로 주장하지 않습니다.
  • 실제 빌드 산출물을 WebAssembly.Module로 검증했습니다. custom section은 정확히 하나, 내용 262,144바이트이며 import/export가 같고, 이를 뺀 전체 prefix SHA-256은 이전의 실제 정상 빌드와 같습니다.
  • 로컬 실제 WASM raw 5,802,613 → 6,064,786(허용 5,861,376), gzip 2,104,271 → 2,366,537(허용 2,125,824)로 두 지표가 모두 상한을 초과합니다. 이는 로컬 산출물 검증이며 Linux 두 소스 실행의 대체 증거가 아닙니다.
  • CI39135955917은 완료되었으며 요청한 두 회귀 게이트가 실제로 실패했습니다. 옛 절대 상한 시연 실행을 새 게이트의 증거로 재사용하지 않습니다.

실제 Linux 실패 증거

wasm-size는 기준/후보 빌드를 모두 성공한 뒤 Compare all four relative size metrics 단계에서 실패했고, 실패 보고서 아티팩트도 정상 업로드했습니다.

지표 기준 실제 후보 허용치 결과
WASM raw 5,795,195 6,058,107 5,853,184 FAIL
WASM gzip 2,102,759 2,365,634 2,124,800 FAIL
glue raw 42,877 42,877 44,032 PASS
glue gzip 7,255 7,255 8,192 PASS

benchmark는 의도적으로 지연한 devup-ui-single-turbo 행의 실제 7.81초 / 대조군 대비1.608배를 검출하여, 허용1.081배 초과로 비교 단계에서 실패했습니다. 기준/측정 파일이나 게이트 공식을 시연을 위해 낮추거나 위조하지 않았습니다.

별개의 publish 실패는 새 main f014de09(#774)의 .changepacks/changepack_log_transient_props.json이 관리 대상이 아닌 apps/landing/package.json을 포함하여 #787 경로 검증이 거부한 것입니다. Linux Rust100%(13,980/13,980), Bun6,526통과/1실패/커버리지100%이며 이 실패를 의도된 회귀 검출로 주장하지 않습니다. 코디네이터에게 원인과 증거를 전달했고 다른 작업자의 브랜치를 수정하지 않았습니다. React18·Next landing·vinext CSS 작업은 성공했습니다.

실제 테스트 checkout은 c50fddd6323da80c1fbd0774c7a111f06e7075f1이며 부모는 당시 main f014de09 + 이 head 5526b360입니다. 그 전체 트리와 크기 보고서 후보 트리는 GitHub Git 객체로 일치 검증했습니다. event 기준 SHA는 4baa1d74이며 head 자체와 synthetic 전체 트리가 같다고 주장하지 않습니다. 이 시연은 확인 후 코디네이터가 닫아야 하며, 작업자는 병합·종료·승인·draft 변경을 하지 않았습니다.

owjs3901 and others added 3 commits October 3, 2026 22:40
…ize budget

Refs #683

Ultraworked with [Sisyphus](https://github.com/code-yeongyu/oh-my-openagent)

Co-authored-by: Sisyphus <clio-agent@sisyphuslabs.ai>
…e first CI run of the new policy

Refs #683

Ultraworked with [Sisyphus](https://github.com/code-yeongyu/oh-my-openagent)

Co-authored-by: Sisyphus <clio-agent@sisyphuslabs.ai>
…away, must fail)

Ultraworked with [Sisyphus](https://github.com/code-yeongyu/oh-my-openagent)

Co-authored-by: Sisyphus <clio-agent@sisyphuslabs.ai>
owjs3901 and others added 13 commits October 6, 2026 19:25
Merge #744 head 7a81003 containing main a935315. No new manual conflict files: .github/workflows/publish.yml cleanly inherits the hardened vinext/React18 job union and read-only validation with action SHA pins/timeouts. Preserve the calibrated benchmark manifest/baseline/results, regression rules, SemanticBuilder bench and WASM budgets byte-for-byte, plus all main published versions and acceptance steps.

Refs #683

Ultraworked with [Sisyphus](https://github.com/code-yeongyu/oh-my-openagent)

Co-authored-by: Sisyphus <clio-agent@sisyphuslabs.ai>
No conflicted files; retain PR changes and merge updated parent #744, which contains main 11790be.
Main 11790be intentionally emits complete Tailwind v4 font line-height declarations and property registrations, so CI 37758611477 produced 1491 CSS bytes for tailwind-turbo-devup-ui against the former 530-byte baseline. Follow the existing intentional-growth policy using that actual 18-target, three-sample artifact: append each measured seventh control ratio while retaining all six prior entries, regenerate baseline/results and both README benchmark blocks. Keep every gate, threshold formula, workflow step and WASM size budget unchanged; all nine artifact comparisons, provenance/calibration assertions, README renderer check and fresh WASM/root builds pass.

Refs #683

Ultraworked with [Sisyphus](https://github.com/code-yeongyu/oh-my-openagent)

Co-authored-by: Sisyphus <clio-agent@sisyphuslabs.ai>
Refs #683

2026-10-15: main #743의 정렬된 쓰기로 보존된 450바이트 컴파일러 캐시는 브라우저 출력이 아니므로 측정에서 제외하고, 이전 #746의 동일한 실제 CSS 494바이트로 전용 writer를 실행해 기준만 보정했습니다. 기존 32바이트 여유(한도 526), 빌드 크기와 시간 규칙, 모든 보정 이력을 유지했습니다.

Ultraworked with [Sisyphus](https://github.com/code-yeongyu/oh-my-openagent)

Co-authored-by: Sisyphus <clio-agent@sisyphuslabs.ai>
Refs #683

2026-10-15: main의 #743 결정론적 ABI·상태 초기화, #716 Emotion 처리와 #734/#739 Tailwind 확장 및 #744에 통합된 styled 캡처·렌더링 수정으로 발생한 WASM 증가를 Linux run 38655364885 측정으로 기존 writer를 실행해 반영했습니다. #744와 #746 바이너리는 동일하며 #746 자체의 제품 코드 증가는 0입니다. glue gzip은 기존 7168바이트 예산에서 이미 통과하므로 원래 glue 예산을 그대로 보존했고 WASM 두 필드만 변경했습니다.

Ultraworked with [Sisyphus](https://github.com/code-yeongyu/oh-my-openagent)

Co-authored-by: Sisyphus <clio-agent@sisyphuslabs.ai>
Refs #683

2026-10-15: 이전 #746 fac1d7d4의 새 WASM/root 빌드로 측정한 실제 제공 CSS는 devup-ui-single 395바이트(기존 790에는 캐시 사본 포함), vinext-devup-ui 14873바이트(기존 29746에는 서버 사본 포함)입니다. 같은 이름 제한 writer로 이 두 행의 CSS 기준만 보정해 기존 공식의 한도 427/15616을 적용했고, 다른 모든 필드·시간 샘플·전체 빌드 크기 및 7회 보정 이력을 바이트 단위로 보존했습니다.

Ultraworked with [Sisyphus](https://github.com/code-yeongyu/oh-my-openagent)

Co-authored-by: Sisyphus <clio-agent@sisyphuslabs.ai>
Refs #683

Ultraworked with [Sisyphus](https://github.com/code-yeongyu/oh-my-openagent)

Co-authored-by: Sisyphus <clio-agent@sisyphuslabs.ai>
Refs #683

main의 #759, #749, #714, #717 통합 증가량을 동일 조건 로컬 비교와 Linux 실측으로 확인했으며 #744와 #746 바이너리는 동일합니다.

Ultraworked with [Sisyphus](https://github.com/code-yeongyu/oh-my-openagent)

Co-authored-by: Sisyphus <clio-agent@sisyphuslabs.ai>
Refs #683

Ultraworked with [Sisyphus](https://github.com/code-yeongyu/oh-my-openagent)

Co-authored-by: Sisyphus <clio-agent@sisyphuslabs.ai>
Refs #683

Ultraworked with [Sisyphus](https://github.com/code-yeongyu/oh-my-openagent)

Co-authored-by: Sisyphus <clio-agent@sisyphuslabs.ai>
Refs #683

Ultraworked with [Sisyphus](https://github.com/code-yeongyu/oh-my-openagent)

Co-authored-by: Sisyphus <clio-agent@sisyphuslabs.ai>
Refs #683

Throwaway PR #748. Never merge this deliberate regression.

Ultraworked with [Sisyphus](https://github.com/code-yeongyu/oh-my-openagent)

Co-authored-by: Sisyphus <clio-agent@sisyphuslabs.ai>
@owjs3901

Copy link
Copy Markdown
Contributor Author

Demo finished: run 39135955917 shows the new #746 size gate failing on real emitted bytes (WASM raw 6058107 > 5853184, gzip 2365634 > 2124800) and the benchmark gate failing (1.608x > 1.081x). Closing as planned; never merged.

@owjs3901 owjs3901 closed this Oct 18, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant