Skip to content

[skip-build] 固定ratioモデルのchunk差分と採用制約を記録 - #167

Merged
PyYoshi merged 1 commit into
devfrom
v3/ratio-chunk-results
Sep 20, 2026
Merged

PyYoshi merged 1 commit into
devfrom
v3/ratio-chunk-results

Conversation

@PyYoshi

@PyYoshi PyYoshi commented Sep 20, 2026

Copy link
Copy Markdown
Owner

概要

  • native can not detect some encoding #42(11 CI成功)のmerge 4138e4405bbb2fa4c0e5e2c4fdff1d85ad32f1a2 へ更新。
  • 固定モデル5種×16入力×5 scheduleの全400観測を保持し、chunk差と同feedのモデル差を分離。
  • 1-byteではlegacyもcp1252 decode-equivalent 0/8、7-byteではlegacy 6/8に対し生成model 4/8。標準採用は保留。
  • 小入力でfilter出力275→51 bytesの差を観測。これを全原因の証明とはせず、日本語で根拠と制約を記載。

検証

native関連102テスト、更新後ローカル332 passed / 28 skipped / 79 subtests passed、diff check成功。全400観測を再実行してreport全byte一致。

native差分は実験Python・test・文書のみのためwheel buildを省略し通常CIは維持。標準モデル・C++・公開APIに変更なし。P01と独立holdoutの未開封を維持。

Refs #123

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant