[V3-07] corpus manifest・用途分割・ライセンス検証を整備する

[PyYoshi]

親トラッカー: #114

完了した基盤

• training/tuning/validation/independentをorigin・source hash単位で分離し、manifest内と複数manifest間の混入を拒否
• license・license_reference・revision・hash・encoder/version・ground_truthの由来とbyte切断の有無を追跡
• 欠落権利metadata、内容改変、split漏洩の回帰test
• 実装・再現手順・限界を日本語で記録

実装: PyYoshi/uchardet#12、PyYoshi/uchardet#13、PyYoshi/uchardet#14（dev: 005cd060f4287cf81b17638cda00dc238914d82f）。#14は11 CI成功。

再現: uchardet rootで uv run --no-project python -m unittest discover -s corpus -p "test_*.py"（24 tests）。corpus/framework.py validateは実byteを含む完全検証、audit-splitsは本文を読まないmetadata監査。

制限: validatorはlicense記述の存在を検証するもので、許諾そのものを自動認定しない。originは翻訳・正規化・派生物を跨ぐ安定IDを作成者が付ける。近重複候補・グループ診断は後続で追加済み（下記）。同一著者/domainや翻訳関係の自動認定は未実装。旧schema 1は新optional metadataなしでも受理する。

自然文pilotの6 manifest/24 source recordsの横断監査でsplit leakageなし。本文・予測を公開しない。新生成modelの権利判断はD04/#123に残す。

後続の拡張（2026-09-21）

元の完了判定と上記の検証件数は完了時点の記録。
後続のPyYoshi/uchardet#20/#21で近似重複候補・連結成分診断、#37/#40で録音単位のprovenanceとtraining/tuning分割を追加した。
cChardet #133/#134/#158/#164へ統合済み。近似候補がないことを統計的独立性の保証としない。
重複監査、グループ診断、録音単位の分割。

[PyYoshi]

基盤実装は PyYoshi/uchardet#12 でdev merge済み。source id/hash/origin単位のsplit隔離、派生variantのsplit一致、license/revision/hash/encoder metadataの検証、path逸脱/重複sourceの拒否を追加。16 corpus tests成功。日仏露96 sampleを生成・検証済み。文書: https://github.com/PyYoshi/uchardet/blob/dev/corpus/README.md 。近重複検出、個別権利の自動判断、大規模streaming生成は非対応と明記しています。