データ整備の方針

構想0区は全国 1,788 議会（1,741 市区町村 + 47 都道府県）から 247,063,315 行の発言データを公開しています（2026-08-18 集計）。 「どこから取ったか」「いつ取ったか」「内容は本物か」を継続的に検証し、 誤りが見つかった場合は訂正の上、全て履歴として開示します。

取得時の信頼性確保

1. 取得元の明示

各自治体の取得元 URL と議事録システム種別 (sophia / ssp / voices / dbsearch / kensakusystem / universal / family / voicetechno など 8 系統) をmunicipality_registry.json に記録、公開しています。

2. 原本の保全

全 PDF / HTML 原本を SHA-256 ハッシュ付きで Google Drive と Google Cloud Storage に 保存しています。発言データ 1 行から原本ファイルまで辿れます (source_doc_id 経由)。

3. 自治体識別子の一意化

council_id は SHA-256 ベースで生成し衝突を防止しています。 同名の異自治体 (例: 北海道清水町 / 静岡県清水町) を取り違えないよう、 取得元 URL を自治体ごと独立管理 + 既知の罠 18 件を辞書化して継続更新しています。

整合性の自動検証

1. 取得時の即時検証 (Load-time verification)

BigQuery への書き込み直前に、取得データの中に正規の自治体名と都道府県名が 含まれるかを scoring 評価します。基準を満たさない場合は書き込みを中止します。

基準: sample 件数 × 0.3 未満で書き込み中止。実装はscripts/framework/council_name_verify.py の verify_council_name_match() 関数。

2. 月次の全件 audit

毎月 1 日 04:00 JST に全 1,788 議会を機械検証します (scripts/audit_bq_council_name_match.py)。 不整合が検知された場合は 24 時間以内に調査・訂正します。

3. もう一段の根拠

• 議員数 vs 自治体規模の妥当性 check
• 発言日付の年度範囲 sanity check
• speech_order の連続性 check (continuous_quality_views.sql)
• 重複検知 (dedupe_speeches.py)

訂正履歴の全件開示

訂正履歴は誤りの自己申告・自浄努力であり、議会の優劣を示すものではありません。

現在、公開中の訂正履歴はありません。

第三者による検証可能性

• 各発言の source_url から取得元 URL に直接アクセス可能
• 各発言の source_doc_id から原本 PDF にアクセス可能 (source_documents テーブル経由)
• 検証スクリプトを GitHub に公開、誰でも再実行可能
• BigQuery テーブル correlate-workspace.isvd_machikarte.speeches は許可された AI agent / 研究者へ読み取り公開

数値による品質指標 (2026-06-02 時点)

継続的改善

• 月次 audit 結果を Discord に通知
• 同名異自治体予防辞書 (known_same_name_traps.json) を継続更新 (現在 18 件)
• audit algorithm の改善 + 手動 spot check で精度向上
• ユーザー / 研究者からの不整合報告窓口を設置、24 時間以内対応

既知の限界

自動 audit の評価方法には改善余地があり、議事録の特性により自動判定では 判断が難しい自治体もあります。これらは手動 spot check と algorithm 改善で 対応していきます。改善状況は本ページで継続更新します。

データの誤りを発見された方は 訂正窓口 までご連絡ください。 24 時間以内に対応します。

最終更新: 2026-06-02