入力不要
はじめに
限られた経営資源を有効に活用し政策効果を高めるために、「証拠に基づく政策形成（Evidence-Based Policy Making : EBPM）」の重要性・注目度が高まっている。証拠に基づく政策立案（EBPM）とは、内閣官房行政改革推進本部事務局によると、「（１）政策目的を明確化させ、（２）その目的のため本当に効果が上がる行政手段は何かなど、『政策の基本的な枠組み』を証拠に基づいて明確にするための取組」である。経済産業省「平成28年度政策評価調査事業（経済産業行政におけるエビデンスに基づく政策立案・評価に関する調査）報告書」によると、「エビデンス」の質には「専門家や実務家の意見」や「少なくとも１つのRCT」などの段階があることが指摘されている。
EBPMの取り組みの中では、ランダム化比較実験（Randomized Controlled Trial: RCT）などによる質の高い「エビデンス」が求められる場合もあるが、「EBPM（エビデンスに基づく政策立案）に関する有識者との意見交換会報告（議論の整理と課題等）」において、「（研究者として）エビデンスづくりや政策評価を頼まれたとき一番困るのが、政策の実施は、それが評価できるような形には必ずしもなっておらず、とても複雑な政策が実行されること。関連する政策が同時に始まるので、1つの政策の効果の測定はほとんどできないし、無理矢理やったとしても局所的な情報しか出せない。」という指摘がなされているように、政策・事務事業等によっては厳密な政策効果の測定によって質の高い「エビデンス」の創出（統計的手法を用いた厳密な政策効果の測定）が難しい状況となっている場合がある。
本稿では、質の高い「エビデンス」の創出が難しくなる要因として、指標の設定方法、特に「政策効果を測定するための指標の対象（政策効果の測定対象）」と「政策の直接的な対象（介入の対象）」の違いに注目して考察を行う。
1．「介入の対象＜政策効果の測定対象」とした場合の問題点
（1）「介入の対象＜政策効果の測定対象」について
質の高い「エビデンス」の創出に関して直接的に議論を行ったものではないが、総務省「地方公共団体への評価手法等の情報提供等の支援に関する調査研究」では、地方自治体の行政評価における課題として「評価指標の設定」が挙げられており、その要因として「施策・事務事業の目的・成果を具体化・明確化できていない」ことが指摘されている。質の高い「エビデンス」を創出するための指標設定においても、地方自治体における行政評価の成果指標の設定と同様に目的・成果の具体化・明確化（対象や対象をどのようにしたいかの具体化・明確化）は必須であると考える。本稿では、目的・成果の具体化・明確化に取り組んでいるものの、質の高い「エビデンス」を創出するための適切な指標設定が困難となる要因として「介入の対象（政策の直接的な対象）＜政策効果の測定対象（政策効果を測定するための指標の対象）」としている場合を取り上げる。
「介入の対象＜政策効果の測定対象」とは、政策・事務事業等により直接的に介入する対象（補助金の交付対象やセミナーの参加者、ポスターを目にする人など）の粒度が、政策・事務事業等の効果を測定するための指標よりも小さくなっていることを意味している。具体的には【図表１】のような政策・事務事業等（介入）および政策・事務事業等（介入）の直接的な対象、政策効果の測定対象（指標）などがある。
【図表1】「介入の対象＜政策効果の測定対象」の具体例
具体例として、「ごみ減量相談窓口の設置」を用いて「介入の対象＜政策効果の測定対象」の説明を行う。「ごみ減量相談窓口の設置」とはごみの排出量の削減に取り組んでいるものの実施方法で悩む住民を対象とした相談窓口であり、相談者に対してアドバイス等の支援（介入）を実施して、相談者のごみ排出量の削減を支援するものである。地域のごみの排出量削減や、ごみ排出量削減に伴う循環型社会の構築、環境保全基準の達成などのより大きな目標の実現に向けて実施されている。
環境保全基準の達成という大きな目的に向けて地域のごみ排出量の削減に取り組んでいるため、取り組み（介入）の成果として「（地域全体の）ごみ排出量の削減率」を設定することは一見妥当にも思われる。しかし、「ごみ減量相談窓口」によって直接的に支援（介入）する対象は「ごみ減量相談窓口の利用者」であり、地域全体の住民に対する支援（介入）は実施されていない（仮に地域住民の全員がごみ減量相談窓口を利用する場合には、この限りではない）。そのため「ごみ減量相談窓口の設置」という取り組み（介入）の成果を測定するための指標として「（地域全体の）ごみ排出量の削減率」を設定すると、その指標は「ごみ減量相談窓口による支援（介入）対象者」の行動に加えて、ごみ減量相談窓口を利用していないその他大勢の住民の行動も測定していること、つまりは「介入の対象＜政策効果の測定対象」としていることとなる。【図表２】
【図表2】「介入の対象＜政策効果の測定対象」について
（2）質の高い「エビデンス」の創出における問題点
「介入の対象＜政策効果の測定対象」とすることで、質の高い「エビデンス」の創出（厳密な政策効果の測定）が困難になる点を確認する。
「ごみ減量相談窓口の設置」の厳密な政策効果の測定を試みる場合には、【図表３】のとおりAグループが「ごみ減量相談窓口」を利用した場合の「ごみ排出量の削減率」と、Aグループが「ごみ減量相談窓口」を利用しなかった場合に類似する「ごみ減量相談窓口」を利用していないBグループを比較するなど、適切な比較対象を設定する必要がある。
【図表3】政策効果測定のための比較対象の設定について
しかし、「介入の対象＜政策効果の測定対象」として政策効果の測定対象を「対象地域全体のごみ排出量の削減率」とした場合には、比較対象として「異なる地域におけるごみ排出量の削減率」を設定することになる。「ごみ排出量の削減率」は「ごみ減量相談窓口の設置」による政策効果に加えて、ごみ減量に関する啓発活動（イベント等を含む）やごみ袋の有料化などの「ごみ減量相談窓口の設置」以外の行政による取り組みや、民間による啓発活動、環境問題に関連した事件、個人の行動特性、地域の特性などの多くの要素の影響を受けている。質の高い「エビデンス」の創出のためには、「ごみ減量相談窓口の利用」に関連するこれらの要素を適切に考慮（コントロール）する必要がある。しかし、「ごみ減量相談窓口の設置」やごみ袋の有料化、ごみ減量に関する啓発活動など、政府・地方自治体の行動のみに焦点を絞っても地域内では同時並行的に同一・類似目標に向けた複数の取り組みが実施されている場合が多くある。そのため地域間を対象としてそれらの要因を適切に考慮（コントロール）することは難しい場合が多い。
また、政策効果を測定するための指標を「対象地域全体のごみ排出量の削減率」とした場合にその指標は、「ごみ減量相談窓口の利用者」のごみ排出量の状況のみでなく、その他の住民のごみ排出量の状況の影響を受けており、その中から「ごみ減量相談窓口の利用者」の変化状況を抽出して把握することは極めて困難となる。
さらに、「対象地域全体のごみ排出量の削減率」を成果測定のための指標として設定している場合には、直接的な取り組みの対象者への変化が地域全体にも波及することが所与のものとされている場合がある。しかし、介入の直接的な対象における変化が介入を受けていない主体にも必然的に生じ得るという仮定を無条件に設定することは、「証拠に基づく政策形成（EBPM）」の考え方に照らして適切ではない。
2．指標設定時等の留意点
「介入の対象＜政策効果の測定対象」とすることで、質の高い「エビデンス」の創出において問題が生じることを確認したため、本節では問題への対処方法として以下の３つの取り組みを検討する。
（1）「介入の対象≧政策効果の測定対象」とした指標の設定
「介入の対象＜政策効果の測定対象」とすることで質の高い「エビデンス」の創出において問題が生じるため、政策・事務事業等の成果を測定するための指標を設定する場合には、「介入の対象≧政策効果の測定対象」とすることが重要となる。そのためには、補助金の交付であれば交付対象者、PR・啓発・相談等の取り組みであればPR・啓発・相談の直接的な対象者など、政策・事務事業等の類型に応じた取り組み（介入）の直接的な対象者を適切に位置付ける必要がある。【図表4】
なお、政策・事務事業等によっては「介入の対象≧政策効果の測定対象」とすることが困難な場合が考えられるが、成果を測定するための指標設定の段階では政策・事務事業等による取り組み（介入）の粒度と、成果を測定するための指標の粒度を考慮することが重要だと考える。
【図表4】「介入の対象≧政策効果の測定対象」について
（2）事業の直接的な効果と波及効果の分離
政策・事務事業等の成果および成果を測定するための指標について検討するときには、政策・事務事業等の直接的な効果と波及効果を混同するのではなく、それぞれを切り離して別々に取り扱う必要がある。直接的な効果と波及効果を別々に測定する場合には少なくとも①直接的な介入対象の変化（直接的な効果）、②介入を受けていない対象への波及経路、③介入を受けていない対象の変化（波及効果）の３段階に分けて測定することが望まれる。
②の波及経路については、波及効果を期待する政策・事務事業等であれば、政策・事務事業等の直接的な対象者の変化が対象となっていない住民・事業者等にどのように影響するのか（波及経路）を事前に想定したうえで、その波及状況を測定する必要がある。波及経路は取り組みの内容により異なってくるが、「ごみ減量相談窓口」の場合には、「ごみ減量相談窓口の利用者」による情報発信状況などが考えられる。【図表５】
なお、政策・事務事業等の直接的な介入対象に関する指標の測定が困難であり、事業の直接的な介入の対象者の変化状況について地域全体を対象とした指標で測定することを試みる場合には、①の直接的な効果、②の波及経路を具体化・明確化したうえで、地域全体に占める直接的な対象者の割合を考慮する必要がある。例えば、住民が20万人規模の地方自治体において「ごみ減量相談窓口の利用者」が仮に2,000人/年いた場合には、直接的な対象者の占める割合は1%であることを踏まえておく必要がある。
【図表5】 事業の直接的な効果と波及効果について
（3）介入対象等に関するデータの収集
質の高い「エビデンス」の創出のためには、介入対象の変化状況を測定するための指標、比較対象の変化状況を測定するための指標を介入前の状態から収集することが必要となるが、政策・事務事業等によっては介入対象の介入後の状況を測定するための指標収集すら実施されていない場合が多くある。
人的・財政的制約等を背景としてデータ収集等が困難となる場合が想定されるが、税金を用いて政策・事務事業等の取組を実施している以上、効果の有無の検証が実施されない、また適切な効果検証の実現が困難な状態で継続することは望ましくない。比較対象の変化状況を測定するための指標の収集や介入前の指標収集が困難な場合であっても、介入後の介入対象の状況を測定するための指標は最低限把握することが必要である。人的・財政的制約等の下での指標収集時には、例えば既存の満足度を測定するアンケート調査等に対象者の属性等を追加することなど、既存の指標収集手段の改善・見直し等により対応することも考えられる。
また、政策・事務事業等の実施に伴う変化として意識・雰囲気の変化などの主観的な考え等のみが重視され、客観的な変化が考慮されていない場合がある。しかし、意識・雰囲気の変化の先には行動の変容が想定されるために、期待される行動変容を具体化・明確化することで行動変容を定量的に測定するなどの取り組みを実施することが望ましい。なお、質の高い「エビデンス」の創出のためには定量的な分析が必須と考えるが、定性的な側面の分析も非常に重要となる。
おわりに
本稿では、質の高い「エビデンス」を創出（厳密な政策効果を測定）するための指標設定において、「介入の対象＜政策効果の測定対象」としていることの問題点および対応方法についての考察を行った。なお、質の高い「エビデンス」の創出のためには本稿で取り上げた事項以外に、様々な取り組みが必要であり、「介入の対象≧政策効果の測定対象」などの取り組みは質の高い「エビデンス」の創出に向けた一取り組みであると考える。
平成29年４月に「EBPM推進委員会」が設置され、政府横断的なEBPMの取り組みが開始されるなど、「EBPM」という名称の取り組みは緒についたばかりである。しかし、中央政府における政策評価や地方自治体における行政評価など政策・事務事業等の成果を測定するための指標の設定や、その指標の分析等については従前から取り組まれており、決して新しいものではない。しかし、先に述べたとおり政策評価・行政評価では、成果を測定するための指標設定において課題が生じている。本稿では質の高い「エビデンス」の創出を対象としたが、EBPMの取り組みとしての厳密な政策効果の測定に限らず、政府の政策評価や地方自治体における行政評価での成果指標の設定においても同様の議論が適用可能と考える。
参考文献等
- 経済産業省「平成28年度政策評価調査事業（経済産業行政におけるエビデンスに基づく政策立案・評価に関する調査）報告書」
- 総務省「EBPM（エビデンスに基づく政策立案）に関する有識者との意見交換会報告（議論の整理と課題等）（平成30年10月）」
- 総務省「地方公共団体への評価手法等の情報提供等の支援に関する調査研究報告書」（平成29年2月）
本記事の執筆者
コンサルティング本部 行政経営グループ
コンサルタント
中村 圭（なかむら けい）
2013年大阪大学法学部卒業、2014年三井住友信託銀行株式会社入社、2016年大阪大学大学院国際公共政策研究科修了、同年富士通総研入社。主に地方自治体や府省等の公共分野を対象としたコンサルティング業務・調査研究業務に従事。特に、政策評価に関するコンサルティング業務・調査研究業務のほか、行政改革・総合計画等の自治体経営に関するコンサルティング業務を手掛ける。専門は計量分析・政策評価・自治体経営。
お客様総合窓口
入力フォーム
当社はセキュリティ保護の観点からSSL技術を使用しております。
お客様総合窓口
