ご無沙汰しております。6月半ばに春学期が終わり、1か月くらい日本で夏休みを過ごし、来週にはもう秋学期が始まります。早いものでモンテレイ工科での3年目がスタートです。
さて、ありがたいことに、この度とあるジャーナルから投稿していた原稿について原則採択（in-principle acceptance）をもらいました（「原則」なので今後掲載拒否になる可能性もゼロではないので、どのジャーナルか、どんな内容の論文かはいったん伏せます）。なぜ「原則」かというと、まだ実験をやっておらず、データが手元にないからです。なぜデータもなく、分析もしていないのに採択になるのかと疑問に思う人もいるかもしれませんが、それはフォーマットがRegistered Report（通称レジレポ）だからです。ちなみにレジレポを通したことのある日本人の政治学者ってこれまでいるんでしょうか。いてもおかしくなさそうな気がするのですが、もしかしたら初かもしれません。今年中には実験を行って再提出をする予定で、出版自体は来年になるでしょうか。
レジレポとは、データを集める前ないし分析を行う前に、研究計画だけを見て採否を決める査読制度のことを指します。実証系の論文はイントロ→先行研究レビュー→理論・仮説→研究デザイン→分析結果→結論という流れで書くのが普通ですが、レジレポでは分析結果の部分がなく、研究デザインのところまで（pre-analysis planとも呼ぶ）を見てジャーナルは採否を決めます。問いは重要か、理論からの仮説の導出は説得的か、研究デザインは適切か、あたりが判断材料になります。ちなみに似たような用語にpre-registration(プレレジ、事前登録)がありますが、こちらはデータを採取する前にOpen Science Framework(OSF)などで仮説や研究デザインをあらかじめ登録しておくことを意味します。研究の透明性を高めるという目的は一緒ですが、レジレポはこのプレレジの発想を査読プロセスにまで延長したものと言えます。
レジレポの査読にはStage 1とStage 2があり、Stage 1ではデータと分析無しの状態で査読し、そこでジャーナルの編集者が問題なしと判断すれば原則採択になります。もちろん、Stage 1で掲載拒否の判断が下ることもありますし、今回も一回目の判断は修正後再提出（R&R）でした。言われたところを直して再提出して原則採択になったということですね。Stage 1で原則採択になったら、投稿者は原稿に書いてある通りの手順でデータを採り分析し、分析結果（と結論）を書いて投稿するとStage 2の査読になります。この段階では編集者と査読者は、Stage 1の研究デザインから逸脱がないかをチェックするのが主で、大きな逸脱がなければどんな結果になろうとも出版されることになります。「原則」というのはそういう意味ですね。詳しくはSage Journalsのこのページをご覧ください。
心理学の友人がいて、そっちではレジレポは当たり前になっているようですが、政治学のジャーナルでレジレポを受け付けているところはほとんどなく、管見の限りでAmerican Political Science Review(最近やり始めた)、Journal of Politics、Political Psychology、Journal of Experimental Political Science（Preregistered Report）、Research and Politicsぐらいです。Japanese Journal of Political Scienceのresult-blind reviewも近い発想だと言えますが、データを集めた後、あるいは分析した後でも利用できるという点でちょっとした違いがあります。あと、10年ほど前にComparative Political Studiesが試験的にresult-blind reviewを導入していましたが、いろいろ難しかったようで(Findley et al 2016)その後はやってないようです。
なぜいくつかのジャーナルでレジレポをやり始めたかというと、政治学に限らずアカデミア全体に蔓延る出版バイアスや研究不正の問題が背景にあります。よく知られている出版バイアスとして、統計的に有意な結果である場合には論文が掲載されやすい、というものがあります。まぁ、提示した仮説が支持されないという結果を報告している論文を読んだら、「この結果から何を学べばいいんだ」と思うのは素直な反応かもしれません。ただこういった出版バイアスがあるせいで、本来なら重要な研究なのにnull resultであるせいでお蔵入りになるものも少なくありません（file drawer problemとして知られてもいます）。また出版バイアスの存在のせいで研究者には種々の研究不正（もしくは不正とまでは言えなくても研究倫理的に怪しい行為）を行う動機が発生してしまい、例えばたくさん分析をして統計的に有意な結果だけを選択的に報告する、統計的に有意な結果になるまでデータを採取しつづけ有意になった時点で恣意的にストップする、分析結果を見てから仮説を構築する、といったことが横行しています。これらの行為はpハッキング（p値という統計的な有意水準に由来）やHARKing(Hypothesizing After the Results are Known)などとして問題視されています。
レジレポにするとこのような行為を防ぐことが可能になります。例えば実験の論文であれば、これから検証しようとするあらかじめ仮説を提示しておかなければなりませんし、研究デザインの部分でもどのようなサンプルを採取するか、どのような実験的操作を行うか、サンプルサイズはどのくらいの大きさか、どのような統計モデルを使うか、統計的に有意だと見なす水準はどの程度のものか、などなどを事細かく書いておく必要があります。また、データを集める前に査読するので、査読者は結果に引っ張られることなく、純粋に仮説やデザインの妥当性で研究の質や貢献を判断することになります。レジレポによって研究者に研究の高い透明性を要求することで、pハッキングやHARKingなどが難しくなり、出版バイアスが減ると考えられます。
とはいえ、政治学においてレジレポは浸透しているとは言えないのが現状です。浸透していない理由はいろいろあるとは思いますが、一つ真っ当な理由としては政治学で使われる方法の多様さがあると思います。レジレポの考え方は実験とは相性がいいですが、質的研究や解釈主義アプローチとは親和性が高くありません。また、観察データを使った計量分析でもレジレポにすることはできますが、観察データにおいてはデータを集めてから探索的に分析してなにかしらのパターンを探すことも多いので、レジレポにするとそういった想定していなかった発見といった観察データ分析の醍醐味は失われてしまうかもしれません。その意味で、レジレポは因果関係の検証には向いているけど、それ以外の目的とはあまり親和性がないと言えるかもしれません。あと、少し前まではAPSRやJOPといったトップ・ジャーナルはレジレポをやっていなかったので、ちゃんと実験して面白い結果が出ればトップ3を狙えるのに、わざわざレジレポで他のジャーナルに投稿する必要がなかったことも一つの理由だったのではないかと推測できます。また、自分はこれまで何回かいろんなジャーナルでレジレポにチャレンジしてきて、その度に掲載拒否だったわけですが、査読のコメントが辛いことが多めで、「実験やった後できれいな分析結果を見せていれば、きっと通してくれているんだろうなぁ」と感じることも多々ありました。
レジレポでリジェクトされたこともアクセプトされたこともある経験から言うと、どういう結果になっても面白いタイプの研究はレジレポ向きです。例えば、「Xが増えるとYも増える」という仮説があるとします。ここで、XはYに影響があるという理論的根拠が一方にあり、他方でXとYには関係がないと主張する人たちもいるといった状況が、研究の場ではしばしば発生します。この場合、XがYに影響を与えるという主張が支持されようとされまいと、その結果は一定の意味を持ちます。別の言い方をすると、null resultでも面白いと思ってもらえるものだと、レジレポは相性が良いかもしれません。逆に、今まで誰も考えてこなかったような独自の理論を提示し、新説を検証するような研究だとします。このようなプロジェクトの場合、当たればでかいかもしれませんが、レジレポで分析結果がない状態では査読者に「仮説が支持されなかった場合はどういう意味があるんだろう？」と疑問を持たれてしまいかねず、評価は厳しくなるかもしれません。なので、レジレポの場合は、いかに結果に依存せず面白い研究なんだよとプレゼンできるかが一つの勝負どころとなってきそうです。
レジレポの歴史はまだまだ浅く、政治学や国際関係論の分野にどのような影響を与えるのかついてはもう少し経過を見る必要がありそうですが、研究の倫理性・透明性を高める試みとしては非常に理にかなったものだと思っています。先ほどレジレポのフォーマットがある政治学のジャーナルを挙げましたが、その中に国際関係論のサブフィールド・ジャーナルはありません。一個ぐらいそういうジャーナルあってもいいかなと思うので、自分がそういうことを言える立場になったら考えてみようかなと思っています。
というわけで、今回はレジレポの話でした。秋学期も頑張ります。ではまた。
さて、ありがたいことに、この度とあるジャーナルから投稿していた原稿について原則採択（in-principle acceptance）をもらいました（「原則」なので今後掲載拒否になる可能性もゼロではないので、どのジャーナルか、どんな内容の論文かはいったん伏せます）。なぜ「原則」かというと、まだ実験をやっておらず、データが手元にないからです。なぜデータもなく、分析もしていないのに採択になるのかと疑問に思う人もいるかもしれませんが、それはフォーマットがRegistered Report（通称レジレポ）だからです。ちなみにレジレポを通したことのある日本人の政治学者ってこれまでいるんでしょうか。いてもおかしくなさそうな気がするのですが、もしかしたら初かもしれません。今年中には実験を行って再提出をする予定で、出版自体は来年になるでしょうか。
レジレポとは、データを集める前ないし分析を行う前に、研究計画だけを見て採否を決める査読制度のことを指します。実証系の論文はイントロ→先行研究レビュー→理論・仮説→研究デザイン→分析結果→結論という流れで書くのが普通ですが、レジレポでは分析結果の部分がなく、研究デザインのところまで（pre-analysis planとも呼ぶ）を見てジャーナルは採否を決めます。問いは重要か、理論からの仮説の導出は説得的か、研究デザインは適切か、あたりが判断材料になります。ちなみに似たような用語にpre-registration(プレレジ、事前登録)がありますが、こちらはデータを採取する前にOpen Science Framework(OSF)などで仮説や研究デザインをあらかじめ登録しておくことを意味します。研究の透明性を高めるという目的は一緒ですが、レジレポはこのプレレジの発想を査読プロセスにまで延長したものと言えます。
レジレポの査読にはStage 1とStage 2があり、Stage 1ではデータと分析無しの状態で査読し、そこでジャーナルの編集者が問題なしと判断すれば原則採択になります。もちろん、Stage 1で掲載拒否の判断が下ることもありますし、今回も一回目の判断は修正後再提出（R&R）でした。言われたところを直して再提出して原則採択になったということですね。Stage 1で原則採択になったら、投稿者は原稿に書いてある通りの手順でデータを採り分析し、分析結果（と結論）を書いて投稿するとStage 2の査読になります。この段階では編集者と査読者は、Stage 1の研究デザインから逸脱がないかをチェックするのが主で、大きな逸脱がなければどんな結果になろうとも出版されることになります。「原則」というのはそういう意味ですね。詳しくはSage Journalsのこのページをご覧ください。
心理学の友人がいて、そっちではレジレポは当たり前になっているようですが、政治学のジャーナルでレジレポを受け付けているところはほとんどなく、管見の限りでAmerican Political Science Review(最近やり始めた)、Journal of Politics、Political Psychology、Journal of Experimental Political Science（Preregistered Report）、Research and Politicsぐらいです。Japanese Journal of Political Scienceのresult-blind reviewも近い発想だと言えますが、データを集めた後、あるいは分析した後でも利用できるという点でちょっとした違いがあります。あと、10年ほど前にComparative Political Studiesが試験的にresult-blind reviewを導入していましたが、いろいろ難しかったようで(Findley et al 2016)その後はやってないようです。
なぜいくつかのジャーナルでレジレポをやり始めたかというと、政治学に限らずアカデミア全体に蔓延る出版バイアスや研究不正の問題が背景にあります。よく知られている出版バイアスとして、統計的に有意な結果である場合には論文が掲載されやすい、というものがあります。まぁ、提示した仮説が支持されないという結果を報告している論文を読んだら、「この結果から何を学べばいいんだ」と思うのは素直な反応かもしれません。ただこういった出版バイアスがあるせいで、本来なら重要な研究なのにnull resultであるせいでお蔵入りになるものも少なくありません（file drawer problemとして知られてもいます）。また出版バイアスの存在のせいで研究者には種々の研究不正（もしくは不正とまでは言えなくても研究倫理的に怪しい行為）を行う動機が発生してしまい、例えばたくさん分析をして統計的に有意な結果だけを選択的に報告する、統計的に有意な結果になるまでデータを採取しつづけ有意になった時点で恣意的にストップする、分析結果を見てから仮説を構築する、といったことが横行しています。これらの行為はpハッキング（p値という統計的な有意水準に由来）やHARKing(Hypothesizing After the Results are Known)などとして問題視されています。
レジレポにするとこのような行為を防ぐことが可能になります。例えば実験の論文であれば、これから検証しようとするあらかじめ仮説を提示しておかなければなりませんし、研究デザインの部分でもどのようなサンプルを採取するか、どのような実験的操作を行うか、サンプルサイズはどのくらいの大きさか、どのような統計モデルを使うか、統計的に有意だと見なす水準はどの程度のものか、などなどを事細かく書いておく必要があります。また、データを集める前に査読するので、査読者は結果に引っ張られることなく、純粋に仮説やデザインの妥当性で研究の質や貢献を判断することになります。レジレポによって研究者に研究の高い透明性を要求することで、pハッキングやHARKingなどが難しくなり、出版バイアスが減ると考えられます。
とはいえ、政治学においてレジレポは浸透しているとは言えないのが現状です。浸透していない理由はいろいろあるとは思いますが、一つ真っ当な理由としては政治学で使われる方法の多様さがあると思います。レジレポの考え方は実験とは相性がいいですが、質的研究や解釈主義アプローチとは親和性が高くありません。また、観察データを使った計量分析でもレジレポにすることはできますが、観察データにおいてはデータを集めてから探索的に分析してなにかしらのパターンを探すことも多いので、レジレポにするとそういった想定していなかった発見といった観察データ分析の醍醐味は失われてしまうかもしれません。その意味で、レジレポは因果関係の検証には向いているけど、それ以外の目的とはあまり親和性がないと言えるかもしれません。あと、少し前まではAPSRやJOPといったトップ・ジャーナルはレジレポをやっていなかったので、ちゃんと実験して面白い結果が出ればトップ3を狙えるのに、わざわざレジレポで他のジャーナルに投稿する必要がなかったことも一つの理由だったのではないかと推測できます。また、自分はこれまで何回かいろんなジャーナルでレジレポにチャレンジしてきて、その度に掲載拒否だったわけですが、査読のコメントが辛いことが多めで、「実験やった後できれいな分析結果を見せていれば、きっと通してくれているんだろうなぁ」と感じることも多々ありました。
レジレポでリジェクトされたこともアクセプトされたこともある経験から言うと、どういう結果になっても面白いタイプの研究はレジレポ向きです。例えば、「Xが増えるとYも増える」という仮説があるとします。ここで、XはYに影響があるという理論的根拠が一方にあり、他方でXとYには関係がないと主張する人たちもいるといった状況が、研究の場ではしばしば発生します。この場合、XがYに影響を与えるという主張が支持されようとされまいと、その結果は一定の意味を持ちます。別の言い方をすると、null resultでも面白いと思ってもらえるものだと、レジレポは相性が良いかもしれません。逆に、今まで誰も考えてこなかったような独自の理論を提示し、新説を検証するような研究だとします。このようなプロジェクトの場合、当たればでかいかもしれませんが、レジレポで分析結果がない状態では査読者に「仮説が支持されなかった場合はどういう意味があるんだろう？」と疑問を持たれてしまいかねず、評価は厳しくなるかもしれません。なので、レジレポの場合は、いかに結果に依存せず面白い研究なんだよとプレゼンできるかが一つの勝負どころとなってきそうです。
レジレポの歴史はまだまだ浅く、政治学や国際関係論の分野にどのような影響を与えるのかついてはもう少し経過を見る必要がありそうですが、研究の倫理性・透明性を高める試みとしては非常に理にかなったものだと思っています。先ほどレジレポのフォーマットがある政治学のジャーナルを挙げましたが、その中に国際関係論のサブフィールド・ジャーナルはありません。一個ぐらいそういうジャーナルあってもいいかなと思うので、自分がそういうことを言える立場になったら考えてみようかなと思っています。
というわけで、今回はレジレポの話でした。秋学期も頑張ります。ではまた。