Overstatements in abstract conclusions claiming effectiveness of interventions in psychiatry: A meta-epidemiological investigation
抄録の結論での介入の有効性の誇張について：精神科の臨床試験でのメタ疫学的研究
Kiyomi Shinohara , Aya M. Suganuma, Hissei Imai, Nozomi Takeshima, Yu Hayasaka, Toshi A. Furukawa
PLoS One. 2017
http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0184786
なにがわかったの？
臨床試験の結果を報告する論文において、抄録の部分は無料で読めて試験の内容がまとまめられているので最もよく利用される部分です。なかでも結論の部分は短くてすぐ読め、一番重要なメッセージがのっているのでとても大事な部分です。しかし、この大切な結論で、介入の効果を強調するような誇張が良く行われています。たとえば、有意でなかった結果に触れなかったり、有意だったサブグループ分析の結果を持ち出したり・・・といったものです。今回の研究では精神科領域でのRCT60本を調べたところ、3分の1（20本）の抄録の結論で実際の本文の結果より有意な結果を強調するような誇張が行われていました。
もっと詳しく・・・
臨床試験の結果を報告する論文においては実際の結果より介入とコントロール（比較対象）との差を強調したり、介入の不利益な部分に十分触れなかったり・・・といったSPINと総称される不適切な書き方が良く見られます。論文の抄録の結論は一番重要で参考にされる部分ですが、実はもっともSPINが多い部分です。抄録の結論を呼んで「この介入効果ありそう」と思って本文を読んだら実はプライマリアウトカムでは有意な差はなかった、ということが時々あります。この研究では、「抄録の結論から予想される（読者が通常予想するだろう結果）」と「実際の本文に載っている結果」を比較することにより、結論に誇張（overstatement）があるかどうかを判定しました。判定は2人がバラバラに行ったのを答え合わせる形で、できるだけ客観的になるようにしました。その結果3分の1の論文で抄録の結論から導かれる結果のほうが、実際の結果より良かった（誇張があった）ということがわかりました。9本の論文ではプライマリアウトカムはすべて有意差がなかったのに、介入に効果があるような書き方をしていました。サンプルサイズが大きい（300以上）でIFが高い雑誌（IF>10)の論文のほうが結論の誇張は少ないことがわかりました。
臨床医へのメッセージ
抄録の結論は必ずしも実際の結果に基づいてかかれていません。効果があるように書かれていても、セカンダリーアウトカムやサブグループ分析の結果を書いていることがあります。本文の結果を確認し、結論に惑わされないようにする必要があります。
【掲載には著者の許可を頂いています】