Improbable Data Patterns in the Work of Barbalho et al: An Explainer
https://www.strongerbyscience.com/barbalho/?ck_subscriber_id=699589358
筋肥大とストレングスの分野で「へ~」と思うような研究をいくつか出している研究者の複数の研究が、どうも信用できないという話が出ている。データのばらつきが確率的にありえないほど小さかったり、複数のグループのデータが酷似していたり、ストレングスの伸びがあり得なかったりとおかしい点がいくつもある。個人的な印象では、いいとこ取り手法でデータを整えたというレベルではなく、複数の研究でデータをほぼでっち上げたのではないかと。
上のGreg Nuckolsの記事におかしな点が詳しく書かれていて、Barbalhoの研究に関わった人の協力で実験の生データも手に入れてるのだけど、統計のことがわからなくても、生データの数字の不自然さは一目瞭然。例えば腕の周径の被験者ごとの変化の数値が、 0.8, 0.8, 0.8, 0.8, 0.8, 1.1, 1.1, 1.1, 1.1, 1.1となっている。被験者10人で数値が2パターンしかない。今後エビデンスを考える時、Barbalhoが関わった研究についての結果は全て、一旦棚上げして考えたほうがいいと思う。