日本心理学会第86回大会公募シンポジウム「知覚・認知・社会・発達・臨床心理学におけるオンライン実験の苦悩と工夫」にいただいた質問への回答を記載しています。 回答の末尾に回答者名を記載しています。

ご質問 回答
山本先生もお話されていたとおり、どうしても保護者がこっそりやっているのでは?という懸念が気になりました。
この辺り,論文投稿時に査読者から「データの信頼性がない」などと言われてしまったりしないでしょうか?
今回の研究は対面実験の結果と一致しているので信頼性の面で担保があると思うのですが、新しい研究の場合でも査読者が納得してくれるものなのか気になりました ご質問ありがとうございます。

おっしゃるように、すでに研究室実験のデータがある課題であれば、それと同様のパフォーマンス(特に年齢差)が見られることをもって担保とすることができますが、新規の課題をすべてオンラインで行った場合のパフォーマンスの信頼性については、何も対策をしない場合、やはり査読で指摘されてしまうことがあると予想いたします。極力、保護者の介入を防ぐ方法をとって、それらを明記することが重要になってくると思います。

今後自分がオンラインベースで実験を行う場合はこういった方法を考えたい、というアイディアを以下につらつらと書いてみます。実際難しいものも多く、これをやったらacceptされやすいということでもなく、あくまでも「アイディアを並べてみた」という感じにはなるのですが、ご容赦いただけますと幸いです。

1)課題中のウェブカメラ 現実的・比較的手軽に使える対応策はやはり課題中にウェブカメラもつけておく、ということだと考えています。保護者が後ろ向き?でうつっていたりするとさらに良いかもしれません。 もちろん、通常備え付けのウェブカメラの位置ではお子様の手元が映せるわけではなく、またお部屋の様子もすべてうつるわけではない以上、物理的には保護者の影響を100%排除することはできないかと存じます。ただ、録画は実験者にとって物理的な確認ができるだけでなく、参加者に「録画されているから介入しない」という姿勢をとっていただく上でも効果があるかと思います。

2)ウェブカメラ以外のビデオカメラ 「実験者がビデオごと参加者の自宅に送って撮影してもらう」という試みに、私自身(のこども)が参加したことがあります(島根大学 佐藤鮎美先生の試み)。高額の機材を送る大変さがあると思いますが、保護者のスマホなどでとっていただくよりは均一の画質で撮れるので、1つの選択肢だと感じました。こちらの試みについては以下の資料で簡単に見ることができます。 https://osf.io/bs9ap/ SatoA_発心_OnlineRT.pdf

3)子どもにのみ、教示がわかるようにする 今回の私の実験では、保護者にも教示がわかるような字幕を用意しました。 ただ、たとえばZoomなどでインタラクティブに実験者が子どもの教示理解の状態を確認できるような教示の体制をとれるのであれば、ヘッドホン・イヤホンを使って子どもにだけ教示がわかるようにする、という方法もあるかと思います。

ちなみに聴覚実験であれば、たとえ教示を親が聞いていてもこども本人にしか刺激が聞こえないので、親が正解を示そうにも問題がわからない、ということはありそうです(イヤホン・ヘッドホンを常にずっとつけてたことを確認する必要はあります)。

4)「この年齢であればこのくらいのパフォーマンスが予想される(実験室実験での結果がわかっている)」課題を別途入れておく …と書いてみましたが、個人差があるので「ちょっとその年齢の平均よりよくできる子はどうするのか」など、どれくらいでカットするかというのが難しいと思います(無責任な回答ですみません…)。

5)とにかく保護者に「ありのままのお子様の回答が知りたい、正解はない(というのも課題によっては難しいですが…)」ということを繰り返し強調する。これはどの方法をとるにしても、保護者の方にできるだけ気持ちよく実験を終えていただくためにも大事なことと存じます。

(回答者:山本寿子) | | 領域も幅広く(そして話題が各領域特有のものに踏み込んでていて:発達だと子供向け、知覚だと刺激の統制、社会だと相互作用などなど)、扱うツールもいろいろで(lab.js, psychopy, otree, Gorilla)、とっても面白かったです。編集もよかったです(knsd先生?)。データを個人にFBする、みたいな話があったと思うんですが、同様の枠組みって海外なり別の領域なりで先行事例があったりするんですかね?→knst先生 皆様の今後の情報発信についてもますます楽しみにしております。 | データを個人のものにして,適宜提供していただくという考えは,パーソナルデータストアというものかと思います。私は橋田浩一先生の「パーソナルデータの分散管理による価値の最大化(『計測と制御』,2020, https://www.jstage.jst.go.jp/article/sicejl/59/9/59_653/_article/-char/ja/) 」で知りました。 海外でも議論になってきているように思いまして,パーソナルデータの寄付についての論文もあります(Skatova & Goulding, 2019,  https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0224240 )。 私はパーソナルデータストアにそれほど詳しいわけではないのですが,今後重要になるのではないかと感じています。もしご興味があれば,一緒に学べられたらとおもいますので,お声掛けください。 (回答者:国里愛彦) | | 山本先生への質問です。興味深いご講演をありがとうございました。非常に勉強になりました。

オンライン実験が可能な年齢は何歳くらいからだと感じられていますでしょうか?Young群は4-8歳とのことでしたが、4歳と8歳ではパソコンへの向き合い方や集中力がかなり異なるように思います。今回のYoung Groupの4-8歳の年齢層はどのようになっているのでしょうか?Young Groupで対面とオンラインで差はないという結果だったとしても、本当に4歳でもできるのか、という疑問が少しあります。4-5歳児のみで対面 vsオンラインでの結果はどうなるのか、など思いました。

また、今回の山本先生の課題は音声課題・視覚課題を使用されていましたが、オンライン実験に向いている/向いていなさそうな課題などもしお考えがあれば教えていただけると嬉しいです。例えば、発達心理学でよく使用されている心の理論課題などはどう思われますか? | 【オンライン実験がいくつからできるか】 今回の課題については、自分の感触として6歳以降は安定してできる子が多く、4-5歳はその子によるかもしれない、と考えています。 これはオンライン実験だからというより、そもそも実験室でこの課題をやったときの感触をふまえてです(ご質問の意図とややずれてしまって恐縮です)。 今回は「この子ならオンラインでもいけるだろう」と踏んだ保護者が多く募集をしてくださった、たまたま(自己申告上は)できる子だった、課題がかなりシンプル(2択)であったため、といった要因が助けてくれている可能性はゼロではないと考えているので、このような感触を持っています。 なお、自動で進める認知課題についての大規模オンライン実験では、5歳も参加者に含まれているものもあります(Klindt et al., 2017 Cortex)。

もちろん、今回は本当の意味で課題中の様子を観察できているわけではないので、「実は、4歳児は親が手助けしていた」といった可能性は0%とは言い切れません。少なくともイヤホン(=子どもにしか刺激が聞こえない)の使用の有無と手助けの有無については保護者が自己申告で「いいえ」と答えてくださっていますが、心理学者の想定と保護者の思う「介入なし」で食い違いがある可能性も否定はできません。そこは今回の研究の限界であり、やはり環境がゆるせば実験中の様子をきちんとウェブカメラで見る方が安全だと思っています。 なお、日本では「対話型」であればもっと幼い年齢で行った例がありますhttps://www.jstage.jst.go.jp/article/pacjpa/85/0/85_PO-063/_article/-char/ja/

【4歳と8歳ではパソコンへの向き合い方や集中力がかなり異なるように思います。今回のYoung Groupの4-8歳の年齢層はどのようになっているのでしょうか?】 4歳と8歳では違うだろう、ウェブでは4歳は難しいのでは、という点については、論文の投稿時にも査読者から同様のご指摘を受けました。これについては、論文には載せていませんが、散布図を通してウェブデータとラボデータで分布を調べています。たとえば、ウェブデータのほうだけは急峻になっているみたいなことがないかなど。その結果、ウェブデータと実験室実験で分布の仕方は類似している(どちらも年齢とパフォーマンスの間にゆるやかに正の相関)ことから、特別幼い子どもが「オンライン実験だから」難しい、ということはないのではないかと考えています。ただ、文字での選択肢を出すことから、日本語のひらがなのように比較的容易に読める言語を母語とする参加者には使えても、英語などでは難しい、という可能性もあります。

【オンライン実験に向いている/向いていなさそうな課題】 現状行われたものについて、ZaadnoordijkとCusackのプレプリント(https://psyarxiv.com/rj93m/)にまとまっています。こちらのTable1がオンライン実験と研究室の比較一覧になっており、課題によってはパフォーマンスが下がることもあるとのことです。 なお、比較的聴覚課題・視覚課題は同期を要さないものであればしやすい課題、とされているようですが、私も聴覚課題で厳密な音素の違いを聞き分けるものや(喜び・怒りの音響は物理的にかなり違うのに対して)、視覚課題でも顔色など色の細かな違いの再現が難しいような、刺激の少しの違いがカテゴリー判断に大きく影響するといった知覚課題の場合でもできるかには、興味があります。 心の理論課題については、上記のプレプリントでもできるとされています。また予備的検討で恐縮ですが、私自身、一次&二次の誤信念課題をオンラインで実施したことがあります。ストーリーは絵とナレーションで提示、選択肢はアイコンにしてどちらかをクリックもしくは指差しで選んでもらうという方法で行いました。パフォーマンス自体は結構ちゃんとできていたので、保護者の介入さえ担保できれば使えると感じています。 (回答者:山本寿子) | | この度は大変貴重な情報を共有していただきありがとうございました。 差し支えなければで結構なのですが、サーバーへの課金額を教えていただけませんでしょうか。水野さんのようにオンラインで多人数がインタラクションする場合、課金できるならするに越したことはないと思いますので、Herokuの場合Standard相当($25/月~)よりもPerformance相当($250/月~)くらいあった方がいいのでしょうか。ですが$250/月ともなると結構な負担ですので、実験するときだけ重課金する、といったことになるのでしょうか。 | 水野です。ご質問ありがとうございます。今回は100人だったので、HerokuにはStandard0まで課金しました。もっと人数が多くなれば、もう少し課金したほうがいいかもしれません。月額だと高いですが、実験の間だけパワーを上げてそのあとすぐに無料プランに戻せば、その分しか課金されません(切り替え忘れに注意です)。宜しくお願いします。 (回答者:水野景子) |