NAIS Entryを使ってみよう①音楽刺激の違いを脳波で見分ける

NAIS Entryで「音楽刺激の違いを脳波で見分けることができるか？」を確認してみた

以前の記事で、「脳波によってヒトの活動や状態を詳細に評価できる」と説明しました。また、別の記事では、「脳波からヒトの状態や活動を詳細に確認するにはAIを活用することが有効で、AI活用のためにはヒトの活動や状態をラベルされた脳波データを収集する必要がある」と述べています。 

今回は、音楽刺激の違いを脳波で見分ける試みを例にとって説明します。被験者4名での脳波計測とAI解析の結果、音楽刺激の違いを高い精度で見分けることができました。 

異なる音楽刺激を与えている時の脳波計測方法

以下のような被験者、音楽を用いて脳波の計測とAI解析を行いました。今回は特に下記の論文を参考にパッチ式脳波計とNAIS Entryを使用しました。詳細は以下で説明します。

Sammler, D., Grigutsch, M., Fritz, T. & Koelsch, S. Music and emotion: Electrophysiological correlates of the processing of pleasantand unpleasant music. Psychophysiology 44, 293–304 (2007).

1. 被験者
   

   今回は20代、30代の男性4名（PGVの社員）を被験者としました。

2. 使用する音楽
   

   上記論文でリンクが掲載されている音楽を選曲しました。
   ・Fear Music ->論文上で"Unpleasant"と定義されている楽曲
   ・Happy Music -> 論文上で"Pleasant"と定義されている楽曲

3. その他試験に必要な設備・環境

   1. 1. 1. パッチ式脳波計
         2. NAIS Entryアプリがインストールされたタブレット
         3. 音楽を聴くためのヘッドセット
         4. 外界と遮断した暗室
            
            
4. 脳波の計測
   下図のような手順（PGVでは試験プロトコルと呼びます）で音楽を聴いて脳波計測を行いました。
   

被験者に脳波計と音楽を聴くためのヘッドセットを装着して、事前にノイズ環境を確認した暗室に待機してもらいました。その上で操作者がPCで音楽制御、NAIS Entryアプリがインストールされたタブレットで脳波計測制御を遠隔で行いました。

試験では以下の３つタスクに分けました。各タスク間は聴いた音楽の影響を十分に取り除きリセットするために5分のインターバルを設けました。

1. 1. 1. TASK A: Fear Music　　→　音楽（Fear Music）を聴く
      2. TASK B: Happy Music　→　音楽（Happy Music）を聴く
      3. TASK C: Relax　　　　  →　何も音楽を聴かない

各タスクでは、①開眼安静→②タスク（音楽を聴く、もしくは、何もしない）→③開眼安静、で計測しました。この①〜③の計測手順はNAIS Entry固定の計測手順です。NAIS Entryアプリの指示にしたがって設定、試験を開始するとアプリが脳波計と連動して計測し、①〜③のラベルや被験者等のその他情報を付加して脳波データを記録してくれます。NAIS Entryを使用している様子等の詳細はこちらを確認ください。３つのタスクを４人の被験者で完了すると、試験は終了です。試験終了後にデータをアップロードするとデータ整理を自動で行います。

計測した脳波をNAIS Entryで脳波AI構築してみる

NAIS Entryではアプリから脳波データをアップロードすると、複数のAIを継続して作成し、その性能を評価します。性能がこれ以上向上しないところまで行き着いた時点で作成を終了し、その中で最も成績のよいものを最終的な結果として返信します。ここでいう性能とは、脳波AIが予測した値と実際の値がどのくらいの精度で一致しているかを示す指標です。

この結果を見ることで、「脳波で音楽刺激を見分けることができるか？」、さらに言うと音楽刺激が「脳波にどの程度影響を与えるか？」を理解することができます。

NAIS Entryでは上述の様に①〜③の計測手順があるのですが、この記事では被験者全員の脳波データから上述の手順で計測した③の脳波データを使用した脳波AIの結果について解説します。③は音楽を聴いた後の状態を読み取った脳波であり、「音楽を聴いた後に脳の状態に変化があるのか？」を確認することができます。NAIS Entryでは２つの状態の脳波比較のみに対応しており、今回は以下の組み合わせを確認しました。NAIS Entryでは、以下のそれぞれで一つのレポートを出力しました。

• TASK A vs TASK B
• TASK A vs TASK C
• TASK B vs TASK C

もう少し説明すると、例えば、「TASK A vs TASK B」では、③の脳波を入力するだけでAIは正しくTASK A：Fear MusicもしくはTASK B：Happy Musicを聴いた後を判別することができるかどうかを確認しています。結果としては、正解率（Accuracy）は85.4%を記録しており、それぞれの音楽を聴いた後ではそれぞれ違う脳波の状態になっていることがわかります。NAIS EntryのAIレポートでは下記の部分で正解率を確認できます。レポートの見方はまた別の機会に詳しく解説します。実際のレポートはこちらからダウンロードすることができます。

「TASK A vs TASK C」は78.0％、「TASK B vs TASK C」は83.３％の正解率でした。この結果から、音楽を聴いた時は同じ安静状態でもそれぞれ違う脳波の状態になっていることがわかります。

※上記のレポートは2021年5月時点での内容です。レポートの内容は更新される事があります。

まとめ
この試験では、音楽刺激が脳（の前頭葉）に影響を与えることがわかりました。このようにNAIS Entryでは脳波計測から脳波AIでの解析を簡単に行うことができます。