脳波を用いた感情分類の研究

好き嫌いの分類 

音楽に対する単純な好き嫌いについて脳波で分類することをHadjidimitriou & Hadjileontiadis(2012)[1]は試みました。 

大学生9名（23.22±1.72歳）が参加し、それぞれ15曲のロック、エレクトロニック、ジャズ、クラシックの一部そして15曲の広帯域ノイズの一部を聴いて、それぞれに対する好き嫌いをアンケートで評価しました。また、その際の脳波は14チャネル、2048Hzで計測されました。 

Spectrogram(SPG), Zhao–Atlas–Marks(ZAM) Distribution、Hilbert–Huang spectrogram（HHS）の３つの時系列分析の手法を基に、EEG 周波数帯域、リファレンス状態（安静時）、時間窓、大脳半球非対称性の4つのパラメーターが考慮され、特徴量抽出が行われました。 

そして、サポートベクターマシーン、k近傍法、2次判別分析、マハラノビス距離を用いた判別分析の４つの分類器で比較検討しました。 

その結果、この中ではk近傍法およびHilbert–Huang spectrogram（HHS）を用いた機械学習が一番優れており、86.52（±0.76）％の精度で音楽の好き嫌いを判別できる可能性が示されました。 

Ekmanらの基本感情に基づく分類 

PetrantonakisとHadjileontiadis（2010）[2]は、人の表情を見た際の感情を脳波から分類することを試みました。

Ekman(1971)[3]やEkmanら(1987)[4]、EkmanとFriesen (1969)[5] は、人の表情およびその背景となる感情は、「怒り」、「嫌悪」、「恐怖」、「喜び」、「悲しみ」、「驚き」の６つであるという説を提唱していました。 (ただし、日本人には部分的にしか当てはまらないことも示唆されています(Sato et al., 2019)[6])。 

これらのEkmanらの基本感情の理論に基づいて、表情を見た際の感情を脳波から分類することをPetrantonakisとHadjileontiadis（2010）[2]は試みました。 

19歳から32歳の19名の参加者には、「怒り」、「嫌悪」、「恐怖」、「喜び」、「悲しみ」、「驚き」の６つの感情に対応する表情の写真をそれぞれ10枚ずつ、計60枚の写真がランダムに提示されました。ミラーニューロンの知見に基づき、それぞれの感情に対応する表情の写真を提示された時に参加者に同様の感情を誘発する手法として用いられています。この研究では、４チャネル、256Hzで脳波計測されました。 

感情に関連する脳波を抽出するために、Energy-Based Fitness Function(EEF)とFractal Di-
mension-Based Fitness Function(FDFF)を組みわせたHybrid Adaptive Filtering(HAF)を用いられました。さらにそこから特徴量を抽出するために、フラクタル次元と固有モード関数によるHigher Order Crossings (HOC) 分析法が用いられました。 

そして、2次判別分析、k近傍法、マハラノビス距離、サポートベクターマシーンの分類器が用いられ精度の検討がされました。 

その結果、複数のチャンネルの脳波からの特徴量ベクトルをサポートベクターマシーンで分類した場合で、平均85.17%の精度で参加者に誘発された6つの感情を判別できることが示されました。 

Russellの感情円環に基づく分類 

Russell(1980)は、感情を快-不快と覚醒-非覚醒の２つの軸に、円環状に並ぶというモデルを提唱しました[7]。このRussell(1980)の感情円環モデルに基づいて、Zhang（2016）[8]は脳波から感情を分類することを試みました。 

この研究では、すでに脳波データが登録されている「DEAP」という脳波データセットが用いられました。このデータセットは、19歳から37歳の32人が、それぞれ1分間の40種類のミュージックビデオを視聴した際の脳波を、32チャンネルと512Hz～128Hzで記録し、感情を快-不快と、覚醒-非覚醒の2つの軸で評価しています。 

特徴量は高速フーリエ変換を用いて、theta波(4-8Hz)、alpha波（8-13Hz）、beta波(13-30Hz)、gamma波(36-40Hz)に脳波の周波数帯域を分解したものが用いられました。分類器には確率的ニューラルネットワークが用いられました。 

その結果、快-不快については平均で81.21%、覚醒-非覚醒については平均81.26%の精度で判別できることが示されました。 

また、確率的ニューラルネットワークを用いた場合、覚醒-非覚醒については元のチャンネルの内わずか25%の8つのチャンネル、快-不快については9つのチャンネルであっても、全ての32チャンネルを用いた場合の98%の判別成績が示されました（わずか1チャンネルでも覚醒-非覚醒及び快-不について65~70%の判別成績が得られています）。 

前額部脳波の可能性 

最近では、AIを用いることで少ないチャンネルから得られた脳波でも高い精度で感情推定が行える可能性が出てきています。ＰＧＶにおいても、前額部脳波を高精度に計測できるパッチ式脳波計を用いた感情の可視化に向けた研究開発活動に取り組んでいます。 

参考文献 

[1] Hadjidimitriou, S. K., & Hadjileontiadis, L. J. (2012). Toward an EEG-Based Recognition of Music Liking Using Time-Frequency Analysis. IEEE Transactions on Biomedical Engi-
neering, 59(12), 3498–3510. https://doi.org/10.1109/TBME.2012.2217495 

[2] Petrantonakis, P. C., & Hadjileontiadis, L.. (2010). Emotion Recognition from Brain Signals Using Hybrid Adaptive Filtering and Higher Order Crossings Analysis. IEEE Transac-
tions on Affective Computing, 1(2), 81–97. https://doi.org/10.1109/T-AFFC.2010.7 

[3] Ekman, P. (1971). Universals and cultural differences in facial expressions of emotion. Nebraska Symposium on Motivation, 19, 207–283. 

[4] Ekman, P., Friesen, W. V., O’Sullivan, M., Chan, A., Diacoyanni-Tarlatzis, I., Heider, K.,
Krause, R., LeCompte, W. A., Pitcairn, T., & Ricci-Bitti, P. E. (1987). Universals and cultural differences in the judgments of facial expressions of emotion. Journal of Personality and Social Psychology, 53(4), 712–717. https://doi.org/10.1037//0022-3514.53.4.712 

[5] Ekman, P., & Friesen, W. V. (1969). The Repertoire of Nonverbal Behavior: Categories, Origins, Usage, and Coding. Semiotica, 1(1), 49–98. https://doi.org/10.1515/semi.1969.1.1.49 

[6] Sato, W., Hyniewska, S., Minemoto, K., & Yoshikawa, S. (2019). Facial Expressions of
Basic Emotions in Japanese Laypeople.Frontiers in Psychology,10.https://www.frontiersin.org/articles/10.3389/fpsyg.2019.00259 

[7] Russell, J. A. (1980). A circumplex model of affect. Journal of Personality and Social
Psychology, 39, 1161–1178. https://doi.org/10.1037/h0077714 

[8] Zhang, J., Chen, M., Hu, S., Cao, Y., & Kozma, R. (2016). PNN for EEG-based Emotion
Recognition. 2016 IEEE International Conference on Systems, Man, and Cybernetics(SMC), 002319–002323. https://doi.org/10.1109/SMC.2016.7844584