東南大學(xué)機(jī)械工程學(xué)院的薛澄岐教授團(tuán)隊(duì)于2024年4月在INTERNATIONAL JOURNAL OF HUMAN COMPUTER INTERACTION（5-Years IF =4.5）發(fā)表名為Understanding Relations Between Product Icon Type, Feature Type, and Abstraction: Evidence From ERPs and Eye-Tracking Studys 的研究。

研究背景

在人機(jī)交互中，圖標(biāo)的樣式和識(shí)別對(duì)界面交互效率和用戶體驗(yàn)起著至關(guān)重要的作用。但是，在認(rèn)知語(yǔ)境中，產(chǎn)品圖標(biāo)類型、特征類型和抽象程度之間的復(fù)雜關(guān)系還有待厘清。探討產(chǎn)品圖標(biāo)的抽象程度對(duì)認(rèn)知效能的影響具有至關(guān)重要的意義，因?yàn)樗粌H有助于提高圖標(biāo)設(shè)計(jì)效率，而且對(duì)產(chǎn)品圖標(biāo)設(shè)計(jì)具有重要的指導(dǎo)意義。

在產(chǎn)品分類領(lǐng)域，主流研究將產(chǎn)品分為娛樂(lè)類和實(shí)用類，以往的研究已經(jīng)發(fā)現(xiàn)了產(chǎn)品類型和消費(fèi)者購(gòu)買傾向之間的相關(guān)性，但這些研究很少與圖標(biāo)設(shè)計(jì)領(lǐng)域交叉。事件相關(guān)電位（ERPs）由于具有較高的時(shí)間分辨率，適用于揭示個(gè)體對(duì)刺激的注意和感知的神經(jīng)過(guò)程。本研究旨在通過(guò)腦電圖分析，探討實(shí)用和娛樂(lè)產(chǎn)品圖標(biāo)在不同抽象層次上的認(rèn)知機(jī)制。

研究方法

1、從IoT（物聯(lián)網(wǎng)）領(lǐng)域中選取了60個(gè)產(chǎn)品，通過(guò)問(wèn)卷調(diào)查讓受試者將每個(gè)產(chǎn)品圖像歸類為實(shí)用產(chǎn)品或娛樂(lè)產(chǎn)品，并對(duì)其形式的復(fù)雜性進(jìn)行評(píng)分。同時(shí)，使用Adobe Illustrator 2021軟件的混合工具設(shè)置圖標(biāo)抽象程度（如圖1所示），并生成了刺激圖標(biāo)示例（表1）。

圖1 產(chǎn)品種類說(shuō)明及復(fù)雜度問(wèn)卷調(diào)查

表1 刺激圖標(biāo)示例

2、使用E-Prime 2.0軟件編寫(xiě)任務(wù)，并在實(shí)驗(yàn)室的電腦上向受試者呈現(xiàn)刺激。

采用S1-S2范式。每次試驗(yàn)開(kāi)始時(shí)，受試者注視屏幕中央500毫秒。隨后，在屏幕中央呈現(xiàn)一段文本S1（產(chǎn)品中文名稱），持續(xù)1000 ms。然后，出現(xiàn)灰色屏幕，持續(xù)500 ms，然后是一個(gè)目標(biāo)S2（包括與S1匹配和不匹配的條件），持續(xù)時(shí)間1200-1600 ms（見(jiàn)圖2）。受試者被要求盡快用左手或右手食指按下相應(yīng)的鍵（文本與圖片一致按“Q”，不一致按“P”）。按鍵之后，出現(xiàn)隨機(jī)持續(xù)500 - 800ms的灰色屏幕，然后開(kāi)始新的試驗(yàn)。本實(shí)驗(yàn)為2（產(chǎn)品類型：實(shí)用產(chǎn)品vs.娛樂(lè)產(chǎn)品）×3（抽象層次：低、中、高）實(shí)驗(yàn)設(shè)計(jì)，共6個(gè)條件。

目前的研究有225個(gè)試次，80%（180個(gè)試驗(yàn)）的產(chǎn)品詞-圖配對(duì)是一致的，剩下的20%（45個(gè)試驗(yàn)）的產(chǎn)品詞-圖配對(duì)是不一致的。

圖2 實(shí)驗(yàn)步驟

3、使用64通道的 actiCHamp腦電放大器（德國(guó)Brain Products公司生產(chǎn)，深圳瀚翔腦科學(xué)技術(shù)股份有限公司全國(guó)總代理）記錄EEG數(shù)據(jù)（帶通設(shè)置為0.05 - 100 Hz，采樣率為1000 Hz）。本研究采用FCz電極作為參考電極，F(xiàn)Pz作為接地電極。在整個(gè)實(shí)驗(yàn)過(guò)程中，電極阻抗均保持在5kΩ以下。

在MATLAB 2013b中使用EEGLAB工具箱（Swartz Center for Computational）對(duì)EEG數(shù)據(jù)進(jìn)行離線預(yù)處理。

本研究主要分析圖標(biāo)神經(jīng)工效學(xué)ERP研究中的兩個(gè)相關(guān)的ERP成分：N400和LPP。N400，又稱N4，是刺激后約300-500 ms產(chǎn)生的晚期ERP負(fù)成分，N400成分對(duì)語(yǔ)義一致性非常敏感。晚期正電位（LPP）是刺激后600-800 ms左右達(dá)到峰值的ERP成分，主要反映了后期的認(rèn)知過(guò)程，包括語(yǔ)義檢索、語(yǔ)義違規(guī)、持續(xù)語(yǔ)義整合再分析和分類對(duì)象索引。

選取12個(gè)電極進(jìn)行分析，并將其分為四個(gè)感興趣區(qū)域（roi）：額葉區(qū)域（F1, Fz, F2），額中央?yún)^(qū)域（FC1, FCz, FC2），中央-頂葉區(qū)域（CP3, CPz, CP4）和頂葉區(qū)域（P1, Pz, P2）。各ERP成分的平均振幅使用2（產(chǎn)品類型：實(shí)用產(chǎn)品與娛樂(lè)產(chǎn)品）× 3（抽象層次：低、中、高）× 4（位置：額葉、額中央、中央頂葉、頂葉分別為F、FC、CP、P）× 3（側(cè)化：左、中、右分別為L(zhǎng)、M、R）的單因素方差分析（ANOVA）。

研究結(jié)果

1、對(duì)于實(shí)用產(chǎn)品圖標(biāo)，P-HA的平均反應(yīng)時(shí)間大于P-LA（p< 0.001）和P-MA （p< 0.015），表明隨著抽象程度的增加，識(shí)別速度降低。對(duì)于娛樂(lè)產(chǎn)品圖標(biāo)，H-HA組的平均反應(yīng)時(shí)也大于H-MA組（p< 0.001）和H-LA組（p< 0.001）。且無(wú)論圖標(biāo)的抽象程度如何，娛樂(lè)產(chǎn)品圖標(biāo)的反應(yīng)時(shí)都比實(shí)用產(chǎn)品的反應(yīng)時(shí)要長(zhǎng)。

對(duì)于實(shí)用產(chǎn)品圖標(biāo)，P-LA圖標(biāo)的平均ACC（正確率）高于P-HA圖標(biāo)（p < 0.001），P-MA圖標(biāo)的平均ACC也高于P-HA圖標(biāo)（p< 0.001）。對(duì)于娛樂(lè)產(chǎn)品圖標(biāo)，H-LA圖標(biāo)的平均ACC 高于P-HA圖標(biāo)（p< 0.001）， P-MA圖標(biāo)的ACC也高于P-HA圖標(biāo)（p < 0.002）。

圖3 (A)表示受試者對(duì)低、中、高3種抽象層次的娛樂(lè)型和實(shí)用型產(chǎn)品圖標(biāo)的反應(yīng)時(shí)間；(B)分別表示受試者對(duì)低、中、高3種抽象層次的娛樂(lè)型和實(shí)用型產(chǎn)品圖標(biāo)的正確率。

2、N400 (380–480 ms)

如圖4和5所示，高抽象程度（M = 2.415, SE = 0.892）的N400幅值比中抽象程度（M = 2.834, SE = 0.572）和低抽象程度（M = 3.234, SE = 0.423）的N400幅值更低。

產(chǎn)品類型簡(jiǎn)單效應(yīng)在頂葉區(qū)顯著（p < 0.001），實(shí)用型產(chǎn)品圖標(biāo)誘發(fā)的振幅高于娛樂(lè)型產(chǎn)品圖標(biāo)（△= 0.755,SE = 0.355, p = 0.046）。

在除前額葉以外的所有位置，實(shí)用產(chǎn)品圖標(biāo)的N400振幅都大于娛樂(lè)產(chǎn)品圖標(biāo)。

低抽象程度（M = 7.219, SE = 0.817）的LPP幅值高于中抽象水平（M = 6.461, SE = 0.829）和高抽象水平（M = 6.241, SE = 0.767）的LPP幅值。

在額、額-中央和中央-頂葉位置，低、中抽象程度存在顯著差異（F < FC < CP, PF-FC = 0.001, PFC-CP = 0.019），而在高抽象程度上，各位置存在顯著差異（F < FC < P < CP, p < 0.001, p = 0.009）。

LPP (600–800 ms)

產(chǎn)品類型與位置的交互作用[F (3,63) = 6.679, p= 0.007, η2 p= 0.241]顯示，在中央頂葉和頂葉位置，娛樂(lè)型的LPP振幅與實(shí)用型的LPP振幅存在顯著差異（p < 0.001），且?jiàn)蕵?lè)型的LPP振幅大于實(shí)用型的LPP振幅（△= 1.367，SE= 0.446, p= 0.006）。

抽象程度和位置的交互作用也顯著[F (6,126)= 6.849, p= 0.002, η2= 0.246]，表明不同抽象程度的頂葉和頂葉中央?yún)^(qū)域存在顯著差異(L-A：△CP-P= 2.112， SE= 0.453, p< 0.001；△CP-P = 1.286, SE= 2.034, SE= 0.433, p < 0.001；H-A：△CP-P= 1.761， SE= 0.403, p= 0.002)。低抽象程度下的LPP振幅大于高抽象程度下的LPP振幅（F：△L-H= 1.539， SE= 0.427, p= 0.005）。

圖4 在380 ~ 480 ms （N400）和600 ~ 800 ms （LPP）的時(shí)間窗，6種條件下的腦電地形圖

圖5 12個(gè)電極（F1, Fz, F2, FC1, FCz, FC2, CP3, CPz, CP4, P1, Pz, P2）的平均ERP波形，描述了6種實(shí)驗(yàn)條件，分別用6種顏色表示。P-LA（抽象程度較低的實(shí)用產(chǎn)品圖標(biāo)）、P-MA（抽象程度中等的實(shí)用產(chǎn)品圖標(biāo)）、P-HA（抽象程度較高的實(shí)用產(chǎn)品圖標(biāo)）、H-LA（抽象程度較低的娛樂(lè)產(chǎn)品圖標(biāo)）、H-MA（抽象程度中等的娛樂(lè)產(chǎn)品圖標(biāo)）、H-HA（抽象程度較高的娛樂(lè)產(chǎn)品圖標(biāo)）

結(jié)論與展望

基于原型匹配理論，圖標(biāo)識(shí)別是長(zhǎng)時(shí)記憶中產(chǎn)品圖標(biāo)與原型匹配的結(jié)果。因此，圖標(biāo)的設(shè)計(jì)越接近原型，識(shí)別效率越高。N400和LPP成分的波形揭示了實(shí)用和娛樂(lè)產(chǎn)品對(duì)不同抽象程度的圖標(biāo)的識(shí)別效率存在顯著差異。在實(shí)用的產(chǎn)品圖標(biāo)中，當(dāng)圖標(biāo)的抽象程度處于中等水平時(shí)，識(shí)別效率最高，而對(duì)于娛樂(lè)的產(chǎn)品，中等的抽象程度的圖標(biāo)識(shí)別率比實(shí)用的產(chǎn)品要高。

實(shí)用型和娛樂(lè)型產(chǎn)品的圖標(biāo)在設(shè)計(jì)的抽象要求上存在著顯著的差異，這可以歸因于實(shí)用產(chǎn)品通常具有單一的形式和固定的形象。因此，在為實(shí)用產(chǎn)品設(shè)計(jì)圖標(biāo)時(shí)，要避免過(guò)度抽象，以免引起用戶的認(rèn)知偏差。另一方面，娛樂(lè)產(chǎn)品往往具有多種形式，僅憑外觀不足以傳達(dá)特定類別的產(chǎn)品。因此，在為娛樂(lè)產(chǎn)品設(shè)計(jì)圖標(biāo)時(shí)，有必要提取它們的共性，增加整體性。