PNAS:眼動證據支持行爲的“模式完成”理論

從簡單提示中回憶詳細事件的能力,被稱爲“模式完成”(Pattern Completion),它是由海馬體執行的一種認知操作,其中現有記憶表徵是從不完整的輸入信息中檢索出來的。在行爲研究中,模式完成通常是通過錯誤地認可誘餌(即類似刺激)爲舊線索來推斷的。然而,缺乏證據表明這種反應是由對類似的、先前編碼項目的特定檢索所造成的。

因此,作者在部分線索再認任務中,使用眼動(EM)監測,通過對記憶編碼相關的眼動指標或凝視恢復的再現,對誘餌圖像的恢復進行行爲上的索引。

結果發現,被試在退化的檢索線索後可以恢復與記憶編碼相關的眼動,該恢復與誘餌圖像的正確率呈負相關,這表明對現有表徵(即模式完成)的檢索是誘餌假警報的基礎。該發現提供了將凝視恢復和模式完成聯繫起來的證據,並提出了眼動在記憶提取中的功能性作用。

我們經常需要從部分輸入信息中識別熟悉的事物,比如朋友的模糊面孔。我們的大腦通過模式完成的方法從記憶中“完成”這些視覺上稀疏的線索。這種操作雖然對成功的記憶至關重要,但也被認爲是記憶錯誤的基礎,類似的新事物被錯誤地認爲是“舊的”。通過眼動監測,本文發現當呈現一個新的退化線索(即模糊的線索)時,被試會看他們在先前對類似項目編碼時看過的區域,而且這些凝視移動與假警報的增加有關。這些發現證明,對編碼記憶表徵(即模式完成)的檢索是對類似項目假警報的基礎。本文發表在PNAS雜誌。

註釋:在文章中使用到了“探針”測試、“誘餌”測試以及“假警報”的說法,在這裏首先解釋下這些術語使用的用意。“探針”測試是在被試完成完整圖像的觀看後,看到的該完整圖像按照不同隱藏比例呈現的圖像,這些圖像只有一些完整圖像的線索,但是確實是和原來看到的圖像是一致的。而“誘餌”圖像則是和被試本來的看到“舊”圖片是相似的但不完全相同的圖片,被試同樣會在“探針”試次中看到“誘餌”圖像的不同隱藏比例呈現的圖像,目的是引誘被試認爲該圖像是他看到過的“舊”圖像(但其實不是)。“假警報”則是指被試的“模式完成”這一認知過程被錯誤地用在了不完整呈現的“誘餌”圖像時,將“誘餌”圖像認爲是原來看過的“舊”圖像,從而變成了錯誤記憶,將這種過程稱爲“假警報”。本文涉及的分析指標計算過程較爲複雜,需要認真理解才能明白其所代表的物理意義。

 

引言

記憶常常是一種猜謎遊戲:我們從感知的環境中接收到零碎、嘈雜或退化的信息,然後必須“填補”空白。在遠處看到一張模糊的臉,或者聽到一首熟悉的歌的音符,可能會突然引起對一個親密朋友的再認,或者一首曲子的不停哼唱。這種非凡的能力被認爲依賴於一種稱爲模式完成”的神經計算過程。模式完成是指從部分或退化的輸入中檢索完整的記憶表徵,其互補過程“模式分離”是指將相似的輸入轉換爲不同的、不重疊的記憶軌跡。這兩個過程都被歸因於海馬中不同的亞區,並有助於其在刺激或事件特徵之間關係的編碼和檢索中發揮更廣泛的作用。

儘管模式分離和模式完成描述了神經計算過程,但它們通常是從行爲(記憶反應)中推斷出來的。也就是說,當一個誘餌(即,相似的)項目(例如,兩張不同的蘋果圖片)被正確地識別爲新項目時,認爲發生了模式分離;而當一個誘餌項目被錯誤地識別爲舊項目時,認爲發生了模式完成。雖然以前的工作通常依賴於這種對索引模式完成的反應,但這種方法是間接的,並且依賴於未經測試的假設:即,誘餌刺激的假警報是檢索原始編碼項目的結果。根據這種假設,模式完成的操作應該包括檢索測試探針中不存在的個別刺激特徵,以及這些特徵與測試探針中存在的特徵之間的關係。

然而,無法從簡單的行爲反應中假設已經檢索到了這樣一個詳細的關係表徵。因此,爲了更直接地評估該觀點,本研究使用眼動(EM)監測來測量在編碼和檢索(可視化)退化誘餌刺激時被試和刺激特定的凝視模式之間的重疊,以此作爲記憶表現的預測指標。儘管行爲反應反映了底層檢索過程的結果,但基於眼動的恢復與相關信息的在線維護和檢索相聯繫,使其成爲評估再激活的一個強大工具。

EMs提供了一個獨特的窗口,可以及時瞭解認知過程。使用EM監控的研究表明,在編碼過程中,EMs參與了刺激特徵與內聚記憶表徵的結合,以及在檢索過程中,EMs參與了檢索這些特徵及其相互關係。例如,儘管固定的觀看會損害記憶,但自發的凝視轉移到與先前編碼(即觀看)的圖像特徵相對應的區域,已被證明有助於重新激活這些特徵及其之間的關係。在記憶維持和檢索期間,記憶編碼相關的EMs的恢復或稱“凝視恢復”,與各種任務的記憶表現有關。即使在沒有視覺輸入的情況下,人類也會自發地將目光指向編碼過程中看過的圖像區域,這種凝視恢復與明確的記憶測量有關。

並且,最近的神經影像學發現表明,凝視恢復可能依賴於與支持記憶檢索的相同的神經機制。例如,Bone等人最近的一項研究發現被試在無刺激的視覺過程中恢復了與記憶編碼相關的EMs,並且該恢復與整個大腦神經系統的重新激活正相關。(即,在感知和表象期間所誘發的大腦活動的圖像特定模式之間的相似性),這與客觀(改變探測表現)和主觀(生動度評分)的記憶測量相關。對於結構相似的場景圖像,區分擊中和漏報的凝視恢復也與海馬體的活動相關,這支持了在EMs和海馬體介導的關係記憶過程之間存在功能聯繫。鑑於EMs和記憶檢索以及它們背後的神經網絡是密切相關的,本研究使用EM監測來評估,在通過凝視恢復的誘餌圖像記憶辨別時,先前編碼刺激的實時再激活狀況。

從計算的角度來看,模式完成涉及從作爲輸入模式的部分或退化的刺激到自動關聯網絡的總記憶痕跡的重新激活。因此,爲了捕獲計算模型中定義的模式完成,本文使用了記憶線索,這些線索通過從識別探針中隨機移除信息塊而形成系統地退化。

在圖像編碼階段之後,給被試短暫地(<750ms)呈現舊的和誘餌測試圖像,誘餌測試圖像的一部分(0-80%)被遮擋。在做出舊的/新的再認反應之前,被試被要求在觀看空白屏幕時將呈現過的圖像形成表象(其實就是要求被試在空白屏回憶剛剛看過的刺激)。重要的是,在測試後間隔期間缺少視覺輸入,使得我們可以將記憶對檢索相關EMs的影響與測試探針視覺特性的影響區分開。

爲了確定退化的測試探針是否引起了對應(相同或相似)編碼刺激的檢索,計算了編碼和檢索相關凝視模式之間的重疊。如果誘餌刺激的假警報確實與通過模式完成對相似項目的檢索相關,則應在相伴的EMs中反映出來,EMs應指向先前在最初呈現的刺激的記憶編碼過程中眼動凝視的屏幕區域。因此,作者假設在測試後的時間間隔內,即使圖像大體上退化,編碼和檢索相關的凝視模式之間的相似性應該大於偶然性,表明相應的編碼表徵已被重新激活。此外,基於已有的凝視恢復和行爲的模式完成的證據,作者預測在部分線索提取過程中編碼相關EMs的恢復與對舊圖像的識別準確率正相關,與誘餌圖像的準確率負相關。

 

方法

被試

被試是通過羅特曼研究所被試數據庫招募的64名19-35歲(平均23.66歲,標準差3.85歲)視力正常或矯正正常的年輕人(43名女性),研究得到了羅特曼研究所倫理委員會的批准。所有被試在實驗前簽訂了知情同意書,獲得10美元/小時的補償。7名被試數據被排除在分析之外[缺失數據(n=2)、平均表現(正確識別)低於均值2.5個標準差(n=2)、平均凝視恢復大於均值3.5個標準差(n=1)、未遵守指導語(n=2)],對剩餘57名被試的數據進行分析。

測量儀器

刺激物在1024×768分辨率,19英寸Dell M991顯示器上呈現。使用頭戴式EyeLink II 眼動跟蹤系統以500Hz採樣率記錄單眼眼動(SR研究有限公司)。實驗前使用九點校準程序完成眼動校準。在試次間進行漂移校正(>5°)。EyeLink將眼跳定義爲視角大於0.5°,眨眼定義爲三個或更多連續樣本的眼跳信號丟失,所有剩餘樣本被歸類爲注視。

實驗刺激

刺激包括240幅圖像或120組(A-B)獨特但相似的800×600像素圖像,呈現於黑色背景下。在測試階段,操作變量爲圖像的持續時間(250ms,500ms,750ms)和退化水平(0%,20%,40%,60%,80%)。通過在圖像上隨機放置100×100像素的灰色正方形來降低圖像質量(如圖1),以評估模式完成。模式完成的操作定義爲,從部分或退化的輸入信息中檢索完整的記憶表徵。將圖像隨機分配到四個研究/測試區組中的一個,在持續時間、退化水平和探針類型(舊的、新的)之間進行平衡。每個研究區組呈現的30幅圖像中,被試重複看其中的15張圖像,將其視爲測試目標(“舊的”),從另一組相似圖像中提取的誘餌作爲剩餘15張目標圖像。

圖1:舊刺激和誘餌刺激在各退化水平的圖像

 

程序

實驗開始之前,被試用新的圖片完成兩個短的測試練習(6個試次),以熟悉範式。被試隨後完成了四個改進的再認記憶測試(圖2),每個測試包含一組新的圖像。在每個研究組中,要求被試觀看和記憶30幅圖片,每幅圖片呈現四次。圖片呈現順序在每次重複中隨機排列。在每個試次中,每張圖片呈現3秒,兩個試驗間呈現一個2秒的注視點,在此期間,如果必要的話,實驗者可以進行在線漂移校正。

在研究組之後,被試在測試組內,測試他們對研究圖像的記憶。在每個測試試次,呈現給被試一張舊的(在研究中呈現的)或新的(誘餌:類似,但與在研究中呈現的圖像不同)圖像,持續250、500或750ms,接着呈現一張50ms的掩蔽刺激。掩蔽的目的是防止在測試後間隔期間注視感覺持續而影響下一次觀看。操縱圖像的呈現,使每個圖像在完全(0%退化)或20%、40%、60%或80%退化的情況下呈現。要求被試在做出反應時忽略灰色方塊(即,其反應基於基礎圖像的可見部分)。在掩蔽之後,呈現給被試一個與研究和測試圖像(800×600像素)大小相同的灰色方塊,在黑色背景下持續3秒,在此期間,指示他們將呈現的測試圖像可視化(注意:這裏所說的可視化其實就是讓被試通過回憶剛纔看到的圖像,從而使用眼動在灰色屏幕上反應出的移動線索來查看被試的“可視化”效果)

在這個測試間隔之後,給予被試3秒時間,使其通過按鍵來表示呈現的測試圖像是“舊的”還是“新的”。只有當測試圖像與研究期間呈現的圖像完全相同時,纔要求被試反應爲“舊”圖像,對所有其他圖像(即誘餌)反應爲“新”圖像。用一個可變長度(2-6s)的注視點分離測試試次,在此期間,由實驗者自行決定進行在線漂移校正。

在每個測試組中,每個先前編碼的30張圖片在一種條件下呈現,條件是指:探針類型(舊的,誘餌)、持續時間(250、500、750)和退化水平(0,20,40,60,80)共30個條件。在四個研究/測試組中,每種情況下共產生四幅圖片。

圖2:實驗程序 

在研究期間,每張圖像呈現3000毫秒。在試驗之間出現2000毫秒的注視十字(此處未顯示),以便進行在線漂移校正。每張研究圖像呈現四次。在測試期間,每個測試探針呈現250、500或750 ms,要麼完全呈現(0%退化),要麼20%、40%、60%或80%的圖像被100×100像素的灰色正方形遮擋。在測試探針之後,呈現一個視覺掩蔽50毫秒,之後呈現一個灰色方塊3000毫秒,在此期間,要求被試將呈現的圖像可視化。最後,給受試者3000毫秒的時間,以表示呈現的圖像是“舊的”(在研究中呈現)還是“新的”(即,誘餌:與研究中呈現的圖像相似,但不完全相同)。請注意,所有圖像和灰色測試後間隔方塊在黑色背景上以800×600像素顯示;圖像在此展開以進行可視化。

 

EM(眼動)分析

在本研究中,作者使用R 眼動包(https://github.com/bbuchsbaum/eysim),計算了基於眼動恢復的檢索相關的三個獨立測量指標,分佈在編碼或測試和檢索期間(圖3和圖4)的空間注視模式之間的相似性。爲了計算恢復分數,使用在該間隔內重疊的所有注視點爲每個相關間隔(例如編碼)生成持續時間權重、平滑注視密度圖(更多詳細信息,參見附錄)。

使用Pearson相關比較了相應的密度圖,並轉化爲Z值。該相關性產生了一個單獨的值,代表了測試後間隔期間注視點和研究/測試期間注視點(即原始恢復)之間的空間重疊。爲了確保恢復值是由記憶驅動,而不是由一般的觀看模式(例如,中心偏倚)驅動的,每個被試特定的測試後間隔密度圖與50個其他隨機選擇的跨被試研究(或測試)圖像密度圖(取決於正在計算的測量)進行額外相關計算。然後,對該排列產生的值進行平均,以獲得控制(跨圖像)恢復分數(即,排列恢復)。然後,將得到的置換恢復分數從感興趣的原始恢復分數中提取出來,得到最終的差異分數。這樣,所有基於眼動的恢復測量都可以控制圖像不變的觀看傾向,包括注視屏幕中心的傾向。

圖3:編碼和檢索過程中單個被試的EMs可視化。

在本例中,檢索線索是以40%退化率呈現的誘餌圖像。這裏顯示誘餌圖像是爲了實現可視化的目的;在檢索過程中,屏幕上沒有顯示誘餌圖像。注意,在檢索時EMs延伸到中心圖形的右側,到先前被編碼圖像中的圖形佔用的位置。

 

圖4: 三種基於EM的恢復測量的說明。

熱圖反映注視密度,熱值顯示注視密度高的區域。探針恢復是通過關聯測試探針產生的熱圖來計算的,熱圖是在研究期間觀看相同圖像的所有被試和隨後在測試間隔期間檢索該圖像(或類似誘餌)的單個被試(S1)注視點的加權。圖像恢復是通過關聯所有被試(S All)在四個研究中觀看單個圖像的累積注視產生的熱圖和單個被試(S1)隨後在測試後間隔期間檢索該圖像(或類似誘餌)來計算的。凝視恢復是通過關聯單個被試(S1)在四個研究中觀看單個圖像的累積注視產生的熱圖,隨後在測試後間隔期間檢索該圖像(或類似誘餌)來計算的。所有密度圖都是平滑的,並且由持續時間加權。

 

雖然主要對基於EM的長時記憶信息恢復感興趣,但在測試後間隔期間,EMs有可能恢復剛剛呈現的測試探針圖像的顯著區域。因此,爲了區分由編碼圖像記憶引導的恢復和由剛呈現的測試探針記憶引導的恢復,本文計算了探針恢復的測量值,反映了觀察測試探針的所有被試EM模式之間的相似性(即,在研究期間,由編碼相同圖像的所有被試的EM模式加權的測試圖像的可見部分),以及在3秒無刺激測試後間隔期間,隨後檢索該圖像(或交替誘餌圖像)的單個被試的眼動模式。

爲了從長期記憶中量化圖像特徵的恢復,計算了兩個額外的恢復測量。凝視恢復反映了單個被試在4個學習機會中編碼單個圖像的EM模式與隨後在3s無刺激測試後時間間隔內檢索相同圖像(或類似誘餌)之間的相似性。基於EMs既編碼又嵌入記憶表徵的理論,該測量捕獲編碼圖像的恢復,包括相應的編碼操作,在這種情況下EMs的模式。儘管有大量的研究支持這種凝視恢復在記憶提取中的特定作用,但其它研究表明,檢索相關的EMs可以恢復編碼刺激的顯著區域,即使EMs在編碼時受到限制。因此,爲了區分特殊恢復和更一般的圖像恢復,並確定在恢復編碼圖像的一般顯著或語義信息區域所賦予的好處之外,恢復自己的注視是否有利於記憶,我們還測量了圖像恢復。該測量反映了在四個研究機會中編碼單個圖像的所有被試的EM模式與隨後在3-s無刺激測試後時間間隔內檢索該圖像的單個被試的EM模式之間的相似性,並捕獲編碼圖像的恢復,而無需伴隨EMs的恢復。

對於舊圖像,通過分別在研究期間和試驗後間隔內(即A-A)比較同一圖像的編碼和檢索相對應的凝視模式來進行分析。重要的是,對於測試時呈現的誘餌圖像,測試後間隔的凝視模式與研究期間類似(誘餌)圖像的編碼對應的凝視模式(即A-B)相比較。因此,一張舊圖像的高凝視恢復分數表示相同圖像的恢復,而一張誘餌圖像的高分數表示相似研究圖像的恢復

 

 

附錄:

密度圖計算

爲了生成密度圖,使用了二維核密度估計,這是在R MASS包(1)的kde2d函數中實現的。根據以下公式計算均勻網格(寬度=80,高度=60)上任何點(x,y)跨越所呈現圖像(800×600像素)維度的核密度估計:

其中d是注視持續時間,φ是具有標準偏差σ=80像素的零均值高斯分佈,n是注視總數,i是注視指數。實際上,爲了促進與kde2d函數的交互作用,通過以50ms爲注視持續時間增量複製每個注視來實現注視持續時間d的加權。例如,如果注視持續150毫秒,則該注視將在進入核密度估計程序之前重複3次(150/50=3)。最後,在空間上對注視點進行規範化,使得所有空間位置的總和等於1。分析中排除了持續時間短於80ms的注視點和延遲期開始前開始的注視點。

凝視恢復

爲了測量特定於被試和圖像的記憶恢復,爲每個被試生成了每個研究圖像的密度圖,使用屬於該被試的所有注視點在所有四個區塊中查看該圖像(同一圖像的四種呈現;平均值=每個圖像顯示7.96個注視點)。同樣的方法也適用於圖像檢索,使用在測試後間隔期間的所有注視點(測試探針和響應屏幕顯示之間的3秒時間;平均值=5.36個注視點)。

圖像復原

雖然凝視恢復提供了被試通過再現其自身凝視模式來檢索編碼圖像的索引,但是在測試後間隔期間的恢復可能是被試不變的。也就是說,檢索相關的凝視模式可能反映了對所研究圖像的一般顯著區域的檢索,而沒有被試特定的相關EM模式恢復。因此,爲了測量被試不變的顯著圖像區域的恢復,爲每個研究的圖像生成了持續時間加權的平滑密度圖,使用的是所有被試在所有四個區塊中查看該圖像的所有注視點。將這些跨受試者的研究密度圖與反映了單個受試者觀看單個圖像時在測試後間隔期間的注視點密度圖進行比較。通過比較凝視恢復和圖像恢復,能夠區分特定於圖像的恢復和特定於被試的恢復,並確定恢復自己的注視是否有利於恢復記憶,而不僅僅是恢復記憶圖像的一般顯著區域。

探針恢復

最後,爲了確定測試後間隔恢復是否反映了從剛剛呈現的測試探針收集的信息,計算了從測試探針圖像生成的密度圖在被試特定和圖像特定的測試後間隔注視點的相似性。密度圖是通過首先爲測試探針可見正方形內的每個像素生成僞注視點來創建的,這樣每個可見像素的座標被視爲注視。然後創建了這些僞注視(即可見圖像正方形)的平滑地圖(σ=80)乘以該圖像的交叉被試研究密度地圖(見圖像復原)。這使測試探針的可見正方形可以由其各自的顯著性值加權,該值由在研究期間觀看該圖像的所有被試的凝視模式確定。此過程有效地降低了注視權重,例如在圖像外圍(邊、頂、角)的可見正方形,這些往往吸引很少的注視點。得到的密度圖反映了測試探針圖像可見部分的整體顯著性。

 

數據分析

爲了研究影響再認任務表現的因素,使用bobyqa優化器運行了一個廣義線性混合效應模型(GLMM;包lme4,45的glmer),用於試次水平正確率(正確,錯誤,具有二項分佈和logistic線性函數)和凝視恢復、圖像恢復、探針恢復的線性混合效應模型(LMEM),使用探針類型(舊的,誘餌)、退化水平(0%、20%、40%、60%、80%)和持續時間(250 ms、500 ms、750 ms)作爲自變量。

爲了便於對顯著交互進行簡單效應分析,探針類型被記錄爲0(舊的)和1(誘餌)。標準化持續時間和退化,被試和項目被建模爲隨機效應(截距)。爲了建立模型,使用了一種後向選擇方法(即建立全模型,然後刪除無關自變量的方法),從一個最大模型開始,它包括所有變量及其交互的固定效應,以及被試和項目的隨機截取。用似然比檢驗比較模型,顯著性水平α=0.05,以逐步方式從模型中移除不顯著的固定效應,直到沒有進一步的模型變化導致顯著的似然比檢驗。報告了通過模型比較得出的最終最佳擬合模型的結果,其顯著性值近似於lmerTest R包。

爲了評估假設,即凝視恢復應該是對舊圖像正確率的積極預測和對誘餌圖像正確率的消極預測,本文通過將每個描述的恢復分數加到行爲分析的最終GLMM,對正確率運行了三次額外的GLMMs。利用α=0.05似然比檢驗將包括恢復的模型與基礎模型進行比較。模型比較以逐步的方式進行,從恢復的主效應開始,到恢復與其他預測因子的交互效應,這樣,只有顯著改善模型擬合度的效應才得以保留。

爲了研究凝視恢復與行爲表現之間關係的個體差異,分別爲舊圖像和誘餌圖像的凝視恢復和正確率(總正確率)運行了Pearson 相關(自舉迭代=5000)。

最後,爲了檢查恢復隨時間的變化,從三個密度圖(凝視、圖像和探針,如前所述)中的每一箇中提取出與在測試後間隔內每個時間點的注視位置相對應的值,以50 ms間隔採樣。該分析使我們能夠確定在檢索的各個階段的注視位置是否最好地反映了測試探針圖像的恢復(即探針恢復)、先前編碼的圖像(即圖像恢復)或先前編碼的圖像以及伴隨的凝視模式(即凝視恢復)。爲了便於分析和解釋,將每個時間點的值聚合到三個1000毫秒的離散時間中。然後,對以密度爲因變量,以正確性(正確、不正確)、測量(即密度圖:凝視、圖像、探頭)和時間(T1:0至1000 ms、T2:1000至2000 ms、T3:2000至3000 ms)爲自變量的舊圖像和誘餌圖像分別運行LMEM。爲了便於對顯著交互作用進行簡單效應分析,將準確性編碼爲0(不正確)和1(正確),時間編碼爲線性效應。爲了評估恢復測量對密度的影響,對測量進行編碼,使凝視密度圖作爲參考水平。被試和項目被建模爲隨機效應(截距)。採用似然比檢驗,α=0.05,以反向逐步方式比較模型。

 

結果

行爲學結果

通過模型比較得出的準確度最佳擬合模型的結果顯示了探針類型、持續時間和失真化的顯著影響(表1)。相對於誘餌圖像(圖5A),舊圖像的記憶正確率更高,並且隨着測試探針持續時間的增加(圖5B)和測試探針退化程度的降低(圖5C)而增加。

表1 行爲結果

 

圖5: 探針類型、持續時間、退化的正確率(總正確百分比)。注意,雖然這裏的y軸對應於總的正確百分比,但這只是爲了可視化的目的。GLMM使用試次水平二分正確性測量(正確、錯誤)

 

EM結果

爲了調查導致測試探針和編碼圖像恢復的因素,我們對探針恢復、圖像恢復和凝視恢復運行了LMEMs,以持續時間、退化和探針類型爲預測因子。我們特別感興趣的是每一個這些測量區分舊圖像和誘餌圖像檢索的能力。對於所有分析,恢復是指原始恢復分數和排列恢復分數之間的差異,例如正的分數表示同一圖像的恢復比從排列變化中得到的其他圖像的恢復要大。

探針恢復

通過模型比較得出的探針恢復的最佳擬合模型(即測試探針圖像的恢復)(表2)的結果顯示了持續時間(圖6A)和退化(圖6B)的顯著影響,表明測試探針的恢復隨着測試探針持續時間的增加和退化而減少。

表2 探針恢復

 

圖像恢復

通過模型比較得出的最佳圖像恢復模型(即一般顯著圖像區域的恢復)(表S3)的結果顯示了持續時間的顯著主效應,和持續時間×退化的顯著交互效應(圖6C),結果表明,隨着測試探針持續時間的增加,恢復降低,而且隨着測試探針退化的增加,該效應衰減。

表3 圖像恢復

 

凝視恢復

在進行凝視恢復前,我們首先將原始恢復值(圖像內)與排列恢復值(圖像間)進行比較,以確保檢索相關的凝視模式與反映相同圖像的編碼相關凝視模式更接近,而不是反映其他圖像的編碼相關凝視模式。原始恢復值(平均值=0.22)與置換恢復值(平均值=0.19)配對樣本t檢驗顯著[t(56)=3.42,P=0.001,95%CI:0.014,0.052](圖6D),表明編碼相關注視模式的恢復確實大於基於一般觀看傾向的預期,如注視屏幕中心的傾向。

雖然探針類型在探針恢復和圖像恢復模型中都被排除,但通過模型比較得出的凝視恢復的最佳擬合模型(即,恢復自己的注視)(表4)的結果顯示了探針類型對凝視恢復的顯著影響(圖6E),表明編碼相關凝視模式的恢復區分了舊圖像和誘餌圖像的檢索。值得注意的是,通過bootstrap被試平均值(bootstrap迭代次數=5000)獲得的平均凝視恢復分數在所有測試探針持續時間水平(mean250 = 0.037, 95% CI250: 0.018, 0.057; mean500 = 0.035, 95% CI500: 0.016, 0.054; mean750 = 0.026, 95% CI750: 0.007, 0.046)和圖像退化水平(mean0 = 0.032, 95% CI0: 0.012, 0.052; mean20 = 0.039, 95% CI20: 0.018, 0.057; mean40 = 0.037, 95% CI40: 0.018, 0.057; mean60 = 0.024, 95% CI60: 0.004, 0.044; mean80 = 0.032, 95% CI80: 0.012, 0.053)中均大於0,這表明即使短暫呈現或嚴重退化的視覺輸入也足以引起凝視恢復。

表4 凝視恢復

 

 

圖6 (A) 隨持續時間和(B)退化的探針恢復。(C) 隨持續時間和退化的圖像恢復。(D)圖像內和跨圖像(排列50次)的恢復分數。凝視恢復是通過圖像內(原始)分數減去圖像間(排列)分數來計算的。(E) 隨探針類型的凝視恢復。

 

眼動結果總結

觀察行爲分析的結果表明,隨着測試探針持續時間的增加,探針恢復和圖像恢復都顯著減少,表明在視覺線索不足的情況下,EMs可能在檢索中發揮更重要的作用。測試探針的退化顯著地影響了探針圖像的恢復,但對圖像恢復或凝視恢復沒有影響,進一步表明稀疏的視覺信息足以從長期記憶中恢復編碼圖像,而測試探針的恢復則取決於其視覺特性。最後,只有凝視恢復顯示出探針類型的顯著效應,與誘餌測試探針相比,舊測試探針的凝視恢復更大。爲了進一步研究凝視恢復是否在檢索中起到特殊作用,隨後,我們在一個包含所有恢復測量的模型中研究了凝視恢復和記憶表現之間的關係。

EM和行爲間的關係

爲了驗證我們的假設,即凝視恢復應該與舊圖像的正確率正相關,與誘餌圖像的正確率負相關,我們研究了將每個先前描述的恢復分數添加到準確性模型(表S1)中是否能提高模型的擬合度。與預期一樣,凝視恢復的增加顯著提高了模型的擬合度(X2=13.502,P<0.001),而圖像恢復(X2=2.347,P=0.126)和探針恢復(X2=0.290,P=0.590)的增加沒有改善模型的擬合度。爲了解釋編碼效應,我們還添加了研究期間(四個研究)每張圖像注視點的累積數量(Z分數)作爲預測因子。已有研究表明該測量與記憶正確率和海馬激活度有關。累積研究注視點的增加顯著提高了模型的擬合度(X2=10.354,P=0.001),凝視恢復和累積研究注視與其他預測因子(探針類型、持續時間、退化)以及彼此之間的相互作用,隨後以逐步的方式添加到模型中。只有凝視恢復和探針類型的交互作用顯著提高了模型的擬合度(X2=9.812,P=0.002)。通過模型比較得出的最佳擬合精度模型(包括凝視恢復和累積研究注視點)的結果如表1所示。

表1:眼動與行爲間的關係

 

被試的隨機效應方差和標準差(截距)分別爲0.148和0.384。對於項目(截距),這些值分別爲0.427和0.653。模型方程:正確率∼注視恢復+探針類型+持續時間+退化+累積研究注視+凝視恢復×探針類型+(1 |被試)+(1 |項目)。*P<0.05,***P<0.001。

 

通過模型比較得出的最終最佳擬合精度模型(表1)的結果顯示了探針類型(舊>誘餌)、持續時間和退化的顯著影響,隨着測試探針持續時間的增加和測試探針退化的降低,正確率增加。與之前的研究一致,累積性研究注視(編碼成功的一種測量)顯著預測了再認任務的正確率。最後,圖像恢復對舊圖像正確率的影響不顯著,對誘餌圖像正確率影響顯著負,這表明被試和圖像特定編碼相關的凝視模式的恢復不支持舊圖像的識別,但在測試時對相似(誘餌)圖像的誤報有預測作用。

爲了確定GLMM所揭示的凝視恢復和探針類型之間的顯著交互作用,在一項跨被試分析中,我們分別對舊圖像和誘餌圖像(圖7A)進行了凝視恢復和正確率(總體正確率)的bootstrap皮爾遜相關(bootstrap迭代=5000)。正如被試內分析中的情況一樣,我們沒有發現證據支持凝視恢復預測舊圖像正確識別的假設(r=0.035,95%CI:-0.203,0.278)。然而,根據我們的預測和被試內分析的結果,凝視恢復和誘餌圖像的正確率之間存在穩健的負相關,這表明在測試後間隔期間,被試和圖像特定的編碼相關凝視模式的恢復預測了將相似圖像錯認爲舊圖像(r=-0.399,95%CI:-0.664,-0.148)。

先前研究表明,當認知需求超過認知資源時,凝視恢復可能只會有助於記憶表現。考慮到舊圖像的表現已經到了極限,我們無法探測該效應。因此,爲了檢驗記憶需求是否調節了舊圖像的凝視恢復效果,我們根據每張圖像的平均正確率(中值=80.702)對數據進行了中值分割,用它來估計正確識別圖像的難度。與之前bootstrap結果一致,當分析中僅包含簡單圖像時(r=-0.075,95%CI:-0.324,0.167)(圖7B),凝視恢復與正確率沒有顯著相關性。然而,當分析中只包括困難圖像時,凝視恢復與舊圖像的正確率正相關(r=0.234,95%CI:0.014,0.469)(圖7C)。

圖7:對(A)所有圖像,(B)簡單圖像(平均準確度>80.702)和(C)困難圖像(平均正確率<80.702)來說,舊的和誘餌注視恢復和正確率(總正確率)的相關性。

 

隨時間恢復

爲了可視化三種恢復測量在檢索間隔內的不同軌跡,我們提取了每種測量(探針恢復、圖像恢復,凝視恢復)的密度值,從測試探針開始到測試間隔結束時間內的離散點,通過以50ms間隔從三個密度圖中的每一個進行採樣(隨持續時間和退化塌陷)(圖8)。然後,我們分別對舊圖像和誘餌圖像的密度進行LMEMs,正確性(正確,1;錯誤,0)、測量(即密度圖:凝視[參考變量]、圖像、探針)和時間,聚合到三個box中,並作爲自變量對線性效應(T1:0到1000 ms、T2:1000到2000 ms、T3:2000到3000 ms)進行編碼。通過模型比較得出的最終最佳擬合模型的結果報告如下。

圖8:隨着時間的推移舊圖像和誘餌圖像凝視恢復,圖像恢復,探針恢復。恢復時間由各點(50 ms)相應密度圖中的值進行索引。實線表示正確的反應,虛線表示不正確的反應。

 

時間分析總結

總之,時間分析的結果揭示了EMs隨時間的空間分佈的變化,以及在測試後間隔內舊圖像和誘餌圖像的不同凝視軌跡。對於舊圖像和誘餌圖像,早期的注視點會返回到先前被測試探針的顯著區域佔據的屏幕區域。然而,隨着時間的增加,EMs主要指向先前被研究圖像的顯著區域所佔據的區域,特別是先前被注視的區域(即凝視恢復)。這些發現表明,儘管在檢索期間最初的EMs可能被實時的感覺輸入所偏向,但隨後的EMs越來越受到記憶過程的驅動。此外,凝視恢復與隨後的記憶判斷有關,測試後間隔早期,與漏報相比,正確拒絕的凝視恢復更大,測試後間隔期間,假警報比正確拒絕的凝視恢復更大。綜上所述,這些發現表明,EMs通過在時間和空間上不同程度地恢復記憶內容而靈活地支持記憶檢索。

 

總結:

綜上所述,本研究使用眼動監測來提供證據,即誘餌假警報是模式完成的結果,因此,被試對於不完整呈現的測試探針,檢索視覺上與先前編碼的圖像是相似的。在給定部分檢索提示的情況下,被試爲相同(舊)或相似(誘餌)圖像恢復與編碼相關的EMs,這種凝視恢復既支持舊圖像的再認,又增加了誘餌圖像假報警的可能性。

在檢索過程中,凝視軌跡從最初恢復剛剛看到的感覺輸入到隨後從記憶中恢復圖像特徵和伴隨的EMs,這表明基於EM的恢復涉及的組成過程可以靈活地適應和隨時間變化。關鍵的是,這些發現擴展了先前的工作,首先表明凝視恢復可以爲偶然的行爲模式完成提供一個豐富的預測信息(即,誘餌假警報),然後,在檢索過程中完成或重新激活的輸入的“模式”不僅涉及刺激本身(即,圖像恢復),也包括刺激被編碼的操作(即,凝視恢復)。因此,總的來說,本研究的結果表明,凝視恢復支持行爲模式完成,作爲其在記憶提取中更大作用的一部分。更具體地說,通過重新制定EMs的編碼序列,凝視恢復反映並可能有助於重新激活編碼刺激特徵和它們之間的關係,它們共同構成一個“模式”,可以隨後“完成”或在給定部分輸入提示的情況下檢索。進一步的研究應該繼續探索EMs支持複雜刺激檢索的各種方式,以及通過凝視恢復獲得的信息可能有助於指導適應性行爲。

 

如需原文及補充材料請加思影科技微信:siyingyxf 或者18983979082(楊曉飛)獲取,如對思影課程感興趣也可加此微信號諮詢。覺得有幫助,給個轉發,或許身邊的朋友正需要。

微信掃碼或者長按選擇識別關注思影

非常感謝轉發支持與推薦

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章