「叭！小心車子！」、「汪！是狗狗」、「媽媽，你看，是小鳥在叫！」這些聲音及事物充斥於我們的日常生活中，而我們對環境的判斷似乎是自然而然的，然而，各位可曾想過，當聽到「小心車子!」時，站在馬路上的你，究竟是如何在眾多車輛之中快速反應出哪一輛車是潛在危險？在聽到聲音或看到某個物件時，大腦又是如何整合並協調跨感官資訊，使我們能夠準確辨識它們呢？
在3月20日的專題演講中，我們很榮幸邀請到任教於馬偕醫學院醫學系的陳奕全副教授，他長期專攻跨感官知覺的研究，此次演講以 「腦內小劇場：視覺與聽覺訊息的意義交融 The Mind’s Theater：Semantic Interactions Between Sight and Sound」為主題，深入探討人類如何整合來自不同感官的資訊，向我們展示了這些「我們未曾意識到的知覺整合過程」是如何影響我們的日常的判斷與行動。
跨感官研究的重要性
「跨感官真的那麼重要嗎?」
人們的感覺與知覺既看不見也摸不著，往往被視為理所當然，若非被特別提醒，我們並不會意識到自己的感知是由多重感官訊息交互作用的結果。然而，跨感官研究的影響遠不止於解析日常的知覺歷程，它還能幫助我們理解不同情境的知覺整合脈絡，例如：嬰幼兒如何在發展過程中整合感官訊息，逐步整合出對於所處環境的認識（如：語言的學習與環境、物體辨識）；高齡者的特定感官 （如：聽覺或視覺)）退化時，能否透過其他感官來補償，以維持對環境的感知；另外，針對特定族群（如：自閉症、思覺失調症等）在感官整合上的功能缺損，如何影響他們的知覺與認知歷程，進而引發對其主觀知覺經歷產生影響，發展出社會互動的缺損或幻聽幻覺等錯誤判斷。總之，透過跨感官研究，我們可以進一步釐清這些機制，並發展適當的訓練策略，幫助有特殊需求的人群改善感官整合能力。
視覺與聽覺的交互作用：知覺並非單一感官的產物
演講中，陳教授分享了許多關於視聽感知整合的研究，透過嚴謹的實驗設計，展示「一致」與「不一致」的視聽刺激如何影響個體的知覺辨識速度與準確性。教授指出，我們的知覺並非單一感官的產物，而是來自背景、情境與多重感官訊息的交融；當這些感官訊息彼此協調時，不僅能降低不確定性，還能讓我們的反應更迅速、更準確。例如，在視聽感知整合過程中，當視覺與聽覺來源不一致時，個體通常會「相信眼睛」，優先依賴視覺資訊來判斷環境與空間訊息。這解釋了為何在電影院中，即使聲音來自四周的環繞音響，我們仍會直覺地認為聲音是源於屏幕中的人物，而忽略實際發聲的音源位置。
在視聽整合的過程中，除了視覺與聽覺的一致性，聲音的內容是否會影響個體的判斷呢？陳教授進一步探討了語言 （如：狗是 “dog”) 與自然聲音（如：「狗叫聲」 = 「汪汪」或 “woof”)在知覺判斷中的作用。他的研究發現，儘管這兩者聲音資訊皆與視覺內容（狗的圖片) 相符，但自然聲音屬於 bottom-up歷程、與較快且粗略的資訊處理有關，而語言資訊則屬於 top-down歷程、能使個體產生更為類別化、具深度且精細的認知處理。
研究選擇：深入vs擴展
在演講尾聲，陳教授分享了他在研究生涯的一個關鍵思考：「是否應擴展至新的研究面向，還是針對同一研究議題進行深入探討？」他以自身的研究歷程為例，說明他如何將過去對於跨感官知覺整合的研究興趣結合發展心理學議題，發現嬰幼兒在10-15個月時就已展現表徵單一感官訊息並逐步進行整體刺激整合的能力；約十五個月大時，便已具備視聽覺刺激的整合能力，甚至在十個月大時，已能習得部分視聽刺激的自然對應關係。這些發現不僅擴展了視聽整合的研究範疇，也為發展與認知領域中，個體的語言發展提供了新的視角。
面對研究的心態
除了跨感官知覺領域的重要研究結果外，陳奕全教授也與我們分享了個人經驗及學術探尋心法。教授於台大取得碩士學位，隨後赴英國牛津大學，取得實驗心理學博士學位，他的學術旅程充滿挑戰與豐富，包括設備與想像有落差；以及在高度自由選題的環境中，如何確定自己的研究方向。在演講中，他提及當研究結果不如預期時，應該如何面對，這個問題引起在場碩博生的關注與共鳴。他表示：「研究結果不如預期並不是壞事，反而是好事! 這代表我們還有未探索的視角，還有新的研究議題值得探索。這不是結束，而是進一步深入研究的開始。」對於正在進行研究探索與論文寫作的碩博生而言，這樣的觀點為我們帶來鼓勵與啟發，雖然對於筆者來說，現階段心態仍然希望可以順利且效率地完成研究並取得學位，但教授對於學術領域的熱忱與對個體的興趣仍然十分打動我們，期盼有一天也能深入鑽研自身有興趣的研究主題。
文字、攝影／陳肇宇、黃慈恩、施懿庭
