استفاده از پارادایم دنیای بصری برای مطالعه پردازش زبان

مقاله «استفاده از پارادایم دنیای بصری برای مطالعه پردازش زبان» در شماره 137 نشریه Acta Psychologica به چاپ رسیده است.

ما ویژگی‌های کلیدی پارادایم دنیای بصری را شرح می‌دهیم و زمینه‌های تحقیقاتی اصلی را که در آن مورد استفاده قرار گرفته است، مرور می‌کنیم. در بحث خود تأکید می‌کنیم که این پارادایم اطلاعاتی را در مورد روشی که کاربران زبان اطلاعات زبانی را با اطلاعات به دست آمده از محیط بصری یکپارچه می‌کنند، ارائه می دهد.

بنابراین، این پارادایم برای مطالعه یکی از موضوعات کلیدی روانشناسی شناختی کنونی، یعنی تعامل بین پردازش اطلاعات زبانی و بصری مناسب است. با این حال، نتیجه‌گیری در مورد پردازش زبانی (به عنوان مثال، در مورد فعال‌سازی، رقابت و زمان دسترسی به بازنمایی‌های زبانی) در غیاب اطلاعات بصری مرتبط باید با احتیاط انجام شود.

در سال 1974، کوپر از شرکت‌کنندگان خواست تا در حین تماشای نمایشگرهایی که اشیاء مشترک را نشان می‌دهند، به روایت‌های کوتاه گوش دهند، که برخی از آنها در متن گفتاری به آنها اشاره شده است. به شرکت‌کنندگان اطلاع داده شد که اندازه مردمک آنها ثبت شده است و می‌توانند به هر کجا که می‌خواهند نگاه کنند. علیرغم این دستورالعمل‌ها، کوپر متوجه شد که نگاه شنوندگان به اشیایی جلب می‌شود که به آنها اشاره شده یا به نوعی با متن مرتبط هستند. به عنوان مثال، شنوندگان با شنیدن «سگ پراکنده من اسکاتی…» بیشتر از سایر قسمت‌های متن به تصویر یک سگ نگاه می‌کردند و با شنیدن «در طول» نگاهشان به تصویر دوربین جلب می‌شد.

کوپر همچنین متوجه شد که حرکات چشم شنوندگان به شدت با متن قفل شده است، به طوری که بیش از 90٪ از تثبیت‌ها روی اشیاء مهم یا در حین بیان کلمه مربوطه یا در عرض 200 میلی‌ثانیه پس از تغییر کلمه فعال می‌شوند. کوپر احساس می‌کرد که “ابزار تحقیقی جدید و عملی برای بررسی لحظه‌ای فرآیندهای ادراکی و شناختی و به‌ویژه برای مطالعه دقیق ادراک گفتار، حافظه و پردازش زبان” پیدا کرده است. با این حال، مطالعه کوپر تا حد زیادی توسط جامعه روان‌زبانی برای بیش از بیست سال نادیده گرفته شد (تا سال 1996 فقط هشت بار استناد شد؛ تا سال 2010 105 بار).

تنها پس از آن بود که تاننهاس، اسپایوی-نولتون، ابرهارد و سدیوی (1995) یک مقاله علمی با استفاده از روش‌شناسی مشابه منتشر کردند (همچنین به ابرهارد، اسپایوی-نولتون، سدیوی و تاننهاس، 1995 مراجعه کنید) که روانشناسان شروع به بهره‌برداری از رابطه سیستماتیک بین حرکات چشم و پردازش گفتار در مقیاس بزرگتر.

پارادایم پیشگام کوپر و تاننهوس و همکارانش اکنون به عنوان پارادایم دنیای بصری شناخته می‌شود (Allopenna, Magnuson, & Tanenhaus, 1998) و تأثیری دگرگون کننده بر حوزه روانشناسی زبانی داشته است. ممکن است کسی بپرسد که چرا مطالعه کوپر مورد توجه قرار نگرفت، در حالی که 20 سال بعد، Tanenhaus و همکارانش. کاغذ چنین تأثیر عظیمی داشت. تا حدودی این ممکن است به این دلیل باشد که تا اواسط دهه نود ردیابی چشم یک تکنیک نسبتاً دست و پا گیر برای استفاده بود.

علاوه بر این، ظهور پارادایم دنیای بصری منعکس کننده توسعه نظری در روان‌زبان‌شناسی است. از اوایل دهه هشتاد – زمانی که فودور (1983) مفهوم مدولار بودن ذهن را توسعه داد – یک دغدغه اصلی در روان‌زبان‌شناسی این بوده است که تعیین کند چگونه فرآیندهای آموزش زبان و غیرزبانی به طور مشترک درک شنونده یا خواننده از جملات را تعیین می‌کنند. Tanenhaus و همکارانش اولین کسانی بودند که نشان دادند که پارادایم دنیای بصری ابزار قدرتمندی برای بررسی این موضوع است.

بلافاصله پس از اولین مطالعات درک مطلب، ردیابی چشم نیز برای مطالعه تولید زبان مورد استفاده قرار گرفت (گریفین و بوک، 2000، مایر و همکاران، 1998). اگرچه مطالعات تولیدی معمولاً به عنوان «تحقیق دنیای بصری» نامگذاری نمی‌شوند، اما شباهت‌های آشکاری با مطالعات درک مطلب با استفاده از الگوی دنیای بصری وجود دارد، و بنابراین ما هم مطالعات درک و هم مطالعات تولید را بررسی می‌کنیم.

ساختار مقاله

• ابتدا ویژگی‌های کلیدی پارادایم دنیای بصری را تشریح می‌کنیم.
• سپس حوزه‌های تحقیقاتی اصلی را که از آن استفاده شده است، مرور خواهیم کرد.
• در بخش 3، مطالعات جهان بصری را در سطح جمله و گفتمان توصیف و ارزیابی می‌کنیم.
• در بخش 4 مطالعات را در سطح کلمه مرور می‌کنیم.
• در بخش 5، سه خط تحقیقات تولیدی را که از ردیابی چشم استفاده کرده‌اند، مرور می‌کنیم.
• نکته اصلی در نتیجه گیری ما (بخش 6) و در طول بررسی این است که چگونه وجود اطلاعات بصری مرتبط بر پردازش زبان گفتاری تأثیر می‌گذارد و در رابطه با این، چه نتیجه‌گیری می‌توان در مورد پردازش زبان گفتاری در موقعیت‌های دیگر گرفت.

در این بخش، ابتدا (در بخش 2.1.) ویژگی‌های معمولی پارادایم را که در مطالعات درک زبان استفاده می‌شود، مرور می‌کنیم و سپس در بخش 2.2 به ویژگی‌های مطالعات تولید می‌پردازیم.

2.1. ویژگی‌های کلیدی درک درک جهان بصری

2.1.1. نمایش انواع و عبارات گفتاری

راه‌اندازی اولیه در یک آزمایش جهان بصری درک مطلب ساده است: در هر آزمایش، شرکت‌کنندگان در حالی که به نمایشگر آزمایشی نگاه می‌کنند، سخنی را می‌شنوند. حرکات چشم شرکت کنندگان برای تجزیه و تحلیل های بعدی ثبت می‌شود.

در یکی از نسخه‌های رایج این پارادایم، ورودی بصری شامل نقاشی‌های خطی از صحنه‌های نیمه واقعی است که روی صفحه رایانه نشان داده می‌شود و جملاتی که صحنه‌ها را توصیف می‌کنند یا درباره آن‌ها توضیح می‌دهند (به عنوان مثال، «پسر کیک را خواهد خورد»، Altmann & Kamide، 1999 ؛ شکل 1i را ببینید). به طور معمول، نمایشگر شامل اشیایی است که در گفتار ذکر شده است (به عنوان مثال، یک پسر و یک کیک برای مثال قبلی) و اشیاء حواس پرتی که ذکر نشده است.

در نسخه دیگری، نمایشگرها مجموعه‌ای از اشیاء هستند که یا در یک فضای کاری قرار گرفته‌اند (مانند Tanenhaus و همکاران، 1995) یا به‌عنوان نقاشی‌های خطی روی صفحه رایانه نشان داده شده‌اند (مثلاً، Allopenna و همکاران، 1998؛ به شکل 1ii مراجعه کنید).

استفاده از صحنه‌های نیمه واقع گرایانه به محققان این امکان را می‌دهد که در میان چیزهای دیگر ارزیابی کنند که چگونه درک شنوندگان از صحنه و/یا دانش جهانی آنها در مورد صحنه‌ها و رویدادها بر درک آنها از گفته‌های گفتاری تأثیر می‌گذارد (برای بحث بیشتر رجوع کنید به هندرسون و فریرا، 2004).

وقتی از آرایه‌هایی از اشیاء استفاده می‌شود، تأثیر چنین دانشی به حداقل می‌رسد، که آرایه‌ها را برای مطالعه فعال‌سازی دانش مفهومی و واژگانی مرتبط با کلمات فردی مناسب می‌سازد.

شکل 1. نمایش‌های بصری معمولی در پارادایم دنیای بصری. مثال (i) از Altmann and Kamide (1999) است، مثال (ii) و (iii) از Huettig و McQueen (2007) است.

• (i) نمونه‌ای از یک صحنه نیمه واقعی است (شرکت‌کنندگان یا شنیدند “پسر کیک را خواهد خورد” یا “پسر کیک را حرکت می دهد”).
• (ii) نمونه ای از نمایشگر چهار شی
• (iii) نمونه ای از نمایش کلمه چاپ شده است.

در مثال‌های (ii) و (iii) شرکت‌کنندگان جملات هلندی «Uiteindelijk keek ze naar de beker die voor haar stond» را شنیدند (در نهایت او به فنجانی که در مقابلش بود نگاه کرد).

در برخی از مطالعات، ابتدا یک نمایش بصری نشان داده شد، و یک جمله گفتاری به دنبال آن، در حالی که یک صفحه خالی نشان داده شد. چنین تنظیمی برای بررسی اثرات حافظه بصری کوتاه مدت بر نگاه چشمی با واسطه زبان مفید است.

مطالعات روی صفحه خالی نشان داده است که افراد تمایل دارند نواحی روی صفحه خالی را که قبلاً توسط اشیاء مرتبط اشغال شده بود، دوباره تثبیت کنند و این نشان می‌دهد که حرکات چشم با واسطه زبان مشروط به حضور یک آیتم بصری در طول آن بیان نیست (به آلتمن مراجعه کنید). ، 2004، آلتمن و کامید، 2007، فریرا و همکاران، 2008، نوفرل و کروکر، 2007، ریچاردسون و همکاران، 2009، ریچاردسون و اسپایوی، 2000، اسپایوی و گنگ، 2001).

اخیراً یک نسخه کلمه چاپی از پارادایم دنیای بصری ایجاد شده است (Huettig and McQueen, 2007, McQueen and Viebahn, 2007؛ به شکل 1iii مراجعه کنید). تنها تفاوت با نسخه استاندارد این است که تصاویر با کلمات چاپ شده جایگزین می‌شوند.

یک مزیت مهم نسخه چاپی کلمه این است که محرک‌های بصری نیازی به نمایش اشیاء عینی ندارند، بلکه می‌توانند هر کلمه ای باشند. Huettig و McQueen (2007) پیشنهاد کردند که نسخه چاپی کلمه ممکن است نسبت به نسخه سنتی با استفاده از تصاویر حساس تر به دستکاری های واجی باشد.

نتایج به دست آمده توسط وبر، ملینگر و لارا تاپیا (2007) این دیدگاه را تایید می کند. Salverda و Tanenhaus (2010) دریافتند که نوع کلمه چاپی ابزار مفیدی برای بررسی پردازش املایی در طول ادراک گفتار است. در مقابل، به نظر می‌رسد که بررسی پردازش نمایش‌های معنایی و (مفهومی) شکل بصری نسبت به نسخه استاندارد حساسیت کمتری دارد (Huettig & McQueen, 2008).

بسیاری از مطالعات دنیای بصری بررسی کرده‌اند که آیا مواردی که از نظر واج‌شناسی، معنایی یا بصری با یک هدف مرتبط هستند، توجه را به خود جلب می‌کنند یا خیر. برای این منظور، گاهی اوقات مفید است که نمایشگرهای فاقد هدف را اضافه کنیم که شیء ذکر شده در جمله همراه را ندارند. به عنوان مثال، Huettig و Altmann (2005) نشان دادند که این امر احتمال مشاهده اثرات رقابت را بسیار افزایش می‌دهد (شکل 2 در Huettig & Altmann، 2005 را ببینید).

2.1.2. زمان بندی محرک

محققان اغلب علاقه خاصی به آنچه در طول یا بلافاصله پس از ارائه یک کلمه انتقادی در جریان گفتار رخ می‌دهد، دارند. از آنجایی که این کلمه معمولاً در یک جمله حامل ظاهر می‌شود (“روی < کلمه انتقادی> یا “پسربچه < کلمه انتقادی>… کلیک کنید”) شرکت‌کنندگان چند ثانیه فرصت دارند تا قبل از شروع آن با اشیاء آشنا شوند.

معمولاً ارائه نمایش بصری همزمان با یا اندکی (مثلاً 1 ثانیه) قبل از شروع گفتار شروع می‌شود و تا پایان گفتار در معرض دید قرار می‌گیرد. مقدار پیش نمایش داده شده مهم است. Huettig و McQueen (2007) نشان دادند که احتمال تثبیت اشیاء خاص به زمانی بستگی دارد که شرکت کنندگان برای بازیابی بازنمایی های مربوطه در مورد اشیاء در نظر گرفته شده بودند.

2.1.3. وظیفه صحبت شده

گفته‌ها می‌توانند دستورالعمل‌هایی برای شرکت‌کنندگان باشند (وظایف «عمل مستقیم»، به عنوان مثال، «آب نبات را بردارید»، آلوپنا و همکاران، 1998) یا توصیف‌ها یا نظرات صرف روی نمایشگر (کارهای «نگاه و گوش دادن»، به عنوان مثال، آلتمن و Kamide، 1999، Huettig و Altmann، 2005). در مورد دوم، اغلب از شرکت کنندگان خواسته می شود که به صفحه نگاه کنند و با دقت به جملات گوش دهند. انتخاب تکلیف به سؤالات تجربی بستگی دارد (برای بحث بیشتر به Huettig، Olivers و Hartsuiker، این شماره؛ Salverda، Brown و Tanenhaus، این شماره، را ببینید). به عنوان مثال، وظایف «نگاه و گوش دادن» به محققان این امکان را می‌دهد تا ارزیابی کنند که آیا تأثیرات خاص (مثلاً رقابت) یک ویژگی کلی تر از تعاملات زبان- بینایی است یا اینکه آیا آنها به خواسته های خاص خاصی محدود می‌شوند.

مزیت پارادایم دنیای بصری در مقایسه با سایر پارادایم‌های روان‌زبانی مانند لکه‌گیری کلمات، تصمیم‌گیری واژگانی و قضاوت‌های دستوری (نگاه کنید به شماره ویژه زبان و فرآیندهای شناختی، گروسژان و فراونفلدر، 1996) این است که شنوندگان مجبور نیستند هیچ متا را اجرا کنند. – قضاوت های زبانی، که ممکن است استخراج آن از سوی برخی گروه های شنونده (مثلاً کودکان خردسال) دشوار باشد و ممکن است بر نحوه پردازش گفتار تأثیر بگذارد. پارادایم دنیای بصری تنها بر تمایل شنوندگان برای نگاه کردن به بخش‌های مربوطه از نمایشگر آنطور که ذکر شده است متکی است.

ممکن است سؤال شود که چرا شنوندگان به اشیایی که ذکر شده یا ضمنی می‌نگرند؟ تعجب آور نیست که شرکت کنندگان وقتی از آنها خواسته می شود که آنها را لمس یا حرکت دهند به آنها نگاه می‌کنند. چنین کارهایی با تثبیت روی شی به آسانی انجام می‌شود (همچنین به تحقیق در مورد حرکات چشم در طول کارهای روزمره مانند تهیه یک فنجان چای، مانند لند، منی و رستد، 1999؛ ایروین، 2004 مراجعه کنید). با این حال، شنوندگان همچنین در مواقعی که نیازی به اقدام آشکار نیست، به اشیاء هدف نگاه می کنند. به احتمال زیاد آنها قصد دارند گفتار گفتاری را با ورودی بصری مرتبط کنند (به عنوان مثال، آلتمن و کامید، 2007).

شاید آن‌ها این کار را به این دلیل انجام می‌دهند که این نوع نقشه‌برداری در بسیاری از زمینه‌های روزمره مورد انتظار و سودمند است، به‌عنوان مثال وقتی یک کتاب درسی شامل نمودارها و شکل‌ها را مطالعه می‌کنیم؛ وقتی به مربی گوش می‌دهیم که یک مهارت جدید را توضیح می‌دهد و نشان می‌دهد (مثلاً کاشت پیاز گل لاله یا برشته کردن). یک اردک)، یا زمانی که پیش‌بینی آب و هوا را از تلویزیون تماشا می‌کنیم. اغلب رسانه‌های گفتاری و تصویری اطلاعات تکمیلی را ارائه می‌دهند و پردازش آنها با هم مفید است. ارتباط دادن اطلاعات دیداری و گفتاری با یکدیگر به آسانی با هدایت توجه بصری – و نگاه چشم – به اشیاء مربوطه حاصل می‌شود. این به این دلیل است که توجه به یک شی نه تنها تشخیص شیء را تسهیل می‌کند، بلکه فعال کردن هرگونه اطلاعات مرتبط، از جمله، به‌عنوان مثال، نام شی را نیز تسهیل می‌کند (به عنوان مثال، Malpass & Meyer, 2010).

این که آیا ادغام ورودی بصری و گفتاری یک فرآیند عمدی یا خودکار است یا خیر، باید دید. حساب‌های تأثیرگذار کنونی، خودکار بودن را به‌عنوان یک پیوستار در نظر می‌گیرند (مثلاً، لوگان، 1985) و از این دیدگاه حمایت می‌کنند که خودکار بودن را می‌توان با نگاه کردن به وجود یا عدم وجود ویژگی‌های ترکیبی مانند عمدی، کنترل‌پذیری؛ وابستگی به هدف، کارایی؛ و اینکه آیا فرآیند به بهترین شکل تشخیص داد. مورد بحث صرفاً محرک، ناخودآگاه و سریع است (برای بررسی جامع به مور و د هوور، 2006 مراجعه کنید).

آلتمن و کامید (2007) پیشنهاد کرده‌اند که افزایش در فعال‌سازی بازنمایی ذهنی یک شی و مکان آن (به عنوان مثال، با ورودی زبانی) منجر به افزایش احتمال حرکت ساکادیک چشم به سمت این مکان می‌شود. Huettig و همکاران (این موضوع، رجوع کنید به Knoeferle and Crocker, 2006, Spivey et al., 2004) پیشنهاد کردند که حافظه کاری به‌عنوان پیوندی عمل می‌کند که در آن بازنمایی‌های بصری و زبانی بلندمدت (یعنی انواع) به مکان‌های خاص (یعنی نشانه‌ها یا شاخص‌ها) متصل می‌شوند. .

این مشابه چیزی است که آلتمن و کامید (2007) به‌عنوان ردپای اپیزودیک تجربه یک شی توصیف می‌کنند (“شامل مکان آن و بازنمایی‌های مفهومی مرتبط با آن تجربه”، ص 512). تفاوت اصلی این است که Huettig و همکاران. فرض کنید که حافظه فعال شرط لازم برای این تجربه است (برای بحث بیشتر به Huettig et al.، این موضوع مراجعه کنید) در حالی که Altmann و همکارانش (Altmann & Mirkovi ć، 2009) استدلال می‌کنند که حافظه فعال به‌عنوان یک مکانیسم خارجی مورد نیاز نیست “زیرا توجه در همان بستر بازنمایی اطلاعات زبانی و غیرزبانی (همچنین نگاه کنید به کوهن، استون جونز؛ و گیلزنرات، 2004) ” و بنابراین “حالت‌های مختلف این بستر بازنمایی نشان دهنده مدولاسیون توجه است که حرکات چشم را هدایت می‌کند” (ص. 593) نمونه سازی شده است).

در مجموع، حرکات چشم شنوندگان در طول آزمایش یک آزمایش دنیای بصری، جهت توجه بصری آنها را منعکس می‌کند که هم به ورودی دیداری و هم به ورودی شنیداری بستگی دارد. به عبارت دیگر، اگرچه پارادایم دنیای بصری معمولاً برای مطالعه درک گفتار استفاده می‌شود، اما حرکات چشم شنوندگان منعکس نمی‌شود.

دقیقاً پردازش زبانی آنها، اما به پردازش بصری آنها نیز بستگی دارد. بنابراین، برای مثال، می توان تصور کرد که یک کلمه هدف زودتر در یک آزمایش دنیای بصری شناسایی شود، جایی که بازنمایی واج شناختی آن نه تنها با گفتار گفتاری، بلکه همچنین با نمایش تصویری مرجع فعال می شود (مانند مایر و دامیان، 2007، مورسلا و میوزو، 2002، ناوارت و کوستا، 2005)، نسبت به عدم وجود نمایش بصری از شی مرجع. اگرچه این ممکن است کاملاً بدیهی به نظر برسد، از نظر ما، روش‌هایی که اطلاعات دیداری و شنیداری به طور مشترک توجه و نگاه را تعیین می‌کنند، در ادبیات مورد توجه کافی قرار نگرفته است. ما در طول این بررسی به این موضوع باز خواهیم گشت.

2.1.4. شرکت کنندگان

در اکثر مطالعات جهان بصری، شرکت کنندگان به صورت جداگانه مورد آزمایش قرار گرفته‌اند، اما برخی از مطالعات نیز وجود دارد که افراد را در گفتگو مورد آزمایش قرار می‌دهد. در این مطالعات از همفکرانی استفاده شده است که به شرکت کنندگان آموزش می‌دهند (مانند هانا و همکاران، 2003، کیسار و همکاران، 2000)، شرکت کنندگان ساده لوحی که نقش شنونده یا سخنران به آنها اختصاص داده شده است (مانند اسندکر و تروزول، 2003)، یا شرکت کنندگان در همکاری مشترک. بازی‌ها (به عنوان مثال، براون اشمیت، گانلوگسون؛ و تاننهاس، 2008، به بخش 3. 2 مراجعه کنید). شرکت‌کنندگان در مطالعات جهان بصری عمدتاً دانشجویان مقطع کارشناسی بوده‌اند، اما این الگو در گروه‌های بیمار نیز استفاده شده است (تامپسون و چوی، 2009؛ والش و همکاران، 2007، یی و همکاران، 2008) و در نوجوانان (بروک و همکاران. ، 2008، مک موری و همکاران، 2010). البته ارتباط نزدیکی با الگوی نگاه ترجیحی دارد که اغلب در مطالعات توسعه مورد استفاده قرار می‌گیرد (گولینکف، هیرش پاسک، کولی و گوردون، 1987، همچنین نگاه کنید به آریاس – ترجو و پلانکت، 2010، سوینگلی و فرنالد، 2002، جانسون و Huettig، 2011، Nation و همکاران، 2003، Trueswell و همکاران، 1999).

2.1.5. تحلیل داده‌ها

تجزیه و تحلیل داده‌ها در مطالعات دنیای بصری بر این سؤال تمرکز می‌کند که چقدر احتمال دارد شرکت‌کنندگان به مناطق خاص مورد علاقه در زمان‌های مختلف در طول آزمایش نگاه کنند. انتخاب مناطق مورد علاقه و پنجره‌های زمانی به سؤال تحقیق بستگی دارد. به‌عنوان مثال، مناطق مورد علاقه ممکن است نقاشی‌های یک شی هدف ذکر شده در بیان و یک شی حواس پرتی با نام صدای مشابه باشد؛ و پنجره‌های زمانی ممکن است 100 میلی ثانیه اپیزود باشد که از شروع نام شروع می‌شود. شی مورد نظر متداول‌ترین متغیرهای وابسته، نسبت‌های تثبیت بر روی نواحی مورد علاقه در طول هر پنجره زمانی یا تعداد ساکادها نسبت به مناطق مورد علاقه هستند که در طول هر پنجره زمانی آغاز شده‌اند (به عنوان مثال، آلتمن، 2004).

سؤالات معمول برای تجزیه و تحلیل‌های آماری این است که آیا دو منطقه مورد علاقه در احتمال بازرسی در طول هر یک از مجموعه‌ای از پنجره‌های زمانی متوالی متفاوت هستند (به عنوان مثال، چمبرز و همکاران، 2002، Huettig و McQueen، 2007)، یا اینکه آیا منطقه‌ای از علاقه (مثلاً یک کیک) در شرایط آزمایشی (مثلاً وقتی با یک فعل دلالت می‌کند، مانند «پسر می‌خورد…») زودتر از یک شرط کنترلی ( «پسر حرکت می‌کند…» نگاه می‌شود. به‌عنوان مثال، آلتمن و کامید، 1999). در بیشتر مطالعات، نسبت‌های تثبیت‌ها یا ساکادها در آزمون‌های t یا آنالیز واریانس (اغلب پس از تبدیل‌های مناسب) مقایسه می‌شوند. این تجزیه و تحلیل‌ها ثابت کرده‌اند که کاملاً قوی هستند (همانطور که از تکرارهای موفق متعدد مشهود است).

با این حال توجه داشته باشید که داده‌های دنیای بصری برخی از مفروضات اساسی ANOVA‌ها را نقض می‌کند (به Barr, 2008a, Barr, 2008b مراجعه کنید). فرض استقلال مشاهدات نقض می‌شود اگر پنجره زمانی به‌عنوان یک عامل در نظر گرفته شود زیرا تثبیت‌های یکسان ممکن است به پنجره‌های زمانی متعدد کمک کند. فرض توزیع نرمال و فرض متغیر پیوسته ممکن است نقض شوند اگر نسبت‌ها (یعنی داده‌های طبقه بندی) متغیر وابسته باشند. رویکردهای آماری جایگزین مانند رگرسیون لجستیک چند سطحی (Barr, 2008a, Barr, 2008b), تجزیه و تحلیل لگ خطی (Huettig & Altmann, 2005؛ برای بحث به هاول, 2002, Scheepers, 2003) و تجزیه و تحلیل منحنی رشد (Mir) مراجعه کنید. دیکسون؛ و مگنوسون، 2008) به طور فزاینده‌ای برای داده‌های دنیای بصری استفاده می‌شوند (همچنین به شماره ویژه مجله حافظه و زبان، جلد 59، 2008 مراجعه کنید).

یک مسئله آماری جدی‌تر مربوط به اثرات پایه است. به عنوان مثال، یک شی خاص (به عنوان مثال، یک رقیب برای هدف) ممکن است قبل از دسترسی به اطلاعات مهم از قول گفتاری ثابت شود. چنین سوگیری‌هایی باید در تجزیه و تحلیل آماری اصلاح شوند (به Barr, Gann, & Pierce، این شماره مراجعه کنید).

هنگام تفسیر نتایج مطالعات جهان بصری، مهم است که به خاطر داشته باشید که تثبیت‌ها و ساکادها رویدادهای نسبتاً مجزایی هستند. بنابراین داده‌های یک آزمایش نمی‌تواند اطلاعاتی در مورد پردازش مداوم سیگنال گفتار، به عنوان مثال، فعال شدن تدریجی نامزدهای کلمه یا غیرفعال شدن تدریجی رقبا ارائه دهد. با این حال، با میانگین گیری در بین کارآزمایی‌ها و شرکت‌کنندگان، می‌توان محاسبه کرد که شنوندگان به طور متوسط ​​در یک لحظه معین از زمان، چقدر احتمال دارد که به هر یک از مناطق نگاه کنند.

مورد علاقه بر اساس این داده‌ها، استنباط‌هایی در مورد سیر زمانی فرآیندهای شناختی زیربنایی می‌توان به دست آورد.1 به طور فزاینده‌ای، نتایج آزمایش‌های دنیای بصری نه تنها برای اطلاع‌رسانی مدل‌های توصیفی پردازش زبان، بلکه برای توسعه و آزمایش مدل‌های محاسباتی استفاده می‌شود (Allopenna) و همکاران، 1998، مایبری و همکاران، 2009، میرمن و مگنوسون، 2009، مک موری و همکاران، 2010، روی و موکرجی، 2005؛ همچنین به استفان، میرمن، مگنوسون و دیکسون، 2009 مراجعه کنید.

2.2. ویژگی‌های کلیدی مطالعات تولید

در مطالعات تولید، شرکت‌کنندگان مجموعه‌هایی از اشیاء (به عنوان مثال، گریفین، 2001، مایر و همکاران، 1998) یا کارتون‌هایی از رویدادها یا کنش‌ها را مشاهده می‌کنند (به عنوان مثال، گلیتمن و همکاران، 2007، گریفین و باک، 2000، گریفین و اوپنهایمر، 206). ). هیچ ورودی گفتاری ارائه نمی‌شود، اما در عوض از شرکت کنندگان خواسته می‌شود آنچه را که می‌بینند توصیف کنند. گاهی اوقات، دستورالعمل‌های دقیق در مورد گفته‌های مورد انتظار ارائه می‌شود.

به‌عنوان مثال، ممکن است از سخنرانان خواسته شود که اشیاء را به ترتیبی خاص (مثلاً از چپ به راست) در عبارات اسمی بدون نام گذاری کنند. مایر و همکاران، 1998)؛ و گاهی اوقات از سخنرانان به سادگی خواسته می‌شود آنچه را که می‌بینند توصیف کنند (گریفین و باک، 2000). همانطور که در مطالعات درک مطلب، نگاه چشم شرکت کنندگان نظارت می‌شود. محققان معمولاً تعیین می‌کنند که کدام اشیاء بازرسی می‌شوند، به چه ترتیبی بازرسی می‌شوند و چه زمانی نسبت به خروجی گفتار شرکت کنندگان بازرسی می‌شوند. همانطور که بعداً با جزئیات بیشتری نشان داده خواهد شد، این اطلاعات در مورد روش‌هایی که گویندگان تولید طرح‌های گفته را با بیان آشکار هماهنگ می‌کنند، ارائه می‌دهد.

علاوه بر این، محققان اغلب تعیین می‌کنند که چه مدت به هر جسم خیره می‌شود. پس از بررسی مطالعات درک مطلب، بعداً (بخش 5) نشان خواهیم داد که مدت زمان نگاه گوینده به یک شی، نشانگر خوبی از زمانی است که آنها برای شناسایی شی و ایجاد جملاتی در مورد آن نیاز دارند.

3. مطالعات درک زبان در سطح جمله و گفتمان

3.1. پردازش جمله

یک بحث کلیدی در مطالعه درک زبان این است که چگونه و چه زمانی کاربران زبان انواع مختلف اطلاعات را ادغام می‌کنند. دو دیدگاه نظری متضاد وجود دارد. بر اساس گزارش‌های ساختاری (یا دو مرحله‌ای)، تجزیه اولیه یک جمله توسط شنونده یا خواننده منحصراً بر اساس اطلاعات نحوی است. انواع دیگر اطلاعات (به عنوان مثال، اطلاعات لغوی و عملی) تنها در مراحل بعدی تأثیر خود را اعمال می‌کنند (فریزر، 1979، فریزر، 1987).

بر اساس نظریه‌های تعاملی (به عنوان مثال، تایلر و مارسلن – ویلسون، 1977)، اطلاعات غیر نحوی می‌توانند بلافاصله بر پردازش جمله تأثیر بگذارند. تأثیرگذارترین نوع مدل‌های تعاملی در حال حاضر، نظریه‌های مبتنی بر محدودیت هستند (مک‌دونالد و همکاران، 1994، مک‌ری و همکاران، 1998، تروزول و همکاران، 1994). حساب‌های مبتنی بر محدودیت فرض می‌کنند که پردازش نحوی دارای ویژگی‌های مشابه پردازش واژگانی است (مک‌دونالد و همکاران، 1994، تروزول و همکاران، 1994) و از طریق ارضای محدودیت‌های متعدد انجام می‌شود. اینها شامل محدودیت‌های واژگانی، ساختاری و سطح گفتمانی است. محدودیت‌های واژگانی (مثلاً ترجیحات ساختار استدلال و فراوانی هم‌روی کلمات در یک عبارت) با این حال فرض می‌شود که محدودیت‌های قوی‌تری نسبت به محدودیت‌های ساختاری یا گفتمانی ایجاد می‌کنند (به عنوان مثال، Trueswell & Tanenhaus، 1994). بسیاری از تحقیقات دنیای بصری در مورد پردازش جمله و گفتمان به تمایز بین نظریه‌های ساختاری و مبتنی بر محدودیت اختصاص یافته است.

3.1.1. محدودیت‌های بصری (و دیگر) در پردازش جمله گفتاری

قبل از مطالعه اصلی توسط Tanenhaus و همکاران. (1995) بیشتر تحقیقات روان‌زبانی پردازش جمله بر بررسی زمان‌های خواندن تکیه داشت. بنابراین دستکاری‌های متنی محدود بودند و معمولاً شامل تغییر جمله یا گفتمان قبلی می‌شدند (برای بررسی، به Frazier، 1995، MacDonald و همکاران، 1994 مراجعه کنید). با این حال، بسیاری از منابع اطلاعاتی دیگر وجود دارد که کاربران زبان به طور بالقوه می‌توانند در تعاملات روزانه خود از آنها استفاده کنند، از جمله، به‌عنوان مثال، اطلاعات بصری که معنای مورد نظر گفته‌ها را محدود می‌کند. برای بررسی زمانی که شنوندگان از چنین اطلاعاتی استفاده می‌کنند، Tanenhaus و همکارانش جملاتی مانند “سیب را روی حوله در جعبه قرار دهید” به شرکت کنندگان ارائه کردند، که در آن اولین عبارت اضافه (“روی حوله” در مثال) به طور موقت بین آنها مبهم است. نشان دهنده مقصد سیب یا مکان فعلی آن است. در شرایط تک مرجع آزمایش، شرکت کنندگان فقط یک سیب روی یک حوله، یک حوله خالی، یک جعبه و یک مداد دیدند.

در شرایط دو مرجع دو سیب وجود داشت: یکی روی حوله و دیگری روی یک دستمال. در این شرایط یک اصلاح کننده لازم بود تا به شنونده اطلاع دهد که کدام یک از دو سیب باید جابجا شود. بر اساس گزارش‌های ساختاری حل ابهام نحوی (فرازیر، 1987)، عبارت “روی حوله” در ابتدا باید به‌عنوان مقصد سیب تفسیر شود، صرف نظر از بافت بصری، زیرا این ساده‌ترین تحلیل نحوی جمله از نظر ساختاری است. این باید خود را در خیلی زود به حوله خالی نگاه می‌کند. با این حال، Tanenhaus و همکاران. (1995) دریافتند که به طور قابل توجهی نگاه‌های اولیه به حوله خالی در شرایط یک مرجع نسبت به حالت دو مرجع وجود دارد. این شواهد قوی است که بر خلاف گزارش‌های دو مرحله‌ای پردازش جمله، شنوندگان می‌توانند بلافاصله از اطلاعات بصری برای ابهام‌زدایی از ساختار جمله استفاده کنند.

تروزول و همکاران (1999) مطالعه مشابهی را با بزرگسالان و کودکان پنج ساله انجام داد. برای بزرگسالان، آنها اثر زمینه نشان داده شده توسط Tanenhaus و همکاران را تکرار کردند، اما کودکان به همان اندازه به حوله خالی در شرایط یک مرجع و دو مرجع نگاه می کردند. بنابراین، آنها در استفاده از اطلاعات متنی هنگام پردازش جملات شکست خوردند. Trueswell و Gleitman (2004) استدلال کردند که کودکان خردسال می توانند از بافت بصری برای هدایت انتخاب نحوی استفاده کنند، اما آنها برای کشف سودمندی چنین اطلاعاتی به زمان نیاز دارند زیرا نشانه های متنی همیشه وجود ندارند و تمایل دارند نسبت به نشانه های نحوی کمتر قابل اعتماد باشند.

Snedeker و Trueswell (2004) شواهد بیشتری ارائه کردند مبنی بر اینکه حل ابهام نحوی از طریق ارضای محدودیت های متعدد انجام می شود. شرکت کنندگان جملات مبهمی مانند “خوک را با بادبزن غلغلک دهید” یا “گاو را با چوب انتخاب کنید” را در شرایط یک مرجع و دو مرجع شنیدند. آنها دریافتند که درجه ترجیح برای تفسیر ابزار (به جای تفسیر تعدیل کننده) از عبارت مبهم، که به طور مستقل ارزیابی می شود، نگاه چشم را تعدیل می کند. این نتایج از این دیدگاه حمایت می کند که هم محدودیت های زبانی و هم زمینه بصری می توانند تحلیل نحوی اولیه جملات را تعیین کنند. علاوه بر این، آنها نشان می‌دهند که تأثیر نشانه‌های خاص ممکن است در طول توسعه تغییر کند.

چمبرز، تاننهوس، و مگنوسون (2004) نمایش چشمگیر خاصی از تأثیرات اولیه زمینه ای ارائه کردند. شرکت کنندگان دستورالعمل هایی مانند “تخم مرغ را در کاسه روی آرد بریزید” شنیدند. چمبرز و همکاران (2004) دریافتند که شرکت کنندگان بلافاصله «در کاسه» را به عنوان تعدیل کننده تفسیر کردند وقتی صحنه حاوی دو تخم مرغ به شکل مایع بود (یکی در یک لیوان، دیگری در یک کاسه)، همانطور که با نگاه های کمی به یک کاسه خالی آشکار شد (‘ هدف اشتباه) با این حال وقتی صحنه حاوی یک تخم مرغ مایع (در یک کاسه) و یک تخم مرغ جامد (در یک لیوان) بود، شرکت کنندگان انتظار داشتند که عبارت “در کاسه” محل مورد نظر برای تخم مرغ قابل ریختن (یعنی آرد) باشد. همانطور که با افزایش نگاه به شی “هدف کاذب” (یعنی کاسه خالی) آشکار می شود. بنابراین مقرون به صرفه‌های سازگار با کنش، بر اولین لحظات پردازش نحوی تأثیر گذاشت.

آرنولد، کایزر و همکارانش (به عنوان مثال، آرنولد، 2001، آرنولد، آیزنبند، و همکاران، 2000، کایزر و همکاران، 2009، کایزر و تروزول، 2008) از پارادایم دنیای بصری برای مطالعه تفسیر ضمایر استفاده کردند (مثلاً. او/او)، نمایشگرها (مثلاً این و آن)، و بازتاب دهنده ها (مثلاً خودش/خود). مطابق با نظریه‌های تعاملی، این مطالعات شواهدی را ارائه کردند که وضوح مرجع به محدودیت‌های چندگانه حساس است (به عنوان مثال، ساختار اطلاعات، نقش نحوی، و ترتیب کلمات)، که تأثیر آنها در اشکال آنافوری متفاوت است. به عنوان مثال، قیصر و همکاران. (2009) دریافت که تفکیک ضمایر بیشتر تحت تأثیر اطلاعات معنایی (و کمتر تحت تأثیر نحوی) قرار دارد تا تفسیر انعکاسی. بنابراین این مطالعات تعامل پیچیده ای از عوامل نحوی و معنایی را در طول تفکیک مرجع پیشنهاد می کنند (همچنین به براون اشمیت و همکاران، 2004، براون اشمیت و همکاران، 2005 مراجعه کنید).

در مجموع، مطالعات جهان بصری بررسی شده در این بخش، پشتیبانی قوی از حساب‌های مبتنی بر محدودیت از پردازش جمله ارائه می‌کنند. تا آنجا که ما می دانیم هیچ مطالعه ای در جهان بصری شواهدی را گزارش نکرده است که از حساب های ساختاری پشتیبانی می کند. با این حال، شواهدی برای تأثیر فوری محدودیت‌های متعدد در موقعیت‌های دیگر (مثلاً در حین خواندن) ترکیبی‌تر به نظر می‌رسد (به کلیفتون و استاب، 2008، کلیفتون و همکاران، 1994، کلیفتون و همکاران، 2003، ون گومپل و پیکرینگ مراجعه کنید، 2001، Van Gompel و همکاران، 2005، برای بحث؛ اما شواهد ERP Hagoort و همکاران، 2004، Sereno و همکاران، 2003 را ببینید). به عنوان مثال، میچل (2004، ص 22) استدلال کرده است که «سوالات جدی در مورد میزانی وجود دارد که مطالعات دنیای بصری می توانند بر پردازش جملات متناوب با زمینه اصلی روشن کنند، و درجه ای که نتایج صرفاً انواع آن را منعکس می کند. پردازشی که در حضور آرایه های شی خاص رخ می دهد» (ص 22). ما در طول بررسی به این سوال باز خواهیم گشت.

3.1.2. درک پیش‌بینی کننده

یک خط تحقیق مرتبط توسط آلتمن و همکارانش آغاز شد. در اینجا شنوندگان صحنه‌های نیمه واقعی را می‌بینند و جملاتی را در مورد آنها می‌شنوند. سؤال کلیدی این است که چگونه و چه زمانی اطلاعات زبانی جملات گفتاری (مثلاً “او بطری را برمی دارد و شراب را با دقت در لیوان می‌ریزد”) با اطلاعات بازیابی شده از محیط بصری (مثلا صحنه‌ای که یک زن را به تصویر می‌کشد) یکپارچه می‌شود. یک میز، یک بطری شراب،

و یک لیوان خالی). این کار (i) اهمیت پیش‌بینی را در طول پردازش زبان نشان داده است و (ii) نشان داده است که حرکات چشم با واسطه زبان نه تنها منعکس‌کننده پردازش زبانی است، بلکه به‌روزرسانی مداوم بازنمایی‌های ذهنی در حال تغییر پویا از رویدادی که صحنه و گفتار است را نیز منعکس می‌کند. قول رجوع به. آلتمن و کامید (1999) به شرکت کنندگان صحنه‌های بصری نیمه واقع گرایانه‌ای را ارائه کردند که به‌عنوان مثال، یک پسر، یک کیک و برخی اسباب بازی‌ها را به تصویر می‌کشد (شکل 1i را ببینید) در حالی که آنها جملاتی مانند “پسربچه کیک را حرکت می‌دهد” یا “پسر خواهد کرد” را شنیدند. پسر کیک را خواهد خورد.» آنها دریافتند که حرکات چشم روی کیک (تنها شیء خوراکی در صحنه) در حالت “خوردن” به طور قابل توجهی زودتر از حالت “حرکت” شروع شد.

آلتمن و کامید (1999) این نتیجه را به‌عنوان شواهدی تفسیر کردند که اطلاعات انتخابی منتقل شده توسط یک فعل را می‌توان برای پیش بینی یک موضوع آتی مورد استفاده قرار داد. Kamide، Altmann و Haywood (2003) بررسی کردند که آیا فقط اطلاعات فعل می‌تواند برای پیش بینی آنچه در ادامه به آن ارجاع داده می‌شود استفاده شود یا اینکه ترکیب اطلاعات فعل با موضوع دستوری قبلی می‌تواند حرکات چشم را پیش بینی کند. هنگامی که شرکت‌کنندگان با شنیدن «مرد سوار می‌شود…» تثبیت‌های بیشتری به موتورسیکلت پیدا کردند، اما وقتی شرکت‌کنندگان «دختر سوار خواهد شد…»، تثبیت‌ها به چرخ و فلک افزایش یافت.

بنابراین، اطلاعات ارائه شده توسط موضوع دستوری و توسط فعل می‌تواند به طور مشترک حرکات چشم انتظاری را محدود کند (همچنین به Kamide، Scheepers و Altmann، 2003 مراجعه کنید، برای شواهدی مبنی بر اینکه اطلاعات نشانه گذاری مورد می‌تواند برای پیش بینی استفاده شود). آلتمن و کامید (2007) نشان دادند که از اطلاعات تنشی برای تفسیر مرجع مورد اشاره استفاده می‌شود. شرکت کنندگان آن‌ها تمایل داشتند با شنیدن جمله گذشته «مرد مشروب خورده است…» به یک لیوان خالی شراب نگاه کنند، اما با شنیدن «مرد می‌نوشد…» به یک لیوان پر آبجو نگاه کنند.

اخیراً آلتمن و کامید (2009) نشان دادند که حرکات چشم انتظاری و همزمان شنوندگان نه چندان به ویژگی‌های ورودی گفتاری و صحنه بصری بستگی دارد، بلکه بیشتر به بازنمایی ذهنی که شنوندگان هنگام پردازش محرک‌ها در طول زمان می‌سازند، بستگی دارد (ر. ک. کایزر و تروزول، 2004). شرکت‌کنندگان هنگام تماشای صحنه‌ای که یک زن، یک بطری شراب و یک لیوان شراب روی زمین بود، جملاتی مانند «زن لیوان را روی میز می‌گذارد» یا «زن تنبل‌تر از آن است که لیوان را روی میز بگذارد» شنیدند. یک میز خالی سپس شنیدند “زن بطری را برمی دارد و شراب را با احتیاط در لیوان می‌ریزد”. در آزمایش 1 نمایشگر روی صفحه باقی ماند، در آزمایش 2 قبل از شروع جمله با یک صفحه خالی جایگزین شد. با شنیدن «ریختن»، شرکت‌کنندگان در هر دو آزمایش اغلب به محل شیشه‌ای که گفته می‌شود (یعنی روی زمین یا روی میز) نگاه می‌کردند. بنابراین، این مطالعات نشان می‌دهد که حرکات چشم با واسطه زبان، بازنمایی رویدادهای به روز شده پویا را منعکس می‌کند (همچنین رجوع کنید به Knoeferle and Crocker، 2006، Knoeferle and Crocker، 2007؛ و Knoeferle و همکاران، 2005، برای کارهای مرتبط با نقش اطلاعات بصری و دانش جهانی در تضاد است. رویدادها در تفسیر جملات؛ و Mishra & Singh، 2010، برای کار بر روی درک حرکت ساختگی).

در مجموع، شنوندگان از انبوهی از اطلاعات زبانی و همچنین بصری برای ابهام‌زدایی از ساختارهای مختلف جمله و پیش‌بینی ورودی زبانی آینده استفاده می‌کنند. حرکات چشم با واسطه زبان نه تنها پردازش زبانی و نه فقط پردازش صحنه بصری را منعکس می‌کنند، بلکه بازنمایی ذهنی به روز شده پیوسته بر اساس اطلاعات به دست آمده از ورودی‌های زبانی و بصری را منعکس می‌کنند.

پارادایم دنیای بصری ابزار بسیار مفیدی برای بررسی پردازش شناختی ثابت کرده است: تحلیل‌های نحوی، پیش‌بینی‌ها و بازنمایی رویدادهای شرکت‌کنندگان را می‌توان از جهت نگاه چشم آنها استنباط کرد. با این حال، یک موضوع مهم این است که چگونه نتایج در پارادایم دنیای بصری با تحلیل‌های نحوی، پیش‌بینی‌ها و بازنمایی رویدادها در غیاب ورودی بصری مرتبط است. همانطور که Kamide، Altmann و همکاران. (2003)، توضیح می‌دهد که “پس آنچه ما نمی‌دانیم این است که آیا برای قطعه‌ای مانند “مرد سوار می‌شود… “، پردازنده نمایش‌هایی را در هنگام سواری فعال می‌کند که مطابق با محدوده اشیاء قابل سواری است که یک مرد ممکن است حتی در آن سوار شود.

عدم وجود یک زمینه بصری همزمان که یک یا چند چیز قابل سوار شدن را به تصویر می‌کشد. بنابراین، پارادایم به ما اجازه نمی‌دهد که تعیین کنیم آیا ساختار زبانی است که یک فرآیند پیش‌بینی را آغاز می‌کند، زیرا نحو تعیین می‌کند که چیزی در شرف ارجاع است، یا اینکه این بافت بصری است که به پردازنده پیشنهاد می‌کند که ممکن است چیزی به طور معقولی وارد یک رابطه موضوعی با مرد، به واسطه عمل سوارکاری، شوید. نیازی به گفتن نیست که ما داده‌هایی نداریم که به‌صورت تجربی به این تمایز بپردازند.» (ص 151؛ همچنین به Kamide، 2008؛ و Kamide، Scheepers و همکاران، 2003، برای بحث در مورد این موضوع مراجعه کنید). آنچه این مطالعات نشان می‌دهد چیست شنوندگان می‌توانند انجام دهند، نه آنچه را که واقعاً در زمینه‌های دیگر انجام می‌دهند.

 

3.2. عمل شناسی و گفتگو

خط دیگری از تحقیقات، پارادایم جهان بصری را برای مسائل عمل شناسی به کار برده است: مطالعه جنبه هایی از تفسیر که فراتر از معناشناسی است و نیاز به استنتاج درباره زمینه و اهداف گوینده دارد. سه موضوع اصلی عمل‌گرایانه مورد بررسی قرار گرفته‌اند: استفاده از زمینه برای تفسیرهای خاص موقعیت، دوره زمانی استنتاج‌های عمل‌گرایانه، و استفاده از زمینه‌های مشترک در موقعیت‌های گفتگو.

3.2.1. تفسیر موقعیت خاص

پارادایم جهان بصری، به دلیل ماهیت خود، زمینه بصری را برای شرکت کنندگان فراهم می‌کند که با توجه به آن می‌توان ورودی زبانی را تفسیر کرد. چمبرز و همکاران (2002) نشان داد که این زمینه بلافاصله برای تفسیرهای خاص موقعیت از حروف اضافه استفاده می‌شود: داخل در “مکعب را در داخل قوطی قرار دهید” باعث شد شرکت کنندگان بلافاصله توجه بصری خود را نه فقط به ظروف، بلکه به طور خاص به ظروف که به اندازه کافی بزرگ بودند محدود کنند.

برای نگه داشتن مکعب خاص موجود در زمینه بصری. حافظه اپیزودیک موقعیت نیز می‌تواند درک مطلب را راهنمایی کند. چمبرز و سان خوان (2008) نشان دادند که وقتی شرکت کنندگان یک شی را به مکان دیگری در یک شبکه منتقل می‌کردند، فعل بازگشت (به عنوان مثال، “بازگرداندن چکمه به منطقه سه”) منجر به آزارهای پیش بینی شده برای این شی که قبلاً جابجا شده بود، می‌شود. این امر تأیید می‌کند که پیش‌بینی‌های شنوندگان نه تنها بر اساس ویژگی‌های پایدار اشیاء است (مانند قابل خوردن، Altmann & Kamide، 1999)، بلکه می‌تواند بر اساس دانش اپیزودیک در مورد وضعیت موجود نیز باشد. ارتباط ارتباطی این اثر پیش‌بینی را محدود می‌کند: در یک آزمایش بعدی که یک وظیفه ارتباطی ارجاعی را به کار می‌برد، تنها زمانی پیدا شد که شنونده معتقد بود که جابجایی شی توسط گوینده که دستورالعمل‌ها را می‌دهد شناخته شده است. بنابراین، پارادایم دنیای بصری برای بررسی تأثیرات موقعیتی بر پردازش زبان مناسب است.

3.2.2. استنتاج عملی

مطالعات متعددی از این پارادایم برای پرداختن به دوره زمانی استنتاج‌های عمل گرایانه استفاده کرده‌اند، با تمرکز بر اصول کلاسیک گریس (گریس، 1975) مانند حداکثر کمیت: ارائه اطلاعات به اندازه لازم و نه بیشتر. این اصل حکم می‌کند که از توصیف بیش از حد باید اجتناب شود. در واقع، انگلهارت، بیلی و فریرا (2006) دریافتند که توصیف بیش از حد منجر به حرکات چشم می‌شود که نشان دهنده سردرگمی در سمت شنونده است. از سوی دیگر، سخنرانان نباید اطلاعات کمی ارائه دهند: ارجاع به یک لیوان خاص در زمینه عینک‌های دیگر باید شامل اطلاعاتی باشد که شیشه مورد نظر را به طور منحصر به فردی از عینک‌های دیگر متمایز کند (به عنوان مثال، یک صفت: “شیشه بلند”). . Sedivy، Tanenhaus، Chambers و Carlson (1999) نشان دادند که وقتی چنین صفتی توسط گوینده ارائه می‌شود، نشانه عملی به سرعت در نظر گرفته می‌شود.

با شنیدن «لیوان بلند را بردارید»، شرکت‌کنندگان سریع‌تر نگاه چشم خود را به سمت شی مورد نظر هدایت می‌کردند، زمانی که یک «شیعه کنتراست» (یک لیوان کوتاه) نیز در نمایشگر وجود داشت تا زمانی که هیچ جسم کنتراست در صفحه نمایش وجود نداشت. آنها این کار را در زمان شروع اسم یا حتی قبل از آن انجام دادند و از دیدگاه‌های افزایشی پردازش زبان پشتیبانی می‌کردند که در آن استنتاج‌های عمل‌گرایانه به سرعت استخراج می‌شوند. یک مطالعه اخیر (گرودنر و سدیوی، در حال چاپ) نشان داد که این استنتاج کنتراست تنها زمانی انجام می‌شود که گوینده قابل اعتماد باشد: در مورد یک سخنران غیرقابل اعتماد که «مشکلات زبانی و اجتماعی» را جعل می‌کند، شرکت‌کنندگان از این تضاد کمکی نمی‌کردند، این نشان می‌دهد که که فرآیندهای مورد استفاده در این مطالعات به جای استفاده خودکار دانش ذخیره شده از قراردادها، استنتاج‌های عملی واقعی بودند.

حتی اگر استنباط‌های عملی ممکن است به سرعت استخراج شوند، در مراحل اولیه به احتمال زیاد درجاتی از پردازش واژگانی – معنایی ضروری است (یعنی ممکن است بین پردازش واژگانی – معنایی و عملی تاخیر وجود داشته باشد). هوانگ و اسندکر (2009a) به منظور استفاده از این رابط معنایی – عمل شناسی، از شرکت کنندگان خواستند که در حین مشاهده نمایشگری که در آن یک دختر دو تا از چهار جوراب داشت به جملاتی مانند “به دختری که جوراب دارد اشاره کنید” گوش دهند؛ و یک دختر دیگر سه توپ از سه توپ فوتبال (یک رقیب همپوشانی با شروع واجی) داشت. معنای واژگانی «بعضی» به کمیت بیشتر از یک دلالت می‌کند (یعنی بعضی و احتمالاً همه)، اما این کلمه معمولاً با یک «مرز بالایی» (یعنی بعضی و نه همه) از طریق یک تعبیر می‌شود.

استنباط عمل گرایانه: «بعضی» به معنای همه نیست، زیرا اگر گوینده در موقعیتی بود که «همه» را بگوید، از «بعضی» استفاده نمی‌کرد. آن‌ها دریافتند که نسبت نگاه‌ها به هدف در هنگام ارائه «بعضی» کمتر از جایگزینی آن با همه یا با اعداد (دو و سه) بود که دارای معنای دقیق هستند (هوانگ، اسپلکه و اسندکر، 2005). این نشان می‌دهد که محاسبه استنتاج‌های عملی زمان می‌برد. در واقع، به جای محاسبه استنتاج عملی، شرکت کنندگان منتظر ماندند تا اطلاعات صوتی هدف را ابهام بخشد (توپ‌های فوتبال یا جوراب؛ به Panizz مراجعه کنید.

a، Chierchia، Huang & Snedeker، در حال چاپ، برای نتیجه مشابه)، اما با گذشت زمان بیشتر بین معرفی ابهام و ابهام‌زدایی، استنباط متأخر قابل مشاهده بود (Huang & Snedeker، در حال چاپ). دیدگاهی که در آن استنباط عمل‌گرایانه زمان‌بر و بالقوه پرتلاش است، توسط تحقیقات توسعه‌ای نیز پشتیبانی می‌شود که نشان می‌دهد کودکان پنج‌ساله نمی‌توانند استنتاج‌های عمل‌گرایانه خاصی را استخراج کنند و فقط محتوای معنایی کمی‌سازها را تفسیر می‌کنند (هوانگ و اسندکر، 2009b).

با این حال، یک مطالعه اخیر نشان داد که پشتیبانی زمینه‌ای کافی، از جمله دستورالعملی که برجستگی مجموعه آیتم‌ها را افزایش می‌دهد، می‌تواند تاخیرهای استنتاج عملی را حذف کند (Grodner, Klein, Carbary, & Tanenhaus, 2010) و این امکان را ایجاد می‌کند که افزایش زمان پردازش برای صفت‌های اسکالر مشاهده شده در مطالعات قبلی نه در سطح استنتاج، بلکه در سطح ادغام استنتاج با زمینه ایجاد می‌شوند.

3.2.3. گفتگو

مجموعه دیگری از تحقیقات پارادایم دنیای بصری را در موقعیت‌های گفتگو به کار برده است. براون اشمیت و تاننهاس (2008) یک وظیفه ارتباطی ارجاعی را به کار گرفتند که در آن جفت شرکت‌کنندگان با هم مجموعه‌ای از اشیاء را ترتیب می‌دادند که هر کدام بر روی تابلوی خود بودند. آنها فرض کردند که هماهنگی که در طول مکالمه پدیدار می‌شود و به‌عنوان تسهیل کننده درک شناخته می‌شود (به عنوان مثال، شوبر و کلارک، 1989) حوزه ارجاعی را به ناحیه کوچکی از تابلو محدود می‌کند؛ و این می‌تواند به صورت آنلاین مشاهده شود.

در واقع، پس از شنیدن یک اسم (مثلاً ابر)، نگاه به رقبای گروه (مثلاً دلقک) در طول مکالمه بدون اسکریپت در مقایسه با دستورالعمل‌های آزمایشگر (مثلاً «به ابر نگاه کن») بسیار کمتر شد، که نشان می‌دهد رقبای گروه خارج از محدوده بودند. دامنه ارجاعی ایجاد شده در مکالمه (مثلاً از طریق اکتشافی مرتبط با کار یا نزدیکی به آخرین شیء ذکر شده) در مقایسه با دستورالعمل‌های آزمایشگر که در آن چنین دامنه ارجاعی مشخص نشده است.

پارادایم دنیای بصری همچنین برای مطالعه نحوه استفاده سخنرانان و شنوندگان از دانش مشترک یا زمینه مشترک استفاده شده است. این پارادایم به اشیاء اجازه می‌دهد تا در زمین مشترک، قابل مشاهده برای هر دو شرکت کننده، یا در زمین ممتاز، قابل مشاهده برای تنها یکی از شرکت کنندگان قرار گیرند. این ویژگی برای بررسی اینکه در کدام نقطه از زمان از زمین مشترک برای حل ارجاعات مبهم استفاده می‌شود، استفاده شده است. به عبارت دیگر، آیا ما فوراً دانش طرفین خود را در نظر می‌گیریم یا این یک فرآیند دیرهنگام و شاید پر زحمت است؟

برخی از مطالعات شواهدی برای استفاده فوری مخاطبان از زمینه مشترک ارائه کردند. هانا و همکاران (2003) به شرکت کنندگان دستورالعمل‌هایی مانند “حالا مثلث آبی را روی مثلث قرمز قرار دهید” ارائه کرد. صفحه نمایش، به غیر از هدف (مثلث قرمز در زمین مشترک)، مثلث قرمز دیگری بود که در زمین ممتاز مخاطب قرار داشت (یعنی فقط مخاطب می‌توانست آن را ببیند). Hanna، Tanenhaus و Trueswell مشاهده کردند که 400 ms پس از شروع صفت (“قرمز”) مخاطبین در مقایسه با رقیب زمینی ممتاز، احتمال بیشتری برای نگاه کردن به هدف مشترک در زمین داشتند (همچنین نگاه کنید به Hanna & Tanenhaus، 2004؛ و موارد مشابه. اثرات با کودکان پنج و شش ساله، Nadig & Sedivy، 2002). بنابراین، مخاطبان به سرعت زمینه‌های مشترک را در نظر می‌گیرند و ترجیح می‌دهند به اشیایی که گوینده می‌تواند ببیند، در مقابل اشیایی که گوینده نمی‌تواند ببیند و بنابراین نمی‌توانست به آن‌ها رجوع کند، ترجیح می‌دهند.

در مقابل، مطالعات دیگر از این ایده حمایت می‌کنند که مخاطبان درک را به طور کامل به زمینه‌های مشترک محدود نمی‌کنند؛ و حتی گاهی اوقات مراجع را در زمینه ممتاز خود انتخاب می‌کنند. به‌عنوان مثال، در مطالعه‌ای توسط کیسار و همکاران. (2000) مخاطبین مجبور بودند دستورات گوینده را برای جابجایی اشیاء در یک آرایه تفسیر کنند. در آزمایش‌های بحرانی، سه نوع از یک شی در آرایه وجود داشت (به عنوان مثال، یک شمع کوچک، یک متوسط؛ و یک شمع بزرگ، همراه با یک حواس‌پرنده نامرتبط)، با یک شی (مثلاً کوچکترین شمع) در آرایه مخاطبین زمین ممتاز؛ وقتی از مخاطبان خواسته شد که «شمع کوچک» را جابجا کنند، مخاطبان زمانی که رقیب بود (مثلاً کوچکترین شمع) در زمین ممتاز، در مقایسه با زمانی که حواس‌پرتی بود، طولانی‌تر و بیشتر به آن نگاه می‌کردند.

کیسار و همکاران دریافتند که در یک پنجم از آزمایش‌ها، شنوندگان حتی شی ناخواسته را جابه‌جا می‌کنند؛ و نشان می‌دهد که آنها گاهی از یک اکتشافی «خودمحور» استفاده می‌کنند که زمینه‌های مشترک را در نظر نمی‌گیرد (کیسار، لین؛ و بار، 2003، برای یک نتیجه مشابه؛ برای بررسی، به Barr & Keysar، 2006 مراجعه کنید.

با این حال، نگاه به مراجع در زمینه ممتاز نیز می‌تواند نشان دهد که زمینه مشترک در واقع در نظر گرفته شده است: هنگامی که از شنوندگان سؤالی در مورد شیئی که شریک نمی‌تواند ببیند پرسیده می‌شود، مناسب است که موجودیت‌ها را در زمین ممتاز بررسی کنید. براون اشمیت و همکاران (2008) به شرکت کنندگان دستور داد تا نقاشی‌های حیوانات را با لوازم جانبی مختلف در یک آرایه مجدداً مرتب کنند، در حالی که برخی از شکاف‌ها در آرایه برای یکی از شرکت کنندگان مسدود شده است؛ وقتی از مخاطبان سؤال شد یک سؤال (مثلاً «بالای گاو با کلاه چیست؟»)، احتمال بیشتری داشت که نگاه خود را به سمت شکاف‌های (ممتاز) خود معطوف کنند تا شکاف‌های مشترک در زمین‌های مشترک. این به سرعت پس از شروع کلمه انتقادی (به عنوان مثال، “گاو”) اتفاق افتاد، که نشان می‌دهد شنوندگان بلافاصله بین زمینه مشترک و ممتاز تمایز قائل می‌شوند.

این مطالعات نشان می‌دهد که چگونه می‌توان از پارادایم ردیابی چشم جهان بصری برای مطالعه فرآیندهای سطح بالا که نقش مهمی در مکالمات طبیعی بازی می‌کنند، استفاده کرد. با این حال، با توجه به استفاده طرفین از زمینه‌های مشترک، نتایج تا حدودی متناقض است. دلایل متعددی برای این عدم همگرایی در ادبیات پیشنهاد شده است. به‌عنوان مثال، برخی از مطالعات که استفاده اولیه از زمینه مشترک را نشان می‌دهند، از پارادایم‌های تعاملی با دو شرکت‌کننده ساده‌لوح استفاده کرده‌اند (به عنوان مثال، براون اشمیت و همکاران، 2008)، در حالی که مطالعاتی که دیدگاهی در ابتدا خود محوری را نشان می‌دهند، از یک کارگردان همسو استفاده کرده‌اند (کیسار و همکاران، 2000) یا جملات از پیش ضبط شده همراه با یک داستان پوششی با هدف متقاعد کردن شرکت کنندگان که به یک شرکت کننده ساده لوح گوش می‌دهند که از طریق دستگاه مخابره داخلی با آنها صحبت می‌کند (Barr, 2008a, Barr, 2008b). پیشنهاد شده است که استفاده از کنفدراسیون ممکن است «بسیاری از فرآیندهای مشترک طبیعی را که در مکالمه تعاملی رخ می‌دهند» حذف کند (Tanenhaus & Brown-Schmidt, 2008, p. 1114) و اینکه «اثرات دیدگاه احتمالاً در کارهایی قوی‌تر است.

شرکت کنندگان اهداف مشترکی دارند، زمینه‌های مشترک به طور مشترک ایجاد می‌شود؛ و تبادل اطلاعات توسط هر دو طرف مذاکره می‌شود. در واقع، شواهدی وجود دارد که نشان می‌دهد شرکت‌کنندگان در تعامل با دیگر شرکت‌کنندگان ساده‌لوح به‌طور سیستماتیک‌تر به حساب می‌آورند تا با همفکران (به شوبر و برنان، 2003، برای بحث براون و دل، 1987؛ و لاکریج و برنان، 2001 مراجعه کنید). براون اشمیت (2009a) همچنین نشان داد که یک اثر تسهیل‌کننده خاص شریک آنلاین از «اصطلاحات تعبیه‌شده» (نام‌های مشترک که در طول مکالمه ایجاد می‌شوند) تنها در طول یک کار تعاملی و نه در گوش دادن به ضبط‌ها به دست می‌آید؛ و دوباره از این ایده حمایت می‌کند که تعامل در ارزیابی اثرات زمینه مشترک مهم است. با این حال، تعامل نمی‌تواند همه اختلافات بین مطالعات را توضیح دهد، زیرا برخی از مطالعات که اثرات اولیه زمینه مشترک را نشان می‌دهد، از گفته‌های همفکری (هانا و تاننهاس، 2004، هانا و همکاران، 2003) یا تا حدی متنی (هلر، گرودنر؛ و تاننهاس، 2008) استفاده می‌کنند.)

پیشنهاد دیگر این است که نوع ابهام مورد استفاده ممکن است تفاوت‌ها را توضیح دهد. به‌عنوان مثال، هانا و همکاران. (2003) از اشیاء یکسان (به عنوان مثال، مثلث قرمز) در زمین مشترک و ممتاز استفاده کرد. در این مورد؛ ورودی زبانی هرگز مرجع را ابهام نمی‌کند و بنابراین باید با دانش زمینه مشترک مشورت کرد، شاید شنوندگان را تشویق به کنار گذاشتن هرگونه استراتژی خود محوری کند (همانطور که Barr, 2008a, Barr, 2008b, p. 20 پیشنهاد کرد). در مقابل، کیسار و همکاران. (2000) از آیتم‌های مشترک متفاوتی در مقایسه با زمین ممتاز استفاده کرد، با این که آیتم در زمین ممتاز همیشه بهترین تطابق را با ورودی زبانی داشت (به عنوان مثال، هنگامی که دستور حرکت دادن شمع کوچک، کوچکترین شمع در زمین ممتاز بود؛ و شمع‌ها در زمینه مشترک اندازه متوسط (هدف) و اندازه بزرگ بود. همانطور که هانا و همکاران اشاره کردند. (2003، ص 45)، این تطابق می‌توانست نادیده گرفتن موارد در زمین ممتاز را برای مخاطبان دشوارتر کند.

دو مطالعه (بار، 2008 الف، بار، 2008 ب، هلر و همکاران، 2008؛ مشابه براون اشمیت و همکاران، 2008) دستکاری ظریف تری را انجام دادند: ابهامات موقت. هلر، گرودنر و تاننهاس (2008) (ر. ک. Sedivy et al., 1999) به شنوندگان دستور دادند که مرجع یک عبارت را با صفت مقیاسی بیابند (مثلاً “اردک بزرگ را بردارید” در حالی که یک اردک بزرگ و یک اردک کوچک حضور دارند. در زمینه مشترک همراه با «تضاد رقیب» (مثلاً یک جعبه بزرگ و یک جعبه کوچک) در زمین ممتازشان.

شنوندگان هدف (مثلاً اردک بزرگ) را پیش‌بینی می‌کردند در حالی که علی‌رغم وجود تضاد رقیب، «بزرگ» را می‌شنیدند. در مقابل، Barr, 2008a, Barr, 2008b دریافتند که وقتی شنوندگان با یک عبارت ارجاع موقت مبهم (مثلاً سطل) مواجه می‌شوند، میزان تداخل یک رقیب واج شناختی (مثلاً سگک) ) بدون در نظر گرفتن اینکه رقیب در زمین مشترک یا ممتاز بود معادل بود. قبل از شروع عبارت ارجاع، شرکت کنندگان ترجیحاً به اشیاء مشترک نگاه می‌کردند؛ اما ظاهراً این اطلاعات در طول دوره بعدی مورد استفاده قرار نگرفت. فرآیندهای خروج (برای مشاهده مشابه به کیسار و همکاران، 2000، آزمایش 2 مراجعه کنید). در حال حاضر، مشخص نیست که آیا تفکیک مشابهی بین پیش‌بینی و یکپارچگی نیز می‌تواند نتایج هلر و همکاران را توضیح دهد. شاید مطالعه‌ای با ترکیب صفت اسکالر و دستکاری‌های همگروهی بتواند این موضوع را روشن کند. در نهایت، متفاوت است.

نتایج بین نتایج به دست آمده در مطالعات موجود ممکن است به دلیل تفاوت در نمونه‌های آزمایش شده باشد. براون اشمیت (2009b) نشان داد که تفاوت‌های فردی در توانایی کنترل بازدارنده، حساسیت مخاطبان به زمینه‌های مشترک را پیش‌بینی می‌کند: هر چه کنترل بازدارندگی شرکت‌کنندگان بهتر باشد، کمتر احتمال دارد که بر رقبا متمرکز شوند.

به طور کلی، اختلاف در نتایج مطالعات مشابه دوباره بر اهمیت استفاده کنندگان از پارادایم دنیای بصری تأکید می‌کند که دقیقاً چگونه اطلاعات زبانی ناشی از انواع ابهامات و اطلاعات بصری توسط ترکیبات مختلف اشیاء در بصری ارائه می‌شود. نمایش، همراه با جنبه‌های اجتماعی وضعیت آزمون ممکن است بر نتایج تأثیر بگذارد.

3.3. عروض و ناروانی

چندین مطالعه از الگوی دنیای بصری برای بررسی چگونگی استفاده از ویژگی‌های سیگنال گفتار برای هدایت وضوح ابهام نحوی و تجزیه و تحلیل ساختار اطلاعات استفاده کرده‌اند. اولین مورد از این ویژگی‌ها مربوط به ویژگی‌های عروضی جملات است و سایر ناروانی‌ها.

با توجه به خط تحقیق در مورد عروض، Dahan، Tanenhaus و Chambers (2002) نشان دادند که شنوندگان می‌توانند از لحن برای تعیین اینکه آیا گوینده یک مرجع جدید معرفی می‌کند یا دوباره به مرجع ذکر شده قبلی اشاره می‌کند (به عنوان مثال، “شمع را بالای صفحه قرار دهید” استفاده کنند. مثلث. حالا شمع را بگذارید… “). آنها دریافتند که شنوندگان از لهجه صمیمی حروف صدادار برای مستقیم نگاه کردن به چشم استفاده می‌کنند: شرکت‌کنندگان هنگام شنیدن کلمات با حروف صدادار تاکیدی تمایل داشتند به یک شی جدید (یا غیر متمرکز) نگاه کنند، در حالی که وقتی کلماتی را با حروف صدادار بدون تکیه می‌شنیدند، تمایل داشتند به شیء جدید (یا غیر متمرکز) نگاه کنند. موضوعی که قبلاً ذکر شد (یا برجسته‌ترین)؛ وبر، براون و کراکر (2006) (همچنین به Ito & Speer، 2008 مراجعه کنید) نشان دادند که شنوندگان نگاه چشم خود را زودتر به سمت تصویر مرجع متعلق به یک جفت کنتراست (“قیچی قرمز”، زمانی که قیچی قرمز و قیچی بنفش در آن وجود داشت تغییر دادند. نمایش) زمانی که لهجه متضاد روی صفت وجود داشت نسبت به زمانی که صفت تاکید نداشت (همچنین به Watson، Tanenhaus و Gunlogson، 2008 مراجعه کنید).

Snedeker و Trueswell (2003) نشان دادند که عروض بر تفسیر شنوندگان از عبارات مبهم نحوی (مثلاً “به قورباغه با گل ضربه بزنید”) حتی قبل از شروع حرف اضافه پیوسته مبهم تأثیر می‌گذارد. بنابراین، مشابه استفاده از اطلاعات نحوی و معنایی و دانش جهانی (به بخش 3. 1 مراجعه کنید)، به نظر می‌رسد که شنوندگان می‌توانند از اطلاعات عروضی برای پیش‌بینی ورودی‌های زبانی آینده استفاده کنند. به طور کلی، این مطالعات نشان می‌دهد که شنوندگان می‌توانند نشانه‌های عروضی و زمینه بصری را برای تعیین مرجع مورد نظر ترکیب کنند؛ و این کار را بلافاصله انجام می‌دهند، در حالی که ورودی گفتاری هنوز در طول زمان آشکار می‌شود.

خط دیگری از تحقیقات نقش ناروانی سخنران را بررسی کرده است. آرنولد، آلتمن، فاگنانو و تاننهوس (2004) بررسی کردند که آیا شنوندگان از افزایش احتمال ناهمخوانی سخنرانان استفاده می‌کنند (به عنوان مثال، به جای شمع، شمع تو را می‌گویند) در حالی که به اطلاعات جدید در مقایسه با اطلاعات داده شده اشاره می‌کنند (Arnold، Wasow، Losongco)؛ و Ginstrom، 2000) به‌عنوان نشانه‌ای برای ساختار اطلاعات گفته. آنها دریافتند که در مقایسه با گفتار روان، ناروانی‌ها منجر به نگاه‌های بیشتر به موضوعات جدید گفتمانی می‌شود.

علاوه بر این، دستورالعمل‌های ناهمگون منجر به نگاه‌های کمتری به یک رقیب همگروهی (مثلاً شتر) از یک هدف گفتمان‌شده (مثلاً شمع) در مقایسه با دستورالعمل‌های روان شد (همچنین به آرنولد، فاگنانو و تاننهاس، 2003 مراجعه کنید). این داده‌ها نشان می‌دهند که ناروانی‌ها مخاطب را نسبت به در نظر گرفتن اشیاء گفتمان جدید به‌عنوان مرجع سوگیری می‌کنند. بار و سیف الدینی پور (2010) این سوگیری را در یک مطالعه ردیابی موش با استفاده از صدای زن و مرد بررسی کردند و دریافتند که این سوگیری مختص گوینده است: سوگیری نه تنها به داده بودن از دیدگاه شنونده، بلکه به آنچه بستگی دارد. برای گوینده فعلی قدیمی و جدید بود. آرنولد، هادسون کام و تاننهاس (2007) نشان دادند که علاوه بر سوگیری نسبت به اشیاء جدید، ناهمواری‌ها همچنین می‌توانند منجر به سوگیری برای نگاه کردن به اشیاء ناآشنا در مقایسه با اشیاء آشنا شوند. این تأثیر زمانی کاهش یافت که به شرکت کنندگان گفته شد که گوینده از اگنوزیا شی رنج می‌برد، که نشان می‌دهد اثر آشنایی منعکس کننده استنباط شرکت کنندگان در مورد علت ناروانی است.

با تکیه بر یافته‌های قبلی مبنی بر اینکه ناهمواری‌ها به احتمال زیاد قبل از یک مؤلفه نحوی پیچیده رخ می‌دهند (به عنوان مثال، هاوکینز، 1971)، بیلی و فریرا (2007) بررسی کردند که آیا ناهمسانی‌ها به‌عنوان نشانه‌هایی برای ابهام‌زدایی ساختارهای نحوی استفاده می‌شوند یا خیر، آنها جملاتی را با ناهماهنگی در ساختارهای نحوی ارائه کردند. موقعیت‌های مختلف (به عنوان مثال، «سیب را روی حوله در جعبه قرار دهید» در مقابل «سیب را روی حوله اوه اوه در جعبه قرار دهید»). اگرچه شرکت‌کنندگان اقدامات درخواستی را به درستی انجام دادند، اما بیشتر به حوله‌ای نگاه کردند که در اواخر در یک جعبه قرار داده شده بود تا شرایط ناهمخوانی اولیه، که منعکس کننده استفاده از ناروانی برای ابهام‌زدایی از ساختار نحوی است.

در مجموع، مطالعات قبلاً مورد بحث قرار گرفت، بخشی از یک روند کلی (همچنین در کار بر روی زمینه‌های مشترک بررسی شده در بخش قبل منعکس شده است) برای فراتر رفتن از گفته‌های متنی و بررسی چگونگی درک مردم از گفته‌های طبیعی‌تر است. تاکنون نتایج نشان می‌دهد که شنوندگان از جنبه‌هایی از سیگنال گفتار که به طور سنتی مرتبط تلقی نمی‌شدند، مانند ناروانی‌ها، به‌عنوان نشانه‌هایی برای فرآیندهای زبانی اصلی مانند حل ابهام نحوی و تحلیل ساختار اطلاعات استفاده می‌کنند.

3.4. نسبیت زبانی

رابطه بین زبان و شناخت تقریباً 100 سال است که به شدت مورد بحث بوده است. رفتارگرایان (به عنوان مثال؛ واتسون، 1925) تمایل داشتند که باور کنند که زبان و تفکر اساساً یک چیز هستند. مطالعه میان زبانی باعث شد تا زبان شناسان و انسان شناسان پیشنهاد کنند که تفکر توسط عوامل خاص زبان تعیین می‌شود (به گامپرز و لوینسون، 1996، لوسی، 1992، ساپیر، 1921؛ وورف، 1956 مراجعه کنید). در مقابل، دانشمندان علوم شناختی معمولاً فرض می‌کنند که زبان از ادراک و شناخت متمایز است (مانند چامسکی، 1957، چامسکی، 1965). اخیراً محققان شروع به بررسی تجربی این موضوع کرده‌اند.

به‌عنوان مثال، در حوزه رنگ، شواهدی جمع آوری شده است که نشان می‌دهد زبان به طور غیرارادی در طی کارهای ادراکی ساده به کار گرفته می‌شود (به عنوان مثال، دیویدوف و همکاران، 1999، گیلبرت و همکاران، 2006، رابرسون و همکاران، 2000، تان و همکاران. ، 2008؛ ویناور و همکاران، 2007). در مقابل، در حوزه حرکت، هیچ اثر زبان بر شناخت یافت نشد (ر. ک. جناری و همکاران، 2002، پاپافرگو و همکاران، 2002، پاپافرگو و همکاران، 2006). پارادایم دنیای بصری یک رویکرد تجربی امیدوارکننده برای بررسی این موضوع است.

پاپافرگو، هالبرت و تروزول (2008) بررسی کردند که چگونه گویشوران بومی یونانی و انگلیسی هنگام مشاهده رویدادهای حرکتی توجه خود را به خود اختصاص می‌دهند. یونانی و انگلیسی زبان‌هایی هستند که در رمزگذاری حرکت محدود متفاوت هستند: یونانی زبانان تمایل دارند از افعال مسیر (مانند صعود و عبور) استفاده کنند، اما انگلیسی زبانان عمدتاً از افعال شیوه (مانند سر خوردن، راه رفتن و دویدن) استفاده می‌کنند. پاپافرگو و همکاران (2008) حرکات چشم شرکت‌کنندگانی را که رویدادهای حرکتی را در طول دو کار مشاهده می‌کردند، ثبت کرد، یک وظیفه توصیف شفاهی و یک کار حافظه (مشاهده آزاد). در طول تکلیف توصیف شفاهی، تفاوت‌های متقابل زبانی معنی‌داری یافت شد. سخنرانان به مؤلفه‌های رویداد که معمولاً به زبان آنها کدگذاری شده بود، نگاه کردند. با این حال، در طول کار حافظه (مشاهده آزاد) تفاوتی در نگاه چشم مشاهده نشد. پاپافرگو و همکاران (2008) به این نتیجه رسیدند که تأثیر زبان بر شناخت تنها زمانی ایجاد می‌شود که زبان برای دستیابی به کار به کار گرفته شود، اما به طور کلی در طول ادراک رویداد نه.

پاپافرگو و تروزول (2010) حرکات چشم گویشوران بومی یونانی و انگلیسی را تحت شرایط بار شناختی مقایسه کردند. هنگامی که رمزگذاری رویداد دشوار بود، زیرا شرکت‌کنندگان ملزم به شرکت در یک کار غیرزبانی همزمان (ضربه زدن) بودند، آنها به مؤلفه‌های رویداد که مشخصه در زبانشان کدگذاری شده بود، بیشتر نگاه می‌کردند (یعنی انگلیسی‌زبانان ترجیح می‌دادند نقطه پایان مسیر را به جای نحوه منطقه حرکت بررسی کنند. در حالی که یونانی زبانان الگوی مخالف را نشان دادند). این اثر خاص زبان در زمانی که کار همزمان وجود نداشت یا زمانی که کار همزمان نیاز به استفاده از زبان داشت (شمارش با صدای بلند) وجود نداشت.

در آزمایش دوم، کار همزمان (شمارش با صدای بلند) به تأخیر افتاد (یعنی شرکت‌کنندگان 3 ثانیه فرصت داشتند تا قبل از شروع شمارش، رویداد حرکت را بررسی کنند) و جلوه‌های خاص زبان درست قبل از درگیر شدن در کار ظاهر شد (اما نه قبل از آن) . به طور کلی، این داده‌ها نشان می‌دهند که تأثیرات خاص زبان بر توجه تنها در موقعیت‌های معدودی پدیدار می‌شوند و به دشواری درک شرکت‌کنندگان از کار مرتبط است. پاپافرگو و تروزول (2010) به این نتیجه رسیدند که زبان را می‌توان به صورت اختیاری برای رمزگذاری رویدادها به کار گرفت، اما عوامل خاص زبان، سوگیری‌های اصلی را در درک رویداد و حافظه شکل نمی‌دهند.

Huettig، Chen، Bowerman و Majid (2010) مسائل مشابهی را با بررسی اینکه چگونه طبقه‌بندی‌کننده‌های اعداد ماندارین، یک مقوله دستوری در آن زبان، بر نگاه چشم شنوندگان تأثیر می‌گذارند، بررسی کردند. اگر دسته‌بندی‌کننده‌های خاص زبان بر پردازش تأثیر می‌گذارند، شرکت‌کنندگان با شنیدن اسم هدف باید توجه آشکار را به اشیایی معطوف کنند که طبقه‌بندی‌کننده یکسانی دارند، حتی زمانی که طبقه‌بندی‌کننده به‌صراحت در جریان گفتار وجود ندارد. به‌عنوان مثال، با شنیدن کلمه ماندارین برای قیچی، آنها باید بیشتر به تصویر یک صندلی نگاه کنند تا تصویر یک شی غیر مرتبط، زیرا اسامی قیچی و صندلی دارای طبقه‌بندی ba3 هستند. هنگامی که سخنرانان ماندارین جمله‌ای را می‌شنیدند که شامل طبقه بندی کننده بود (مثلاً “قیچی ba3 “) به طور قابل توجهی بیشتر به اشیاء منطبق کننده طبقه بندی کننده (مثلاً صندلی) نگاه می‌کردند تا به اشیاء حواس پرت کننده. با این حال؛ وقتی طبقه‌بندی‌کننده در جمله گفتاری وجود نداشت (مثلاً «قیچی»)، اشیاء مطابق با طبقه‌بندی (مثلاً صندلی) نسبت به اشیاء حواس‌پرتی ثابت نمی‌شوند. این نشان می‌دهد که تمایز طبقه بندی کننده بر رفتار نگرش چشم تأثیر می‌گذارد.

ior، اما فقط زمانی که طبقه بندی کننده‌ها در جریان گفتار وجود داشته باشند. بنابراین این مطالعه نشان می‌دهد که تأثیرات خاص زبان بر توجه بصری تنها زمانی ایجاد می‌شود که تمایز خاص زبان تولید یا درک شود، اما نه لزوماً در شناخت به‌طور کلی‌تر (ر. ک. اسلوبین، 1996، اسلوبین، 2003).

4. مطالعات پردازش زبان در سطح کلمه

تعداد زیادی از تحقیقات جهان بصری بر پردازش واژگانی متمرکز شده است. حوزه‌های اصلی مورد علاقه عبارتند از پردازش واج‌شناختی و پردازش جزئیات آوایی ظریف، تشخیص دو زبانه کلمه، تأثیرات بافت بر تشخیص واژه گفتاری، پردازش معنایی و مفهومی سطح کلمه؛ و سطوح بازنمایی که در آن بازنمایی‌های مشتق شده بصری با مشتق‌شده از زبان تطبیق داده می‌شوند. بازنمایی در طول تعاملات زبان و بینایی.

4.1. پردازش آوایی / آوایی

مسائل کلیدی در این زمینه، دوره زمانی و پویایی تشخیص کلمات گفتاری؛ و پردازش نشانه‌های آوایی و جزئیات آوایی است. به‌عنوان مثال، آلوپنا و همکاران. (1998) بررسی کرد که آیا در حین تشخیص کلمه گفتاری، نامزدهای واژگانی بالقوه با شروع ناهماهنگ فعال می‌شوند یا خیر (یعنی آیا با شنیدن «بشق»، کلماتی مانند «گوینده» نیز فعال می‌شوند). مدتهاست که شناخته شده است که نامزدهای واژگانی با همپوشانی واج شناختی کلمه – ابتدا (رقبای همگروهی) به شدت برای تشخیص رقابت می‌کنند (مثلاً در شنیدن دنباله گفتاری /k æ p.. / همه کلماتی که با این صداها شروع می‌شوند، مانند کاپیتان و اسیر). به صورت موازی فعال شد، Marslen-Wilson، 1987، Marslen-Wilson and Welsh، 1978). با این حال، مدل‌های نگاشت پیوسته تشخیص کلمه گفتاری (به عنوان مثال، TRACE، McClelland و Elman، 1986؛ و Shortlist، Norris، 1994) فرض می‌کنند که دسترسی واژگانی پیوسته است و بنابراین پیش‌بینی می‌کند که کلمات قافیه‌ای (مثلاً ” Beaker ” / ” Speaker “) همچنین باید حداقل ضعیف فعال شود.

شواهدی برای چنین اثرات رقیب قافیه از مطالعات زمان واکنش قطعی نیست (Connine و همکاران، 1993، Marslen-Wilson و Zwitserlood، 1989، Shillcock، 1990). در مطالعه دنیای بصری خود، آلوپنا و همکاران. از شرکت‌کنندگان خواسته بود که «لیوان را بردارید. اکنون آن را در زمینه نمایش بصری اشیاء از جمله، به‌عنوان مثال، یک فنجان، یک سوسک (رقیب همپوشانی شروع واجی)، یک گوینده (رقیب قافیه واجی)؛ و یک کالسکه (یک حواس پرتی نامرتبط) قرار دهید. آنها دریافتند که احتمال تثبیت هم به لیوان و هم در سوسک با شنیده شدن کلمه “بیکور” افزایش می‌یابد. همانطور که اطلاعات آکوستیک از “لیوان” شروع به عدم تطابق واج شناختی با “سوسک” کرد، احتمال نگاه به سوسک کاهش می‌یابد، زیرا احتمال نگاه به لیوان همچنان افزایش می‌یابد. با باز شدن انتهای کلمه “بشار” ظاهر به ” Speaker ” شروع به افزایش کرد. بنابراین، رقبای شروع کننده هدف زودتر (و شدیدتر) برای جلب توجه آشکار نسبت به رقبای قافیه رقابت کردند (همچنین رجوع کنید به Magnuson، Tanenhaus، Aslin و Dahan، 2003، برای نتایج مشابه با استفاده از واژگان مصنوعی).

این داده‌ها تأیید می‌کنند که اطلاعات صوتی در ابتدای کلمات گفتاری مهم‌تر از اطلاعات آکوستیک بعداً در کلمه هستند، اما همچنین نشان می‌دهند که همپوشانی واج‌شناختی شروع – تطابق با این حال انتخاب واژگانی را محدود می‌کند، همانطور که توسط TRACE پیش‌بینی شد (McClelland & Elman، 1986)؛ و فهرست نهایی B (نوریس و مک کوئین، 2008).

Magnuson، Dixon، Tanenhaus و Aslin (2007) اثرات فراوانی کلمه (همچنین رجوع کنید به Dahan، Magnuson؛ و Tanenhaus، 2001)، تراکم گروهی (یعنی تعداد کلماتی که در شروع کلمه با هم تداخل دارند) و تراکم همسایگی (یعنی تعداد کلماتی که تنها با یک واج در هر موقعیت کلمه با هدف مطابقت ندارند) در تثبیت شی هدف. آنها اشیاء هدف را با سه حواس پرت کننده نامرتبط نمایش دادند. رقبا نمایش داده نشدند. اهداف فرکانس بالا بیشتر و زودتر از اهداف فرکانس پایین تثبیت شدند.

اهداف با چگالی کوهورت بالا کمتر و دیرتر از اهداف با چگالی کوهورت کم تثبیت شدند. یک اثر متقاطع برای تراکم همسایگی وجود داشت: در اوایل کلمه، اهداف با تراکم همسایگی بالا بیشتر از اهداف با تراکم همسایگی کم ثابت می‌شدند، اما پس از جبران کلمه این اثر معکوس شد. این داده‌ها نشان می‌دهند که هم‌گروه‌های همسایگی و هم‌گروه‌های شناسایی ثابت نیستند، اما مجموعه‌های رقیب به‌طور پویا در طول زمان تغییر می‌کنند.

برخی از مطالعات جهان بصری نحوه برخورد شنوندگان با تأثیرات گفتار متصل و فرآیندهای گفتار غیررسمی را بررسی کرده‌اند. گفتار مکالمه شامل کاهش‌های واج‌شناختی بسیاری است (یعنی کلمات با واج‌های کمتر یا متفاوت نسبت به شکل متعارف خود تلفظ می‌شوند). میترر و مک کوئین (2009) نمایش‌های بصری را ارائه کردند که حاوی کلمات هلندی چاپ شده ” tas ” (کیف) یا “طعم” (لمس) و دو حواس پرتی بود. هنگامی که جمله هلندی (“… tas “) با کلمه هلندی ” boven ” (بالا) ادامه می‌یافت، بیشتر از زمانی که با کلمه ” naast ” ادامه می‌یافت، شنوندگان کلمات پایانی /t/- را تثبیت می‌کردند (مثلاً tast). (بعد). میترر و مک کوئین (2009) استدلال کردند که این رفتار تولید گفتار هلندی را منعکس می‌کند زیرا کلمه نهایی /t/ در هلندی معمولاً قبل از /b/ بیشتر از قبل از /n/ کاهش می‌یابد. آنها به این نتیجه رسیدند که شنوندگان از دانش احتمالی در مورد تأثیر دنبال کردن زمینه پیش از واژگانی برای حل ابهامات واژگانی ناشی از فرآیندهای گفتار مداوم استفاده می‌کنند.

بروور (2010) از نسخه چاپی این پارادایم استفاده کرد تا بررسی کند که آیا تشخیص کلمه گفتاری در گفتار محاوره‌ای معمولی (شامل کاهش‌های گفتاری زیاد) با گفتار آزمایشگاهی دقیق بیان شده (همانطور که تقریباً در همه آزمایش‌های روان‌زبانی – از جمله دنیای بصری – استفاده می‌شود) متفاوت است یا خیر. بروور تشخیص اشکال متعارف کلمات محتوای با فرکانس متوسط تا بالا را در نمایشگرهای چهار کلمه که یکی از آنها هدف بود مقایسه کرد. بروور رقبای فرم متعارف (مثلاً “همراه” برای “رایانه” که از نظر واج شناختی در شروع با شکل متعارف بیشتر تداخل داشت تا با شکل کاهش یافته کلمه گفتاری) و رقبای فرم کاهش یافته (مثلا “دانش آموز” برای ” puter “) ایجاد کرد. ، که از نظر واج شناختی در ابتدا با شکل کاهش یافته بیشتر همپوشانی داشت تا با شکل متعارف کلمه گفتاری (“رایانه”).

شنوندگان به طور قابل توجهی توجه آشکارتری را به رقیب فرم متعارف نسبت به رقیب فرم کاهش یافته در شرایط گفتاری آزمایشگاهی و شرایط گفتاری گاه به گاه زمانی که جملات گفتاری حاوی هیچ کاهش گفتاری نبود، معطوف کردند. با این حال، زمانی که سخنرانی حاوی کاهش بود، تفاوتی بین تثبیت شنوندگان به فرم متعارف و رقبای فرم کاهش یافته وجود نداشت. بروور به این نتیجه رسید که در طول گفتار غیررسمی، که شامل مقدار زیادی از اشکال کلمات کاهش یافته است، شنوندگان نسبت به عدم تطابق صوتی بین ورودی و فرم متعارف نسبت به گفتار رسمی‌تر، تحمل بیشتری دارند. بنابراین این داده‌ها نشان می‌دهند که تنوع ذاتی گفتار (به عنوان مثال، قابلیت اطمینان و کیفیت کلی ورودی آوایی) می‌تواند بر رقابت واج‌شناختی تأثیر بگذارد.

چندین مطالعه دیگر پردازش جزئیات آوایی را بررسی کرده‌اند. راینیش، جسی و مک کوئین (2010) دریافتند که شرکت کنندگان در دنیای بصری می‌توانند از اطلاعات استرس واژگانی برای هدایت نگاه چشم استفاده کنند. آنها دریافتند که وقتی شرکت کنندگان کلماتی را با استرس اولیه می‌شنیدند (مثلاً “اختاپوس”) تثبیت کلمات هدف چاپ شده با تاکید بر هجای اول (مثلاً اختاپوس) بیشتر از تثبیت روی رقبای با استرس متفاوت بود (مثلاً اکتبر، با استرس در دوم). هجا) قبل از اینکه اطلاعات قسمتی بتواند کلمات را ابهام کند. نویسندگان به این نتیجه رسیدند که شنوندگان کلمات را با استفاده فوری از تمام اطلاعات مرتبط در سیگنال صوتی تشخیص می‌دهند.

مک موری و همکارانش از الگوی دنیای بصری استفاده کردند تا نشان دهند که تشخیص کلمات گفتاری حساسیت درجه‌بندی شده‌ای را نسبت به زمان شروع صدای درون دسته‌ای نشان می‌دهد (نشان قوی برای تشخیص صداهای صوتی مانند /b/ از صداهای بی‌صدا مانند /p/؛ مک موری و همکاران). ، 2002، مک موری و همکاران، 2008، مک موری و همکاران، 2009). سالوردا، داهان و مک کوئین (2003) مدت زمان یک سکانس آکوستیک مبهم را تغییر دادند (همچنین به Shatzman & McQueen، 2006 مراجعه کنید). در یکی از نمایش‌های خود، آنها تصاویری از یک تکه ژامبون، یک همستر و دو حواس پرتی نامرتبط ارائه کردند. آنها مشاهده کردند که شرکت کنندگان زمانی که اولین هجای کلمه مورد نظر (یعنی “همستر”) از ضبط کلمه تک هجای ” hamster ” ناشی می‌شود، بیشتر به تصویر ژامبون نگاه می‌کنند تا زمانی که از یک ضبط معمولی متفاوت از ” hamster ” نشات می‌گیرد. . سالوردا و همکاران دریافتند که این تأثیر به این دلیل است که دنباله آکوستیک ” ham ” در کلمه تک هجای ” ham ” طولانی‌تر از ” hamster ” است. آنها به این نتیجه رسیدند که شنوندگان می‌توانند از جزئیات آوایی ظریف مانند طولانی شدن قسمتی در هنگام تشخیص کلمه گفتاری استفاده کنند.

این نتایج نشان دهنده حساسیت شنوندگان به جزئیات آوایی در جملاتی است که می‌شنوند. با این حال، مشخص نیست که تا چه حد تأثیرات توسط فعال سازی قبلی نامزدهای واژگانی از مشاهده اشیاء (به عنوان مثال، از مشاهده ژامبون و همستر در مطالعه سالوردا و همکاران) ایجاد شده است. شاید بتوان از نشانه‌های ظریف در سیگنال گفتار در مطالعات جهان بصری به دلیل چنین پیش فعال سازی استفاده کرد، اما در غیاب پشتیبانی بصری قوی، احتمال استفاده از این نشانه‌ها بسیار کمتر است (اما رجوع کنید به Tanenhaus, Magnuson, Dahan, & Chambers, 2000، برای یک دیدگاه متفاوت).

وضعیت احتمالاً برای نشانه‌های قوی متفاوت است، مانند نشانه‌هایی که شروع یک کلمه را نشان می‌دهند، که احتمالاً حتی در غیاب پرایمینگ از تصاویر مهم هستند. مطالعه آلوپنا و همکاران. (1998) این نکته را نشان می‌دهد. بر خلاف اثرات همپوشانی شروع قوی، اثرات رقیب قافیه (بشق / بلندگو) کوچک هستند و معمولاً فقط از نظر آماری قابل توجه هستند (همچنین نگاه کنید به آلوپنا و همکاران، 1998، Huettig and McQueen، 2009، McQueen and Viebahn، 2007). بنابراین مشخص نیست که آیا رقبای قافیه نقش مهمی در پردازش گفتار در موقعیت‌های رایج‌تری دارند که در آن‌ها هیچ پیش فعال سازی کلمات نامزد وجود ندارد یا خیر. همانطور که قبلاً ذکر شد، قبل از نمایش اثرات رقیب قافیه در تشخیص کلمه گفتاری توسط آلوپنا و همکاران. (1998)، نشان دادن چنین اثراتی با استفاده از روش‌هایی مانند پرایمینگ متقاطع یا شنوایی – شنیداری دشوار بود. کانین و همکاران (1993) و آندروسکی، بلومشتاین و برتون (1994) متوجه شدند که پرایمینگ ضعیف اقلام ناسازگار آغازی تنها زمانی که اول و هدف بیش از یک یا دو ویژگی آوایی با هم تفاوت نداشته باشند.

آلوپنا و همکاران در مقابل، (1998)، رقیب قافیه را مورد توجه قرار داد، حتی اگر بیش از دو ویژگی با کلمه هدف تفاوت داشت. این امکان وجود دارد که روش دنیای بصری به دلیل فعال شدن از قبل رقبای قافیه از طریق پیش نمایش اشیاء بصری، برای تشخیص افکت‌های رقیب قافیه حساس‌تر باشد.

موقعیت‌هایی وجود دارد که در آن نشانه‌های ضعیف می‌توانند اهمیت ویژه‌ای پیدا کنند، برای مثال زمانی که در شرایط شنیداری پر سر و صدا، نشانه‌های شروع قوی کمتر قابل اعتماد می‌شوند. Huettig و McQueen (2009) اخیراً نشان دادند که چگونه نویز محیطی می‌تواند تأثیر همپوشانی قافیه را در هنگام تشخیص کلمات گفتاری افزایش دهد. آنها نتایج به دست آمده توسط آلوپنا و همکاران را تکرار کردند. با شرکت کنندگانی که رقبای شروع همپوشانی را بیشتر از رقبای همپوشانی قافیه تثبیت می‌کردند، اما قدرت این تمایل با کیفیت گفتار متفاوت بود. نسبت به خط مبنا با جملات بدون نویز، شرکت کنندگان کمتر به همپوشانی شروع و بیشتر به تصاویر همپوشانی قافیه نگاه می‌کردند که برخی از واج‌ها در جملات (اما نه در کلمات انتقادی) با نویز رادیویی AM جایگزین شدند. موقعیت نویز در کلمات اطراف (کلمه – ابتدای یا کلمه – واسطه) تاثیری نداشت. بنابراین سروصدا در جاهای دیگر جملات ظاهراً شواهدی را درباره کلمه انتقادی کمتر قابل اعتماد نشان می‌دهد: شنوندگان کمتر مطمئن می‌شوند که نام شروع – همپوشانی را شنیده‌اند و نام قافیه – همپوشانی را نشنیده‌اند. بنابراین، همان اطلاعات صوتی اثرات متفاوتی بر رقابت واج‌شناختی در حین تشخیص گفتاری دارد زیرا احتمال اعوجاج در محیط تغییر می‌کند.

در مجموع، تحقیقات دنیای بصری در مورد مطالعه پردازش زبان واج‌شناسی و آوایی نشان داده است که نشانه‌های آوایی ظریف می‌توانند فعال‌سازی واژگانی را تعدیل کنند. با این حال، این امکان وجود دارد که اثرات گزارش شده در مطالعات حداقل تا حدی ناشی از پیش فعال سازی نامزدهای واژگانی از مشاهده نمایش محرک باشد. این امر به ویژه در نسخه کلمه چاپی پارادایم محتمل است زیرا کلمات چاپ شده به آسانی اشکال واج شناختی مربوطه را فعال می‌کنند (ون اوردن، جانستون؛ و هیل، 1988؛ همچنین به فراست، 1998 مراجعه کنید). با در نظر گرفتن رقبا، ممکن است توجه به نشانه‌های خاص در سیگنال گفتار که خیلی زود بین آیتم‌های مختلف در نمایشگر ابهام می‌کنند، آسان‌تر شود. می‌توان تصور کرد که در سایر شرایط گوش دادن و موقعیت‌های مکالمه، نشانه‌های ظریف نقش ناچیزی ایفا می‌کنند.

4.2. تشخیص کلمه دو زبانه

یک مسئله مهم در تحقیقات دوزبانگی این است که آیا دسترسی واژگانی در دوزبانه‌ها به زبان خاص است (یعنی محدود به زبان مورد نظر) یا به طور متناوب هر دو زبان فعال هستند و ممکن است بر عملکرد تأثیر بگذارند. یک مطالعه اساسی در مورد این موضوع توسط اسپایوی و ماریان (1999) انجام شد. آنها به دوزبانه روسی – انگلیسی جملات روسی مانند «Poloji marku nije krestika» ( «مهر را زیر صلیب بگذارید» ارائه کردند. چهار شی در نمایش بصری وجود داشت: تمبر، یک نشانگر و دو حواس پرتی نامرتبط. از نظر انتقادی، شکل واج‌شناختی انگلیسی «مارکر» از نظر واج‌شناسی شبیه به کلمه روسی «مارکو» (مهر) است. با شنیدن کلمه روسی “مارکو”، شرکت کنندگان بیشتر به تصویر یک نشانگر نگاه می‌کردند تا به اشیاء حواس پرت کننده، اگرچه کلمه روسی نشانگر هیچ شباهتی واج شناختی با کلمه گفتاری ندارد. اسپایوی و ماریان (1999) به این نتیجه رسیدند که شنوندگان دوزبانه نمی‌توانند زبان دیگر خود را در شرایط تک زبانه غیرفعال کنند (همچنین نگاه کنید به ماریان و اسپایوی، 2003a، ماریان و اسپایوی، 2003b).

با این حال، مطالعات بعدی دنیای بصری نشان می‌دهد که این نتیجه ممکن است خیلی قوی باشد؛ وبر و کاتلر (2004) نتوانستند مدرکی پیدا کنند که نشان دهد شنوندگان هلندی هنگام گوش دادن به جملات هلندی کلمات انگلیسی را فعال می‌کنند (یعنی هنگام شنیدن کلمه هلندی ” deksel “، درپوش، آنها تصویر یک میز را بیشتر از تصاویر حواس پرتی نامرتبط ثابت نکردند. . لازم به ذکر است که نمونه‌های مورد استفاده در دو مطالعه کاملاً متفاوت بودند. دوزبانه روسی – انگلیسی در مطالعه اسپایوی و ماریان (1999) در نوجوانی به ایالات متحده مهاجرت کرده بودند، در یکی از دانشگاه‌های سطح بالای ایالات متحده تحصیل می‌کردند و کاملاً در زندگی روزمره خود با زبان انگلیسی غرق شده بودند. در مقابل، دوزبانه هلندی – انگلیسی در مطالعه وبر و کاتلر (2004) در هلند زندگی می‌کردند و بیشتر از هلندی در زندگی روزمره استفاده می‌کردند.

وبر و کاتلر (2004) همچنین جملات گفتاری انگلیسی را به شنوندگان هلندی و شنوندگان بومی بریتانیایی – انگلیسی ارائه کردند. از شرکت‌کنندگان خواسته شد تا روی آیتم‌های موجود در صفحه‌ای که مثلاً یک پاندا و یک مداد در آن وجود دارد، کلیک کنند. توجه داشته باشید که هلندی زبانان در تشخیص کلمات انگلیسی حاوی / æ / از کلمات حاوی / ε / مشکل دارند؛ وبر و کاتل دریافت که شنوندگان هلندی که «پاندا» می‌شنوند، بیشتر به مداد نگاه می‌کنند تا حواس پرت کننده‌های نامرتبط. شنوندگان انگلیسی این کار را انجام ندادند. جالب اینجاست که وقتی از شنوندگان هلندی خواسته شد “روی مداد کلیک کنید”، تثبیت بیشتری نسبت به پاندا نشان ندادند (یعنی عملکرد آنها شبیه به شنوندگان انگلیسی بومی بود)؛ وبر و کاتلر پیشنهاد کردند که اثر تداخل نامتقارن در مطالعه آنها به این دلیل به وجود آمد که در سطح پردازش آوایی یکی از دسته‌های L2 غالب است (به عنوان مثال / ε /). به نظر می‌رسد که تسلط با نزدیکی صوتی – آوایی به نزدیکترین دسته L1 تعیین می‌شود (کاتلر؛ وبر؛ و اوتاک، 2006). بنابراین در سطح پردازش واژگانی، نمایش‌های حاوی این دسته غالب بیشتر از بازنمایی‌های حاوی دسته غیر غالب (یعنی / æ /، که در هلندی وجود ندارد) با ورودی آوایی ارتباط برقرار می‌کنند.

داده‌های به دست آمده توسط جو و لوس (2004) تأثیر اطلاعات آوایی / آواشناسی را برای شنوندگان دوزبانه روشن می‌کند. آنها نتوانستند یافته‌های اسپایوی و ماریان (1999) را با استفاده از اهداف اسپانیایی بدون تغییر تکرار کنند. جو و لوس (2004) تنها زمانی تداخل را مشاهده کردند که کلمات هدف اسپانیایی حاوی زمان شروع صدای مناسب انگلیسی بودند. جو و لوس (2004) به این نتیجه رسیدند که اطلاعات آکوستیک – آوایی دقیق و تطابق دقیق بین ورودی صوتی و نمایش‌های ذخیره‌شده برای فعال‌سازی موازی دو زبان حیاتی است (همچنین رجوع کنید به Pallier et al., 2001, Li, 1996, Grosjean, 1988. ).

Canseco-Gonzalez و همکاران. (2010) از دوزبانه انگلیسی – اسپانیایی خواسته شد دستورالعمل‌هایی مانند “روی لوبیاها کلیک کنید” را دنبال کنند. رقبای متقابل زبانی واج آغازی مشابهی در اسپانیایی داشتند (مانند «تعصب» و سبیل). Canseco-Gonzalez و همکاران. (2010) اثر متقابل زبانی ضعیفی را یافت که با سن فراگیری زبان اسپانیایی تعدیل شد (با دوزبانه‌های اولیه شواهد کمی از فعال سازی متقابل زبانی نشان دادند). یافته‌های آن‌ها نشان می‌دهد که میزان فعال‌سازی متقابل زبانی تحت تأثیر سن اکتساب هر یک از زبان‌ها است.

در مجموع، به نظر می‌رسد که زمینه بصری، اطلاعات آکوستیک دقیق، سن کسب، مهارت زبان؛ و نحوه پردازش همگی تعیین می‌کنند که دوزبانه‌ها تا چه اندازه در موقعیت تک‌زبانه بازنمایی زبان دیگر خود را فعال می‌کنند (نگاه کنید به شماره ویژه Acta. Psychologica، جلد 128 (3)، 2008، برای بحث دقیق در مورد تحقیقات دو زبانه فعلی).

4.3. تأثیر بافت معنایی و نحوی در تشخیص واژه گفتاری

موضوع مدولاریت (در بخش 3 در مورد پردازش جملات مورد بحث قرار گرفت) همچنین بر بسیاری از کارهای روان‌زبانی در مورد پردازش واژگانی (یعنی کلمه) تأثیر گذاشته است. بسیاری از مطالعات کلاسیک با استفاده از انواع پارادایم‌ها نشان می‌دهند که معانی متعددی از کلمات مبهم فعال می‌شوند، حتی زمانی که محدودیت‌های معنایی یا نحوی باید یک سوگیری قوی نسبت به یکی از معانی ایجاد کند (مانند Onifer و Swinney، 1981، Seidenberg و همکاران، 1982، Tanenhaus؛ و همکاران، 1979؛ ویتنی و همکاران، 1985). این مطالعات نشان می‌دهد که حداقل اولویت اولیه از پایین به بالا زمانی که شنوندگان سیگنال صوتی را درک می‌کنند وجود دارد (مرس کنید به Marslen-Wilson، 1987، Marslen-Wilson، 1990). مطالعات دیگر نشان داده‌اند که بافت می‌تواند تأثیرات اولیه‌ای بر فعال‌سازی معانی کلمات داشته باشد (موس و مارسلن ویلسون، 1993، تابوسی، 1988، تابوسی و همکاران، 1987؛ ون برکوم و همکاران، 2003).

در یک مطالعه دنیای بصری، Dahan و Tanenhaus (2004) به شرکت کنندگان هلندی خود نمایش‌های بصری چهار شیء ارائه کردند: یک شی هدف (به عنوان مثال، یک بز، “بوک” هلندی)، یک رقیب واج شناختی (به عنوان مثال، یک استخوان، یک “ربات هلندی” ”)، یک رقیب معنایی (به عنوان مثال عنکبوت، هلندی “چرخش”) و یک حواس پرتی نامرتبط. دو شرط داشت. در شرایط فعل محدودکننده، یک فعل محدودکننده (مثلاً صعود) قبل از اسم مهم ظاهر می‌شود (مثلاً، «Nog nooit klom een bok zo hoog» – قبلاً هرگز از یک بز تا این حد بالا نرفتم). رقیب معنایی (مثلاً عنکبوت، هلندی ” spin “) به‌عنوان یک موضوع معقول فعل اما از نظر واج شناختی متفاوت از هدف (بز، ” bok “) انتخاب شد. در حالت خنثی، فعل مقید از اسم انتقادی پیروی می‌کند (مثلاً، ” Nog nooit is een bok zo hoog geklommen ” – تا به حال هرگز بزی تا این حد بالا نیامده است). در هر دو شرایط یک اثر رقیب معنایی کوچک وجود داشت (یعنی نگاه‌های بیشتری به عنکبوت نسبت به حواس پرتی نامرتبط). در شرایط خنثی، شرکت‌کنندگان بیشتر به بز (یعنی بوک) و استخوان (یعنی ربات) نگاه می‌کردند تا حواس‌پرتی‌های نامرتبط از نظر واج‌شناختی که کلمه هدف شنیده می‌شد. این نتیجه نشان‌دهنده اثر رقابت استاندارد شکل‌های واج‌شناختی است که در شروع کلمه همپوشانی دارند (به عنوان مثال، آلوپنا و همکاران، 1998). در مقابل، در شرایط فعل محدودکننده، شرکت‌کنندگان در شنیدن «بوک» بیشتر به ربات (استخوان) نگاه نمی‌کردند تا حواس‌پرتی‌های نامربوط، که نشان‌دهنده تأثیر فوری بافت بر تشخیص کلمه است.

عدم وجود نگاه به رقیب مرتبط از نظر واج شناختی در شرایط محدود کننده لزوماً به این معنی نیست که کلمه فعال نشد شرکت‌کنندگان در پارادایم دنیای بصری سعی می‌کنند از گفتار و ورودی بصری برای تفسیر موقعیت مورد نظر معنا پیدا کنند. در مطالعه Dahan و Tanenhaus (2004)، شرکت کنندگان با فعل مغرضانه “بالا رفتن” مواجه شدند و پیش بینی کردند که bok (بز) مرجع مورد نظر است (ر. ک. Altmann & Kamide, 1999) همانطور که از افزایش تثبیت به bok (بز) حتی مشهود است. قبل از اینکه اطلاعات صوتی از اسم مهم در دسترس قرار گیرد. به منظور جداسازی اثرات پیش بینی مبتنی بر فعل از اثراتی که منعکس کننده ادغام فوری اطلاعات آوایی / آواشناسی از کلمه مقصد با بافت معنایی هستند، داهان و تاننهاس (2004) به طور جداگانه 10 مورد را در شرایط فعل محدود تجزیه و تحلیل کردند.

اثر پیش بینی نسبت به هدف (یعنی این موارد یک اثر پیش بینی را نسبت به رقیب معنایی نشان دادند). تجزیه و تحلیل این 10 مورد، الگوی مشابهی را با نتایج کلی نشان داد: هیچ تغییری به سمت رقبای واج‌شناختی وجود نداشت (یعنی وقتی فعل «bok»، بز را متمایل می‌کرد، بیشتر به «ربات»، استخوان نگاه نمی‌کرد تا حواس‌پرتی غیرمرتبط). Dahan و Tanenhaus استدلال کردند که نتایج آنها “مدل‌هایی را که در آنها نگاشت از ورودی به معنا مستمر است نسبت به مدل‌هایی که در آنها اثرات متنی به دنبال دسترسی به یک مجموعه رقیب مبتنی بر فرم اولیه است” (ص. 498؛ همچنین رجوع کنید به Magnuson, Tanenhaus, & Aslin). ، 2008، برای تفسیر مشابهی از یک اثر صفر).

با این حال، نتایج برای تفسیر متفاوتی باز است. نمایش‌های واج‌شناختی ربات (استخوان) ممکن است به همان شدتی توسط سیگنال صوتی فعال شوند که در حالت خنثی، زیرا نگاه چشم معیاری برای توجه آشکار است و نه بازنمایی‌های زبانی زیربنایی. نمی‌توان رد کرد که توجه آشکار نتیجه فرآیندی را منعکس می‌کند که زمینه را با دسترسی واژگانی اولیه (مثلاً مبتنی بر فرم) ادغام می‌کند (یعنی در مراحل اولیه در طول پردازش هدف، همه کلمات مرتبط، صرف نظر از تناسب متنی آنها. ، فعال شدند).

4.4. نگاشت بازنمایی های مشتق از زبان و برگرفته از چشم انداز

خط متفاوتی از تحقیقات بررسی می‌کند که چگونه بازنمایی‌هایی که با شنیدن کلمات گفتاری به دست می‌آیند با اطلاعات مفهومی و ادراکی که از مشاهده صحنه‌های بصری یا نمایش اشیا به دست می‌آیند یکپارچه می‌شوند. مسائل نظری اصلی این خط از تحقیقات عبارت است از درک (1) اینکه آیا حرکات چشم با واسطه زبان به دلیل شباهت بین اهداف و رقبا انجام می‌شود یا دانش طبقه بندی شده همه یا هیچ، (2) اینکه آیا آنها با واسطه ویژگی‌های ادراکی هستند یا نه. دانش ذخیره شده در مورد اشیاء تصویر شده، (iii) اینکه آیا برخی از انواع دانش (به عنوان مثال، اطلاعات عملکردی) بر سایرین اولویت دارند یا خیر؛ و (IV) چگونه این فرآیندهای نقشه برداری تحت تأثیر کنترل شناختی و تقاضاهای موقعیتی قرار می‌گیرند.

کوپر (1974)، در مطالعه مهم دنیای بصری خود، مشاهده کرد که شرکت‌کنندگانی که «آفریقا» را می‌شنیدند، بیشتر به عکس‌هایی که شیر، گورخر یا مار را نشان می‌دهند ثابت می‌کردند تا اشیاء غیرمرتبط معنایی. بنابراین، حرکات چشم فعال سازی آنلاین معناشناسی کلمه را از ورودی گفتار نشان داد. کوپر (1974) ماهیت اثرات معنایی را که مشاهده کرد به طور سیستماتیک بررسی نکرد. به‌عنوان مثال، کلمات “آفریقا” و “شیر” به طور تداعی مرتبط هستند و بنابراین مشخص نیست که آیا تأثیرات معنایی کوپر ناشی از شباهت معنایی است یا صرفاً ارتباط.

با پیگیری کار کوپر (1974)، Huettig و Altmann (2005) دریافتند که شرکت کنندگان توجه آشکار را به سمت یک شی به تصویر کشیده شده (مانند ترومپت) هنگامی که یک کلمه هدف از نظر معنایی مرتبط است اما از نظر تداعی مرتبط نیست (به عنوان مثال، “پیانو”) معطوف می‌کنند. شنیده شد (همچنین رجوع کنید به Yee and Sedivy, 2006, Dunabeitia et al., 2009). به طور مهمی، احتمال تثبیت رقیب معنایی به طور قابل توجهی با شباهت معنایی بین کلمه گفتاری (مثلاً “پیانو”) و شی رقیب (مانند ترومپت) که از هنجارهای ویژگی معنایی مشتق شده است، همبستگی دارد (کری و مک‌ری، 2003). این داده‌ها نشان می‌دهد که افزایش توجه معطوف به موارد مرتبط معنایی (نسبت به اشیاء حواس پرت کننده) تابعی از میزان همپوشانی معنایی است.

Huettig، Quinlan، McDonald and Altmann (2006) (همچنین به Yee, Overton & Thompson-Schill, 2009 مراجعه کنید) شواهد بیشتری برای این نتیجه گیری ارائه کردند. آنها دریافتند که چندین معیار معنایی کلمه مبتنی بر پیکره (تحلیل معنایی پنهان، لاندوئر و دومایس، 1997؛ شباهت متنی، مک دونالد، 2000) هر کدام به خوبی با رفتار تثبیت همبستگی دارند. این داده‌ها شواهد محکمی ارائه می‌دهند که حرکات چشم با واسطه زبان به دلیل شباهت معنایی بین کلمه گفتاری و شیء بصری به جای دانش طبقه‌بندی همه یا هیچ، هدایت می‌شوند.

با توجه به اثرات مشاهده‌شده همپوشانی معنایی / مفهومی، این سؤال مطرح می‌شود که آیا همپوشانی ادراکی بین یک هدف و یک عامل حواس‌پرتی بر حرکات چشم با واسطه زبان تأثیر می‌گذارد؟ چندین مطالعه نشان داده‌اند که نگاه چشم به اشیایی هدایت می‌شود که از نظر بصری (به عنوان مثال، از نظر شکل) با t مرتبط هستند.

آرجت‌ها اما از نظر معنایی نامرتبط هستند (Dahan and Tanenhaus, 2005, Huettig and Altmann, 2004, Huettig and Altmann, 2007). برای مثال، هنگام شنیدن «مار»، شرکت‌کنندگان توجه آشکار را به تصویری از یک کابل معطوف کردند (کابل و مار شکل کلی مشابهی دارند)، حتی اگر قبل از شنیدن کلمه مورد نظر، صفحه نمایش چهار شی را برای حدوداً 5 ثانیه مشاهده کرده بودند. زمان کافی برای تشخیص اشیاء برای آنچه که هستند بود (Huettig & Altmann, 2007). Dahan و Tanenhaus (2005) این نتایج را به گونه‌ای تفسیر کردند که نشان می‌دهد احتمال تثبیت جسم بصری منعکس کننده تطابق بین دانش فرم بصری ذخیره شده، که از کلمه گفتاری قابل دسترسی است؛ و ویژگی‌های بصری قابل دسترسی از نمایش بصری (“نمایش ساختاری درشت” است. مرتبط با مکان هر شی” (Dahan & Tanenhaus، 2005، ص 457) در یک مطالعه مرتبط، Huettig و Altmann (2004) دریافتند که حرکات چشم در پارادایم دنیای بصری می‌تواند توسط روابط رنگی واسطه شود: شرکت کنندگان توجه آشکار را به تصویری از یک توت فرنگی هنگامی که آنها “لب” را شنیدند؛ توت فرنگی و لب‌ها رنگ معمولی مشابهی دارند.

سؤال جالبی که توسط این یافته‌ها مطرح می‌شود این است که آیا حرکات چشم شرکت‌کنندگان تحت تأثیر ورودی بصری (یعنی ویژگی‌های ادراکی) یا دانش ذخیره‌شده در مورد اشیاء به تصویر کشیده شده است. شکل یک جسم، به‌عنوان مثال شکل بلند و نازک یک مار، می‌تواند درک شود (اطلاعات ادراکی) اما همچنین شناخته شده است (اطلاعات مفهومی). بنابراین، مشخص نیست که آیا تغییر شکل محور در توجه آشکار ناشی از دانش ذخیره شده (مفهومی) از شکل اشیاء نمایش داده شده است یا به دلیل شکل درک شده اشیاء در نمایش بصری (همچنین به Yee, Huffstetler, & تامپسون – شیل، 2009). به طور مشابه، مشخص نیست که آیا اثر رنگ مشروط به دانش ذخیره شده در مورد رنگ معمولی شیء نمایش داده شده است یا اینکه توجه به واسطه زبان نیز می‌تواند مشروط به رنگ سطح درک شده اشیاء بصری باشد.

رنگ یک ویژگی شی است که امکان بررسی این سؤال را فراهم می‌کند زیرا ویژگی‌های مفهومی (دانش رنگ ذخیره شده در مورد یک شی) و ویژگی‌های ادراکی (رنگ درک شده اما غیر تشخیصی یک شی، یعنی رنگ سطح آن) قابل تفکیک هستند. Huettig و Altmann (2011) به شرکت کنندگان کلمات هدف گفتاری ارائه کردند که مفاهیم آنها با یک رنگ تشخیصی مرتبط است (به عنوان مثال، “اسفناج”، اسفناج معمولاً سبز است) در حالی که حرکات چشم آنها به (1) اشیاء مرتبط با یک رنگ تشخیصی نظارت می‌شد اما ارائه شد. در سیاه و سفید (به عنوان مثال، یک خط سیاه و سفید از یک قورباغه)، (2) اشیاء مرتبط با یک رنگ تشخیصی اما در یک رنگ مناسب اما غیر معمول ارائه شده است (به عنوان مثال، یک عکس رنگی از یک قورباغه زرد) و (iii) اشیایی که با رنگ تشخیصی مرتبط نیستند اما با رنگ تشخیصی مفهوم هدف ارائه می‌شوند (به عنوان مثال، یک بلوز سبز). Huettig و Altmann هیچ تأثیری از دانش رنگ اشیای ذخیره شده در هنگام ارائه نقاشی‌های سیاه و سفید یا عکس‌های سیاه و سفید پیدا نکردند.

هنگامی که عکس‌های رنگی که شی مورد نظر (مثلا قورباغه) را با رنگی غیر معمول اما مناسب (مثلا قورباغه زرد) نشان می‌دادند، یک اثر ضعیف از دانش رنگ شی ذخیره‌شده مشاهده شد. این نشان می‌دهد که شرکت‌کنندگان با شنیدن «اسفناج» اطلاعات رنگ اولیه (یعنی سبز) را بازیابی کردند، که با اطلاعات رنگ اولیه ذخیره‌شده‌ای که از دیدن قورباغه زرد بازیابی کردند (یعنی قورباغه‌ها معمولاً سبز هستند) مطابقت داشت. با این حال، اثر حاشیه‌ای بود و نسبتاً دیر رخ می‌داد (بیش از یک ثانیه پس از در دسترس قرار گرفتن اطلاعات از کلمه هدف صوتی). این نتایج نشان می‌دهد که رنگ شی ذخیره‌شده می‌تواند بر حرکات چشم با واسطه زبان تأثیر بگذارد، اما به نظر می‌رسد این تأثیر کوچک است.

این یافته که چنین تأثیری با محرک‌های سیاه و سفید وجود ندارد، نشان می‌دهد که عدم وجود رنگ در محرک‌ها باعث سوگیری توجهی می‌شود که منجر به اثر پوچ خواص رنگ می‌شود. در ادبیات جستجوی بصری استدلال شده است که تأثیرات یک ویژگی بصری خاص ممکن است بسته به تنظیم کنترل توجه اتخاذ شده توسط شرکت کننده، کم و بیش باعث جلب توجه شود (Folk et al., 1992, Folk et al., 1993; همچنین نگاه کنید به پرت و هومل، 2003). به طور مشابه، با توجه به نظریات مبتنی بر بعد توجه انتخابی (به عنوان مثال، آلپورت، 1971، مولر و همکاران، 1995)، اطلاعات از بالا به پایین ویژگی‌های تعیین کننده هدف بر مراحل مطالعه پردازش زبان ویژگی‌ها تأثیر می‌گذارد (Found and M ü ller، 1996، Treisman). ، 1988؛ همچنین نگاه کنید به Kumada، 2001). بنابراین ممکن است که محرک‌های سیاه و سفید توجه به بعد رنگ را کاهش دهند زیرا در زمینه خاص ارتباط کمی داشتند.

Huettig و Altmann (2011) همچنین تأثیر رنگ سطح درک شده را در غیاب دانش رنگ ذخیره شده بررسی کردند. شرکت کنندگان با شنیدن کلمات هدف که با یک رنگ اولیه، مانند “نخودی” مرتبط بودند، به سمت خود نگاه کردند یک تصویر به آن رنگ نمایش داده می‌شود، حتی اگر مرجع تصویر (به عنوان مثال، یک بلوز سبز) خود با آن رنگ مرتبط نباشد. با دسترسی به اطلاعات رنگ اولیه مرجع هدف، شرکت کنندگان بلافاصله توجه آشکار را به هر چیزی با همان رنگ سطح معطوف کردند. این داده‌ها نمایش واضحی از یک اثر رنگ سطحی خالص هستند. به طور کلی، این آزمایش‌ها نشان می‌دهند که تغییرات با واسطه رنگ در توجه آشکار عمدتاً به دلیل ویژگی‌های سطح درک شده اشیاء بصری است نه دانش ذخیره شده در مورد رنگ معمولی اشیاء.

با این حال، ممکن است که جلوه‌های رنگی با برچسب‌های رنگی ذخیره شده (مثلاً برچسب “سبز” که با شنیدن کلمات گفته شده قابل دسترسی است) واسطه شوند. هنگامی که شرکت کنندگان کلمه گفتاری “قورباغه” را می‌شنوند، ممکن است به طور خودکار به کلمه “سبز” دسترسی پیدا کنند، که ممکن است باعث شود نگاه چشم خود را به هر چیزی که در صفحه نمایشگر سبز است تغییر دهد. این مفهوم توسط پاسخ‌ها در وظایف تداعی کلمه رایگان پشتیبانی می‌شود؛ وقتی از شرکت‌کنندگان خواسته می‌شود اولین کلمه‌ای را که در هنگام خواندن کلمه قورباغه به آن فکر می‌کنند بنویسند، معمولاً پاسخ را سبز می‌دهند (به عنوان مثال، نلسون، مک‌یووی و شرایبر، 1998). جانسون، هوتیگ و مک کوئین (2008) این موضوع را با کودکان خردسالی که هنوز هیچ اصطلاح رنگی را یاد نگرفته‌اند، بررسی کردند.

آنها کودکان دو ساله را از قبل در مورد درک آنها از اصطلاحات رنگ (مثلاً “به چیز قرمز اشاره کنید”) آزمایش کردند. آنها دریافتند که کودکان نوپا که برچسب‌های رنگی را درک نمی‌کنند، حرکات چشمی مشابه با واسطه رنگ را به بزرگسالان نشان می‌دهند. به‌عنوان مثال؛ وقتی از آنها خواسته شد که یک توت فرنگی پیدا کنند، با وجود اینکه قادر به‌نام بردن رنگ‌ها نبودند، بیشتر به هواپیمای قرمز نگاه کردند تا هواپیمای زرد. این نتایج نشان می‌دهد که اثر رنگ در پارادایم دنیای بصری، حداقل در کودکان خردسال، با برچسب‌های رنگی واسطه نمی‌شود.

در نهایت، به نظر می‌رسد که برخی از انواع دانش توسط شرکت کنندگان دنیای بصری اولویت بندی شده است. به‌عنوان مثال، دانش مقوله‌ای و عملکردی به ویژه جنبه‌های برجسته دانش واژگانی هستند (نگاه کنید به ماس، مک کورمیک؛ و تایلر، 1997). Huettig و Altmann (2011) دریافتند که نگاه کردن به یک رقیب رنگ سطح 400 میلی ثانیه بعد در شرایطی رخ می‌دهد که در آن یک رقیب معنایی در نمایشگر حضور دارد تا در شرایطی که در آن رقیب رنگ سطح تنها شی مرتبط در آن است. نمایش دادن. این داده‌ها همچنین جنبه مهمی از پارادایم را نشان می‌دهند، یعنی اینکه دوره زمانی نگاه به اهداف و رقبا در مطالعات جهان بصری باید با احتیاط تفسیر شود.

این واقعیت که حضور یک رقیب دیگر (مثلاً معنایی) زمان‌بندی را تغییر می‌دهد که رقیب رنگ سطح توجه آشکار را به خود جلب می‌کند، نشان می‌دهد که تغییر در نگاه چشم، حداقل در برخی موارد، بازتاب مستقیم فعال‌سازی نمایش‌های متناظر نیست. این یافته که رقبای رنگ سطحی 400 میلی‌ثانیه دیرتر از زمانی که رقبای معنایی حضور مشترک داشتند، توجه را به خود جلب کردند، نشان می‌دهد که (حتی برای اشیاء طبیعی که از نظر تشخیص رنگ نسبتاً بالایی دارند) دانش طبقه‌بندی / عملکردی برجسته‌تر است. جنبه دانش بیش از دانش رنگ است و توسط سیستم توجه در اولویت قرار دارد.

مطالعاتی که قبلاً مورد بحث قرار گرفت نشان داد که شنوندگان در پارادایم دنیای بصری از اطلاعات بصری و معنایی و مفهومی در مورد اشیاء هنگامی که ورودی دیداری و شنیداری را با هم ادغام می‌کنند، استفاده می‌کنند. با این حال، شواهدی از پارادایم‌های دیگر وجود دارد که نشان می‌دهد بینندگان اغلب به‌نام اشیاء دسترسی دارند، حتی زمانی که قصد نامگذاری آنها را ندارند (به عنوان مثال، مورسلا و میوزو، 2002؛ همچنین رجوع کنید به مایر و دامیان، 2007، مایر و همکاران، 2007، ناوارت و کاستا، 2005). بنابراین، می‌توان تصور کرد که اشیاء نشان داده شده در مطالعات جهان بصری نام آنها را نیز فعال می‌کنند و این اطلاعات واژگانی ممکن است بر نقشه برداری شرکت کنندگان بین ورودی دیداری و گفتاری تأثیر بگذارد. نتایج بدست آمده توسط Huettig و McQueen (2007) این پیشنهاد را تایید می‌کند. در آزمایش 1، شرکت کنندگان اشیاء بصری را برای حدود سه ثانیه قبل از شروع هدف دیدند.

شرکت‌کنندگان قبل از اینکه به اشیایی که از نظر معنایی (مثلاً چنگال) و یا از نظر معنایی نگاه می‌کردند، نگاه چشم خود را به اشیایی معطوف کردند (مانند یک بیش‌تر) که شکل واج‌شناختی آن‌ها همان واج‌های اولیه کلمه را با کلمه هدف گفتاری داشت (مثلاً «پیکر»). از نظر بصری (به عنوان مثال، یک بوبین) شبیه به کلمه مورد نظر. تقدم زمانی تثبیت‌ها به رقبای واج‌شناختی نشان می‌دهد که شرکت‌کنندگان قبل از شنیدن کلمات گفتاری انتقادی به‌نام تصاویر دسترسی داشتند. علاوه بر این، تحقیقات در مورد تشخیص کلمات گفتاری قویاً نشان می‌دهد که تشخیص کلمه گفتاری یک فرآیند آبشاری است (برای بررسی به مک‌کوئین، داهان و کاتلر، 2003 مراجعه کنید). با شنیدن کلمه هدف گفتاری، کلمات نامزد مختلف برای تشخیص به صورت موازی در سطح واجی نمایش رقابت می‌کنند، اگر با اطلاعات صوتی موجود در سیگنال گفتار سازگار باشند. پردازش در سطح واجی لازم نیست قبل از آبشار اطلاعات به موارد دیگر (مثلاً معنایی یا تصویری -f) تکمیل شود.

با این حال، برخی از پردازش‌های واج‌شناختی به دلیل اولویت اطلاعات صوتی – آوایی در سیگنال گفتار، بر پردازش در سطوح دیگر نمایش مقدم هستند. Huettig و McQueen (2007) استدلال کردند که به همین دلیل است که تثبیت به رقبای واجی مقدم بر تغییر نگاه چشم به رقبای معنایی و بصری است: اطلاعات واج شناختی ابتدا از کلمات گفتاری قابل دسترسی است و می‌تواند ابتدا در فرآیند نگاشت بین کلمه گفتاری مورد استفاده قرار گیرد؛ و اشیاء بصری Huettig and McQueen ‘ s Experiment 2 پشتیبانی بیشتری برای این حساب فراهم می‌کند. قبل از شروع کلمه گفتاری فقط 200 میلی ثانیه نمایش بصری به شرکت کنندگان ارائه شد.

اکنون شرکت‌کنندگان رقبای واج‌شناختی را بیشتر از حواس‌پرتی‌های نامرتبط ثابت نکردند. Huettig و McQueen (2007) استدلال کردند که این به این دلیل است که 200 میلی ثانیه زمان کافی برای بازیابی نام تصاویر قبل از اینکه رقیب واج شناختی یک فرضیه واژگانی قابل دوام نباشد، نبود. به عبارت دیگر؛ وقتی زمانی برای بازیابی نام تصاویر وجود نداشت، هیچ تثبیتی برای رقبای واجی وجود نداشت. این به شدت از این ایده حمایت می‌کند که نگاه‌ها به رقبای واج‌شناختی در آزمایش 1 در واقع به دلیل نگاشت بازنمایی‌های واج‌شناختی بوده است.

در مجموع، مطالعات بررسی‌شده در این بخش نشان می‌دهد که شرکت‌کنندگان می‌توانند اطلاعات واج‌شناختی، معنایی؛ و شکل بصری را از اشیاء موجود در نمایشگرهای بصری و از کلمات گفتاری بازیابی کنند و هر یک از این بازنمایی‌ها ممکن است برای فرآیند ادغام زبانی و غیر زبانی مهم باشد. – اطلاعات زبانی بنابراین به نظر می‌رسد که تغییرات توجه با نوع اطلاعات در نمایشگر (به عنوان مثال، تصاویر یا کلمات چاپ شده)، زمان پردازش آبشاری در سیستم‌های تشخیص کلمه و تصویر، باز شدن زمانی اطلاعات در سیگنال گفتار، تعیین می‌شود. تعداد (و نوع) رقبا که در نمایشگر حضور دارند و تنظیم توجه شرکت کننده.

5. مطالعات تولید با استفاده از پارادایم دنیای بصری

پارادایم دنیای بصری در درجه اول برای مطالعه درک زبان گفتاری استفاده شده است. با این حال، تعدادی از مطالعات تولیدی وجود دارد که از روش‌شناسی مرتبط استفاده کرده‌اند. در اینجا ما سه خط تحقیق تولید را مرور می‌کنیم: مطالعات تولید پیام، فرمول‌بندی بیان؛ و نظارت بر خود.

5.1. تولید پیام

یک مسئله مهم و تا حد زیادی حل نشده در تحقیقات فعلی تولید گفتار این است که سخنرانان چگونه پیام‌های پیش کلامی تولید می‌کنند. اینها ساختارهای مفهومی هستند که محتوای گفته را تعیین می‌کنند و ورودی به فرآیندهای رمزگذاری زبانی را تشکیل می‌دهند (به عنوان مثال، Bock, Irwin, & Davidson, 2004). مطالعه تولید پیام به صورت آزمایشی مالیاتی است زیرا در استفاده روزمره از زبان، تولید پیام – که اساساً تصمیم گیری در مورد اینکه چه زمانی باید بگوییم – به بسیاری از عوامل اجتماعی، انگیزشی، شناختی و زبانی بستگی دارد که جداسازی و دستکاری آنها دشوار است. با این حال، جنبه‌های مهمی از تولید پیام وجود دارد که می‌توان با درخواست از سخنرانان برای توصیف آنچه می‌بیند و هم گفتار و هم حرکات چشم‌شان را ضبط کرد، مطالعه کرد. این به شخص اجازه می‌دهد ردیابی کند که سخنرانان چه زمانی مواد خام بصری را برای تولید یک پیام به دست می‌آورند و این اطلاعات را با زمان، محتوا و شکل گفته‌های خود مرتبط می‌سازند.

طبق دانش ما، گریفین و بوک (2000) اولین کسانی بودند که از ردیابی چشم برای مطالعه تولید پیام استفاده کردند. آن‌ها از شرکت‌کنندگان خواستند کارتون‌هایی از رویدادها را توصیف کنند (مانند مردی که سگ را تعقیب می‌کند) و حرکات چشم خود را با حرکات چشم‌هایشان در کارهای کنترلی مختلف، از جمله کار تشخیص بیمار، که در آن شرکت‌کنندگان باید شخصیت رویدادی را که تحت آن قرار داشت شناسایی می‌کردند، مقایسه کردند. به جای انجام) اقدام. گریفین و بوک دریافتند که در ابتدا الگوهای نگاه در دو کار بسیار مشابه بودند، اما پس از حدود 300 میلی ثانیه احتمال تثبیت روی عامل و بیمار بین وظایف شروع شد: در شرح وظایف، سخنرانان ابتدا به عامل نگاه کردند. معمولاً اول از او یاد می‌کردند و اندکی قبل از ذکر آن به بیمار مراجعه می‌کردند. در مقابل، در تکلیف تشخیص بیمار، آنها به بیمار روی آوردند و به ندرت به عامل نگاه کردند. گریفین و بوک به این نتیجه رسیدند که الگوی نگاه گویندگان نشان دهنده وجود دو مرحله متمایز در پردازش تصاویر و گفته‌های گفتاری است: مرحله دلهره حدود 300 میلی‌ثانیه، که در طی آن رویداد را درک می‌کنند؛ و مرحله فرمول‌بندی زیر. که در طی آن شکل زبانی گفته را ایجاد می‌کنند. در مرحله دوم، سخنرانان به هر یک از اشیایی که نام می‌برند به ترتیب ذکر نگاه می‌کنند.

تمایز بین مرحله دلهره و فرمول‌بندی توسط نتایج مطالعه بوک، ایروین، دیویدسون و لولت (2003) که تولید پیام و فرمول‌بندی زبانی را در گفته‌های زمان‌گو بررسی کردند، پشتیبانی می‌شود. آنها به هلندی‌ها و انگلیسی زبانان نمایشگر ساعت آنالوگ و دیجیتال ارائه کردند و از آنها خواستند که مطلق تولید کنند

عبارات (به عنوان مثال، “دو پنجاه”) یا عبارات نسبی (مثلا “ده تا سه”)، در نتیجه موقعیت‌هایی را ایجاد می‌کنند که شکل زبانی مورد نیاز کم و بیش با نمایشگر سازگار است (نمایشگرهای آنالوگ با عبارات نسبی سازگارتر هستند؛ نمایشگرهای دیجیتال سازگارترند. با عبارات مطلق) و با ترجیحات زمان گفتن سخنرانان (هلندی زبانان عبارات نسبی را ترجیح می‌دهند، در حالی که گویشوران انگلیسی آمریکایی عبارات مطلق را ترجیح می‌دهند). اثرات سازگاری و نوع نمایشگر وجود داشت، اما مهمتر از همه، از حدود 300 میلی ثانیه به بعد، نگاه چشم بلندگوها به نوع بیان بستگی داشت. هنگامی که بلندگوها عبارات نسبی (“ده تا سه”) را تولید می‌کردند، ابتدا به عقربه دقیقه نمایشگر آنالوگ یا قسمت سمت راست نمایشگر دیجیتال و سپس به عقربه ساعت یا قسمت چپ نمایشگر دیجیتال نگاه می‌کردند. الگوی مخالف برای عبارات مطلق (“دو پنجاه”) دیده شد. بوک و همکارانش نتیجه می‌گیرند که «یک رابط مؤثر بین آنچه دیده شده و آنچه گفته می‌شود، می‌تواند در عرض 300 میلی ثانیه ایجاد شود. این رابط زیربنای یک طرح یا پیام پیش‌کلامی است که به نظر می‌رسد فرمول‌بندی نسبتاً آهسته و شدیداً افزایشی عبارات را هدایت می‌کند» (ص. 653).

گلایتمن و همکاران (2007) همچنین از شرکت کنندگان خواست تا کاریکاتورهایی از اقدامات را توصیف کنند. در بیشتر آزمایش‌های این مطالعه، یک نشانه بصری کوتاه قبل از شروع تصویر در موقعیت یکی از شخصیت‌های صحنه ظاهر شد. اگرچه شرکت‌کنندگان نمی‌توانستند به طور آگاهانه نشانه‌ها را درک کنند، اما اولین تثبیت‌های آن‌ها بیشتر به سمت شخصیت‌های نشانه‌گذاری شده بود تا شخصیت‌های بدون نشانه. به‌علاوه، نشانه‌ها بر نحوه توصیف گویندگان وقایع تأثیر می‌گذارند: نشانه‌ها احتمال ذکر شخصیت نشانه‌شده را برای اولین بار در گفتار افزایش می‌دهند؛ و در رابطه با این موضوع، انتخاب فعل گویندگان را تغییر می‌دهند (مثلاً «تعقیب کردن» در مقابل “فرار”) یا انتخاب آنها از ساختار فعال در مقابل غیرفعال. گلیتمن و همکارانش پیشنهاد کردند که نشانه توجه بصری گویندگان را به خود جلب می‌کند و جهت توجه بصری به شخصیت نشانه گذاری شده، بازیابی نام شخصیت را تسهیل می‌کند، که به نوبه خود احتمال ذکر زودهنگام آن را افزایش می‌دهد. این نتایج کاملاً با پیشنهاد Bock و همکارانش مطابقت دارد که سخنرانان به سرعت اصل یک صحنه را درک می‌کنند و این نمایش اولیه تا حد زیادی تعیین می‌کند که مناطق مختلف صحنه بعداً به چه ترتیبی بازرسی و ذکر شوند. با این حال، تأثیر نشانه‌های بصری بر جهت تثبیت‌های اولیه و روی شکل بیان نشان می‌دهد که ترسیم تمایز زمانی واضح بین مرحله درک صحنه کامل و مرحله رمزگذاری زبانی افزایشی بعدی دشوار است.

تعامل بین تولید پیام، به ویژه جذب اطلاعات جدید؛ و رمزگذاری دستوری توسط براون اشمیت و تاننهاس (2006) مورد مطالعه قرار گرفت. آنها از نمایشگرهایی استفاده کردند که چندین شی و یک وظیفه ارتباطی ارجاعی را نشان می‌داد، که در آن شرکت‌کنندگان عبارات اسمی مانند «مثلث کوچک» یا «مربع با مثلث‌های کوچک» را تولید کردند. استفاده از صفت اندازه فقط زمانی ضروری بود که نمایشگر دارای یک شی متضاد باشد که فقط از نظر اندازه با هدف متفاوت باشد. نویسندگان دریافتند که سخنرانان زمانی که روی شیء کنتراست تثبیت کرده بودند، بسیار بیشتر از زمانی که این کار را انجام نداده بودند، از یک صفت استفاده می‌کردند. مهمتر از آن، زمان تثبیت‌ها بر روی جسم کنتراست به روان بودن گفته مربوط بود. پیش از جملات روان از جمله صفت‌های پیش‌نام، تثبیت‌های قبلی به شیء متضاد نسبت به جملاتی که شامل تعمیر می‌شوند، مانند «مربع… کوچک» بودند. بنابراین، زمان‌بندی دریافت اطلاعات بصری سخنرانان پیامدهای مستقیمی بر روان بودن و شکل گفته‌های آنها داشت. این نتایج ماهیت افزایشی تولید گفتار را برجسته می‌کند، به‌عنوان مثال، به نظر می‌رسد که قطعات پیام که تقریباً با کلمات منفرد مطابقت دارند (به‌عنوان مثال، کل عبارات یا جملات) به فرمول‌نویس منتقل می‌شوند (همچنین نگاه کنید به براون اشمیت و کونوپکا، 2008).

 

5.2. فرمول بیان

در خط دوم تحقیق تولید، ادراک نمایشگر و تولید پیام عمداً تا حد امکان ساده می‌شود، معمولاً با درخواست از شرکت‌کنندگان برای نام‌گذاری مجموعه‌هایی از اشیاء به ترتیب ثابت؛ و ردیابی چشم برای مطالعه زمان استفاده می‌شود. دوره دسترسی واژگانی در جملات چند کلمه‌ای، به‌عنوان مثال، گویندگان چقدر جلوتر گفته‌های خود را برنامه ریزی می‌کنند و آیا می‌توانند چندین نام شی را به طور موازی بازیابی کنند. دسترسی واژگانی اغلب در پارادایم‌هایی بررسی می‌شود که تأخیرهای شروع گفتار را اندازه‌گیری می‌کنند، اما تأخیرها فقط شواهدی را در مورد زمانی که سخنرانان برای برنامه‌ریزی اولین کلمه یک گفته نیاز دارند، ارائه می‌دهند. در مقابل، حرکات چشم را می‌توان هم قبل و هم بعد از شروع گفتار ثبت کرد و همانطور که بعداً نشان داده خواهد شد، می‌تواند اطلاعات اضافی مهمی را در مورد نحوه هماهنگی گویندگان دریافت اطلاعات بصری، برنامه‌ریزی زبانی و بیان با یکدیگر ارائه دهد.

این خط از تحقیقات ارتباط تنگاتنگی بین نگاه چشم سخنرانان و خروجی گفتار آشکار آنها را کشف کرده است. اول، مانند مطالعات تولید پیام، سخنرانان معمولاً به هر موضوعی که به آن اشاره می‌کنند، اندکی قبل از ذکر آن نگاه می‌کنند (گریفین، 2001، مایر و همکاران، 1998). این درست است حتی زمانی که آنها در بسیاری از آزمایش‌های متوالی از همان اشیاء نام می‌برند (Wheeldon, Meyer, & Van der Meulen, 2007). ثانیاً، ترتیب بازرسی اشیاء دقیقاً با ترتیب ذکر مطابقت دارد؛ و هنگامی که گویندگان در یک گفتار کوتاه دو بار در مورد یک شیء صحبت می‌کنند (مانند “جعبه کنار ستاره زرد است”)، تمایل به بازرسی دارند. شیء دو بار، اندکی قبل از شروع اولین کلمه که به شیء اشاره دارد (“جعبه”) و قبل از شروع کلمه دوم (“زرد”؛ Meyer, van der Meulen, & Brooks, 2004). بنابراین سخنرانان به شدت ترجیح می‌دهند به اشیایی که به آنها اشاره می‌کنند نگاه کنند، حتی زمانی که بتوانند به راحتی اطلاعات مربوطه را از حافظه کاری بازیابی کنند.

علاوه بر این، نشان داده شده است که زمان حرکات چشم سخنرانان به شدت با برنامه ریزی گفتار آنها هماهنگ است. مطالعات مختلف در مورد سهولت شناسایی اشیاء، انتخاب اقلام واژگانی مناسب و ایجاد فرم‌های صوتی مربوطه، شواهد قوی ارائه کرده است که گویندگان معمولاً روی هر شیئی که نام می‌برند ثابت می‌کنند تا زمانی که آن را تشخیص داده و شکل واج‌شناختی عبارت ارجاع‌کننده را بازیابی کنند (بلکه) و مایر، 2007، گریفین، 2001، لولت و مایر، 2000، مایر و همکاران، 2003، مایر و ون در مولن، 2000). به‌عنوان مثال، سخنرانان به اشیاء با نام طولانی‌تر از اشیاء با نام کوتاه نگاه می‌کنند (مایر و همکاران، 2003؛ اما نگاه کنید به گریفین، 2003)، که نشان می‌دهد تغییر نگاه از یک شی به شیء بعدی تنها پس از واج‌شناسی رخ می‌دهد. شکل اولین نام شیء بازیابی شده است.

پیشنهادهای متفاوتی در مورد منشأ پیوند زمانی محکم بین حرکات چشم و برنامه ریزی گفتار ارائه شده است (برای بحث بیشتر به گریفین، 2004 مراجعه کنید). در بررسی این موضوع مهم است که در نظر داشته باشید که به طور کلی، نقطه نگاه یک فرد با کانون توجه بصری او مطابقت دارد؛ و اینکه توجه بصری فرد به یک شی احتمالا نه تنها شناسایی شیء را تسهیل می‌کند، بلکه همچنین بازیابی اطلاعات مرتبط، از جمله نام شی (به عنوان مثال، هامفریس و فورد، 2001، هامفریس و همکاران، 1997، رولوفز، 1992؛ همچنین نگاه کنید به گریفین، 2004؛ وور و فرینگز، 2008؛ وور، 2003 و وس. مایر و همکاران، 2007، مایر و همکاران، 2008، برای بحث بیشتر). دلیل احتمالی اینکه گویندگان به اشیا به ترتیب ذکر و تا زمانی که انجام می‌دهند، توجه می‌کنند این است که این امر تشخیص اشیاء، بازیابی واژگانی و فرآیندهای خود نظارتی درونی را که قبل از گفته‌های آشکار انجام می‌شود، تسهیل می‌کند. این پیشنهاد به خوبی با شواهد اخیر که نشان می‌دهد حداقل برخی از مؤلفه‌های دسترسی واژگانی و نظارت بر خود به ظرفیت پردازش نیاز دارد و بنابراین از افزایش توجه سود می‌برد، مطابقت دارد (به عنوان مثال، کوک و مایر، 2008، فریرا و پاشلر، 2002، Huettig و Hartsuiker، 2008، Huettig and Hartsuiker، 2010، Roelofs، 2007، Roelofs، 2008).

مطالعاتی که تاکنون مورد بحث قرار گرفته‌اند نشان می‌دهند که سخنرانان جملات توصیفی ساده را به روشی بسیار افزایشی تولید می‌کنند، زیرا تنها زمانی به یک شی جدید روی می‌آورند که تقریباً آماده شروع نام شی فعلی هستند. با این حال، داده‌های حرکات چشم ممکن است تا حدودی گمراه‌کننده باشند، زیرا چیزی که فرد روی آن ثابت می‌کند نباید تنها شیئی باشد که به آن توجه می‌کند. درعوض، بینندگان می‌توانند از تمرکز توجه گسترده تری استفاده کنند و به طور موازی به چندین شیء توجه کنند (به عنوان مثال، Cave & Bichot، 1999). چندین مطالعه بررسی کرده‌اند که آیا این واقعاً در طول تولید گفتار اتفاق می‌افتد یا خیر (Meyer et al., 2008, Morgan and Meyer, 2005, Morgan et al., 2008). این مطالعات نتایج واضحی را به همراه داشته است: گویندگان می‌توانند به طور موازی به دو شی – یک شی فوودار که می‌خواهند نام ببرند و یک شی خارج از فووئال که در ادامه نام خواهند برد – توجه کنند. علاوه بر این، پردازش شی خارج از فووئال می‌تواند برای فعال شدن نام آن به موازات شی فوو شده کافی باشد. با این حال، پردازش شیء موازی تنها زمانی اتفاق می‌افتد که شناسایی و نام‌گذاری هر دو شی نسبتاً آسان باشد. به‌عنوان مثال، مالپاس و مایر (2010) دریافتند که اولین مورد از دو جسم برای مدت طولانی‌تری ثابت می‌شود و زمانی که شی دوم آسان بود نسبت به زمانی که نام‌گذاری آن دشوار بود، کندتر نام‌گذاری می‌شد. این نشان می‌دهد که این دو شی به‌طور موازی پردازش شده‌اند؛ و شی دوم آسان‌تر به سرعت نام خود را فعال می‌کند، که در بازیابی نام شی اول اختلال ایجاد می‌کند. این اثر تداخل زمانی ناپدید شد که پردازش بصری اولین شی با ارائه وارونه آن بیشتر شد. بنابراین مطالعه پردازش زبان موازی دو شی و بازیابی موازی نام آنها در شرایط مساعد امکان پذیر است. تحقیقات بیشتری برای تعیین شرایطی که در آن احتمال وقوع آن وجود دارد مورد نیاز است.

5.3. خودسازی نظارت بر کلمات گفتاری

تئوری‌های نظارت بر گفتار (Hartsuiker and Kolk, 2001, Levelt, 1989, Postma, 2000) فرض می‌کنند که سخنرانان علاوه بر شنیدن گفتار آشکار خود، می‌توانند یک بازنمایی درونی از گفتار برنامه ریزی شده خود را قبل از بیان بازبینی کنند (به دل و رپکا مراجعه کنید). ، 1992، لاکنر و تولر، 1979، موتلی و همکاران، 1982؛ اوپنهایم و دل، 2008، برای شواهد تجربی که این فرض را تأیید می‌کند). دو گزارش نظری از نحوه نظارت سخنرانان بر این بازنمایی داخلی وجود دارد. یک گزارش تأثیرگذار پیشنهاد می‌کند که نظارت داخلی ادراک گفتار را درگیر می‌کند (Levelt، 1989)، دیگری که دستگاه‌های داخلی تولید زبان را درگیر می‌کند (به عنوان مثال، Laver، 1980؛ برای بررسی، Postma، 2000 را ببینید). نظریه‌های مبتنی بر ادراک پیش‌بینی می‌کنند که گوش دادن به گفتار درونی خود پیامدهای رفتاری مشابه گوش دادن به گفتار دیگران دارد. برای آزمایش این دیدگاه، Huettig و Hartsuiker (2010) حرکات چشم را ثبت کردند در حالی که سخنرانان اشیاء را همراه با کلمات حواس‌پرتی نوشتاری مرتبط یا نامرتبط نام‌گذاری کردند.

در شرایط بحرانی، یکی از کلمات حواس‌پرتی از نظر واجی با نام شی مورد نظر مرتبط بود و دو کلمه نامرتبط بودند. Huettig و Hartsuiker (2010) دریافتند که شرکت کنندگان رقبای واج شناختی را بیشتر از حواس پرتی‌های نامرتبط تثبیت می‌کنند. نکته مهم این است که دوره زمانی تثبیت رقبای واج‌شناختی در طول ادراک از خود بسیار شبیه به دوره زمانی مشاهده شده بود که شرکت‌کنندگان به سخنران دیگری گوش می‌دادند (Huettig & McQueen, 2007, Experiment 4) که نشان می‌دهد حرکات چشم توسط آشکار هدایت می‌شد؛ و نه درونی) گفتار. این مطالعه نشان می‌دهد که خود نظارتی بیرونی اما نه درونی مبتنی بر ادراک گفتار است. Huettig و Hartsuiker (2010) به این نتیجه رسیدند که نیاز به تئوری‌های دقیق‌تر در مورد دیدگاه جایگزین، یعنی نظارت داخلی تولید وجود دارد. علاوه بر این، یافته‌های آن‌ها مبنی بر اینکه درک گفتار خود در حین بیان می‌تواند حرکات چشم را به روشی بسیار شبیه به گوش دادن به گفتار دیگران هدایت کند، پیوند تنگاتنگ بین پردازش زبان (خود تولید شده یا تولید شده توسط دیگران) و نگاه آشکار را برجسته می‌کند.

در مجموع، مطالعات تولید، درست مانند مطالعات درک مطلب، نشان داده است که بازرسی بصری بینندگان از نمایشگرها به شدت با پردازش زبانی آنها هماهنگ است. زیرا در هر دو مورد، حرکات چشم جهت توجه بصری را منعکس می‌کند. گویندگان و شنوندگان از توجه بصری استفاده می‌کنند تا به طور موثر با وظایف مربوطه خود در تولید جملات و نگاشت جملاتی که می‌شنوند بر روی آرایه‌های بصری کنار بیایند. به این معنا که افرادی که وظایف زبانی را انجام می‌دهند به اشیاء مربوطه نگاه می‌کنند نه تنها برای شناسایی این اشیاء، بلکه به این دلیل که نگاه کردن – یا، بهتر است بگوییم، حضور – بازیابی اطلاعات مربوط به این اشیاء را تسهیل می‌کند (نگاه کنید به گریفین و اوپنهایمر، 2006).

از این رو می‌توان از ردیابی چشم برای تعیین زمان و مدت زمانی که بلندگوها (و شنوندگان) توجه خود را بر روی قسمت‌های مختلف نمایشگر متمرکز می‌کنند استفاده کرد، اگرچه باید در نظر داشت که مناطقی که ثابت نیستند ممکن است پردازش شوند و بنابراین شروع نگاه به یک منطقه را نمی‌توان با شروع پردازش یکسان کرد. شایان ذکر است که حرکات چشم نشان نمی‌دهد که چرا یک فرد به یک منطقه توجه می‌کند – مثلاً برای دیدن آن به وضوح یا بررسی اینکه آیا گفته‌ای که قبلاً تولید کرده است صحیح است یا خیر؛ و آن‌ها نشان نمی‌دهند که چرا نگاه کردن به یک شیء طولانی یا کوتاه است – یک نگاه ممکن است طولانی باشد زیرا تشخیص آن شیء دشوار است یا به این دلیل که بازیابی نام مناسب برای گوینده دشوار است. برای تکرار، نگاه چشم نشان دهنده توجه بصری است؛ و هر متغیری که بر زمان و مدت زمانی که بیننده تصمیم می‌گیرد به یک شیء توجه کند، تأثیر می‌گذارد، احتمالاً بر زمان و مدت زمان نگاه کردن به آن نیز تأثیر می‌گذارد.

6. خلاصه و نتیجه‌گیری

نسخه درک مطلب از پارادایم دنیای بصری با سه ویژگی تعیین کننده مشخص می‌شود: (1) در هر آزمایش، شرکت کنندگان یک سخنرانی را می‌شنوند، (2) آنها همچنین یک نمایش بصری مربوطه را می‌بینند؛ و (3) حرکات چشم آنها برای آنها ثبت می‌شود. تحلیل‌های بعدی در نسخه تولیدی پارادایم، به شرکت‌کنندگان نمایش‌های بصری نشان داده می‌شود و به روش‌های کم و بیش خاصی آموزش داده می‌شود تا در مورد آنها صحبت کنند. از آنجایی که محققان درک مطلب می‌توانند هر نمایش بصری را با هر ورودی گفتاری ترکیب کنند؛ و به طور مشابه محققان تولید می‌توانند از طریق سؤالات یا دستورالعمل‌ها، دامنه نامحدودی از گفته‌ها را استخراج کنند، این پارادایم بسیار متنوع است. شاید تا حدودی به طرز متناقضی، بیشتر تحقیقات دنیای بصری به پردازش زبان مربوط می‌شود، اما معیارهای وابسته، ساکادها و تثبیت‌ها به کاوش بصری نمایشگرها مربوط می‌شود. دلیل موفقیت این رویکرد البته این است که حرکات چشم کاربران زبان به طور سیستماتیک با پردازش زبانی آنها مرتبط است. با این حال، ارتباط بین پردازش زبان و حرکات چشم سیستماتیک و قدرتمند، غیر مستقیم است.

در مطالعات درک مطلب، کلمات گفته شده چشم را به سمت اشیاء خاصی روی صفحه نمی‌کشند. در عوض، پیوند گفتار و چشم به این دلیل به وجود می‌آید که اطلاعات کلامی بر تخصیص توجه شنوندگان تأثیر می‌گذارد، که به نوبه خود جهت نگاه آنها را کنترل می‌کند. همانطور که قبلاً توضیح داده شد، در برخی از مطالعات جهان بصری؛ ورودی شفاهی دستورالعمل‌هایی را برای شرکت‌کنندگان برای نگاه کردن یا حرکت دادن اشیاء در نمایشگر تشکیل می‌داد؛ و تعجب آور نیست که آنها واقعاً روی آن اشیا تثبیت شوند. در مطالعات دیگر، جایی که دستورالعمل خاصی در مورد هدف جملات و تصاویر داده نشده است، شرکت کنندگان احتمالاً گفته‌های گفتاری را به‌عنوان تفسیری بر روی نمایشگرها تفسیر می‌کنند، یا نمایش‌ها را به‌عنوان تصاویری از جملات گفتاری می‌بینند و هدفشان ایجاد بازنمایی ذهنی است. که این دو نوع اطلاعات را به شیوه‌ای معنادار به هم مرتبط می‌کند. همانطور که قبلاً بحث کردیم، این کار را می‌توان با هدایت توجه بصری به نهادهای مربوطه همانطور که ذکر شد، به بهترین نحو انجام داد.

به طور خلاصه، نگاه شنوندگان نشان دهنده کانون توجه بصری آنهاست; جایی که آنها توجه بصری خود را معطوف می‌کنند نه تنها به گفته‌های گفتاری، بلکه به ویژگی‌های اشیا یا به طور دقیق‌تر، به بازنمایی حافظه کاری شنوندگان از اشیاء بستگی دارد (به Huettig و همکاران، این شماره مراجعه کنید)؛ و همچنین به موارد بالاتر. فرآیندهای استنتاج در سطح (مثلاً در مورد دانش گوینده از نمایشگر)؛ و درک شنوندگان و مطابقت با خواسته‌های وظیفه. نظرات مشابه البته در مورد نسخه تولیدی پارادایم صدق می‌کند. در اینجا نیز نگاه چشم شرکت‌کنندگان نشان‌دهنده تخصیص توجه بصری آن‌ها است و زمان و مدت زمانی که شرکت‌کنندگان به اشیاء در یک نمایشگر توجه می‌کنند نه تنها به ویژگی‌های گفته‌هایی که آماده می‌کنند، بلکه به ویژگی‌های نمایشگر نیز بستگی دارد.

این واقعیت که بسیاری از متغیرها می‌توانند به طور بالقوه بر معیارهای وابسته تأثیر بگذارند، می‌تواند به‌عنوان نقطه قوت پارادایم در نظر گرفته شود. زیرا در نسخه‌های مختلف پارادایم می‌توان همه این تأثیرات و تعاملات آنها را بررسی کرد. همانطور که در این بررسی نشان داده شد، پارادایم کلمه بصری برای مطالعه نحوه درک شنوندگان و تولید سخنان توسط سخنرانان استفاده شده است. همچنین می‌توان از آن برای مطالعه پردازش اشیاء در نمایشگر (به عنوان مثال، سرعت فعال‌سازی نام آنها)، یا برای ارزیابی عملکرد شنوندگان یا سخنرانانی که ممکن است در حفظ نمایش‌های شی در حافظه کاری یا تمرکز مشکل داشته باشند، استفاده کرد. در مورد وظیفه (به عنوان مثال، فریدمن هیل و همکاران، 1995، ملت و همکاران، 2003). آن نسخه‌هایی از پارادایم که در آن زوج‌های شرکت‌کننده در تعامل هستند و به یکدیگر دستور می‌دهند تا اشیاء را جابجا کنند یا اطلاعاتی درباره اشیاء درخواست کنند، تقریب‌های بسیار خوبی برای نحوه استفاده از زبان در زمینه‌های مکالمه روزمره هستند (همچنین رجوع کنید به Tanenhaus & Trueswell، 2006).

محدودیت آشکار پارادایم این است که گفتار ارائه شده یا استخراج شده همیشه باید با ورودی بصری مرتبط مرتبط باشد. برای تحقیق تولید، این بدان معنی است که این پارادایم فقط می‌تواند برای مطالعه نحوه تولید سخنان سخنرانان در مورد چیزهایی که می‌بینند (یا، در یک نسخه صفحه خالی از پارادایم تولید، چیزهایی که به تازگی دیده‌اند) استفاده شود. بدیهی نیست که این پارادایم می‌تواند برای مطالعه نحوه تولید سخنان سخنرانان در مورد رویدادهای گذشته یا آینده، یا نحوه بیان شفاهی افکار یا احساسات انتزاعی مورد استفاده قرار گیرد. پارادایم دنیای بصری می‌تواند اطلاعاتی در مورد تولید پیام و فرمول‌بندی گفته‌ها درباره دنیای بصری ارائه دهد، اما نمی‌دانیم که این فرآیندها چقدر شبیه به فرآیندهایی هستند که وقتی سخنرانان در مورد دنیای بصری صحبت نمی‌کنند، بلکه از افکار و احساسات خود صحبت می‌کنند. برای مثال، می‌توان حدس زد که دسترسی واژگانی توسط ورودی بصری پشتیبانی می‌شود و بنابراین در آزمایش‌های دنیای بصری سریع‌تر از بسیاری از موقعیت‌های دیگر، یا اینکه فرآیندهای خطی‌سازی (تصمیم‌گیری به ترتیب ارجاع به اشیاء مختلف) توسط آرایه بصری کنترل می‌شوند و به شیوه‌ای منظم‌تر از حالت عادی رخ می‌دهند.

به دلیل پیچیدگی آزمایش‌های دنیای بصری – این واقعیت که هم تولید یا درک گفتار و هم پردازش یک ورودی بصری درگیر هستند – تفسیر نتایج به ندرت ساده است. به طور خاص در مطالعات درک مطلب، تعیین سهم پردازش دیداری و شنیداری در الگوی یافته‌ها دشوار است. مسائل مهم این است که شنوندگان کدام بازنمایی از محرک‌های دیداری و شنیداری را ایجاد می‌کنند و در کدام سطوح و چگونه حضور اطلاعات بصری بر پردازش اطلاعات شنیداری تأثیر می‌گذارد. این مهم است زیرا بیشتر محققین هدفشان توضیح رفتار شرکت کنندگان در آزمایش دنیای بصری خاص آنها نیست. بلکه هدف آنها تعمیم به طیف وسیع تری از موقعیت‌ها است. در زیر، به بحث می‌پردازیم که چرا چنین تعمیم‌هایی می‌توانند مشکل‌ساز باشند (ر. ک. میچل، 2004).

در آزمایش‌های دنیای بصری، پردازش بر اساس o است n هم ورودی دیداری و هم شنیداری. اطلاعات کمی در مورد ویژگی‌های بازنمایی ورودی گفتار توسط شنوندگان وجود دارد؛ و دشوار است که بگوییم چگونه ممکن است با بازنمایی‌هایی که وقتی تنها با اطلاعات شنیداری ارائه می‌شوند تفاوت داشته باشند (همچنین نگاه کنید به Kamide, Altmann and Haywood, 2003). کامید، شیپرز و آلتمن، 2003). برای مثال، نمایش‌های فضایی ممکن است شنوندگان را از فرآیندهای تشریحی که در غیر این صورت انجام می‌شد منصرف کند، یا ممکن است استنتاج‌هایی را که معمولاً استخراج نمی‌شوند، دعوت کنند.

مطالعات دنیای بصری توسط آلتمن و همکارانش نشان داده است که شنوندگانی که جملاتی مانند “پسر می‌خورد… ” انتظار ادامه “کیک” را دارند، اگر این تنها شیء خوراکی در نمایشگر باشد؛ و شنوندگانی که “دختر خواهد خورد… ” سوار بر…» انتظار داشته باشید که ادامه به جای «موتور سیکلت» «چرخ و فلک» باشد. این مطالعات نشان داده‌اند که شنوندگان هنگام پردازش گفته‌ها می‌توانند از چه نوع اطلاعات و دانشی استفاده کنند، اما همانطور که آلتمن و همکارانش نیز اشاره کرده‌اند، به این معنا نیست که شنوندگان همیشه هنگام شنیدن جملات از این منابع استفاده می‌کنند. در واقع، برخی از آموزنده‌ترین نتایج مطالعات جهان بصری شاید آنهایی باشد که نشان می‌دهد شنوندگان از 2 نوع خاصی از اطلاعات برای هدایت نگاه چشم استفاده نمی‌کنند، به‌عنوان مثال، زمانی که شرکت کنندگان از دانش ذخیره شده رنگ اشیا برای هدایت توجه به اشیایی که با رنگ سیاه نشان داده شده‌اند استفاده نمی‌کنند؛ و سفید (Huettig & Altmann, 2011).

وجود مجموعه‌ای از جایگزین‌های تصویری ممکن است بر نحوه پردازش کلمات فردی نیز تأثیر بگذارد. هندرسون و فریرا (2004) استدلال کرده‌اند که بافت بصری ممکن است «به موقعیتی منجر شود که در آن ورودی زبانی مستقیماً با مجموعه محدودی از امکانات مقایسه شود، نه حالت طبیعی که در آن ورودی باید امکانات و همچنین انتخاب را ایجاد کند. در میان آنها» (ص 48). آنها پیشنهاد کردند که تخمین‌های دوره زمانی در مورد تشخیص کلمات گفتاری بر اساس نتایج دنیای بصری ممکن است به سمت سرعت بیشتر سوگیری شود. به‌عنوان مثال، اگر شنوندگان در اولین لحظات شنیدن «انجام…» نگاه چشم خود را به سمت تصویر سگ معطوف کنند، این لزوماً به این معنا نیست که مردم به طور کلی کلمات گفتاری را به سرعت تشخیص می‌دهند. ممکن است صرفاً به این معنی باشد که اطلاعات صوتی کمی برای تمایز بین تعداد کمی از گزینه‌های موجود در نمایشگر ضروری است و این که سیستم در اصل از تحلیل زبان‌شناختی واژگانی آکوستیک معمولی عبور می‌کند و در عوض به نشانه‌هایی ضربه می‌زند که به طور خاص برای بهینه‌سازی عملکرد در این کار انتخاب شده‌اند. » (ص 48). با این حال، Dahan و Tanenhaus (2004) علیه این پیشنهاد استدلال کرده‌اند، به‌عنوان مثال، اثرات فرکانس هدف دست نخورده (همچنین رجوع کنید به Dahan و همکاران، 2001) و اثرات تراکم همسایگی (همچنین رجوع کنید به Magnuson و همکاران، 2003، Magnuson et al. al., 2007)، حتی زمانی که هیچ شی رقیب نمایش داده نمی‌شد، که به این معنی است که شنوندگان به بازنمایی‌های ذخیره شده کلمات گفتاری در واژگان ذهنی خود دسترسی دارند. بنابراین دور زدن تحلیل‌های واژگانی (اگر این امکان وجود داشته باشد) بعید است.

با این حال، اطلاعات بصری ممکن است به روش‌های ظریف‌تری بر پردازش زبانی تأثیر بگذارد. بدیهی است که سرعت تشخیص کلمات گفتاری ممکن است از طریق آغازگرهای منشأ گرفته از نمایش‌های بصری تحت تأثیر قرار گیرد. همانطور که قبلاً بحث شد، شواهد قوی وجود دارد که تصاویر اشیاء معمولی به سرعت نام آنها را فعال می‌کند (مانند Huettig and McQueen, 2007, Meyer and Damian, 2007, Morsella and Miozzo, 2002). این می‌تواند از تشخیص کلمات گفتاری به روش‌های مختلف پشتیبانی کند. این می‌تواند تشخیص کلمات را سریعتر کند زیرا بازنمایی واژگانی آنها از قبل فعال شده است. داده‌های اخیر از یک مطالعه مقدماتی متقابل وجهی با استفاده از وظیفه تصمیم‌گیری لغوی این دیدگاه را پشتیبانی می‌کند. مک کوئین و هوتیگ (2005) بازداری واج شناختی (برای اعداد اول تصویری که شروع واجی مربوط به جفت‌های هدف ارائه شده به صورت صوتی بود) و تسهیل معنایی (برای همان دسته معنایی جفت‌های اول – هدف) یافتند، که از این تصور حمایت می‌کند که تشخیص کلمات گفتاری می‌تواند تحت‌تاثیر منشا پرایمینگ از مشاهده اشیاء بصری قرار گیرد.

علاوه بر این، سرعت تشخیص کلمات گفتاری ممکن است تحت تأثیر قرار گیرد زیرا پرایمینگ توسط نمایش‌های مشتق شده از دید، ابهام را کاهش می‌دهد. تعداد زیادی کلمه وجود دارد که معانی متمایز دارند (مثلاً «قلم» که به ابزار نوشتاری یا قفس اشاره می‌کند) یا حواس (مثلاً «مرغ» که به یک حیوان کامل یا گوشت اشاره دارد) اما واج‌شناسی یکسانی دارند. آغاز کردن توسط یک مرجع بصری خاص ممکن است دسترسی به آن معنا یا حس را در شنیدن کلمه گفتاری تسریع کند. به طور خلاصه، پارادایم دنیای بصری را نمی‌توان برای استخراج تخمین‌های قابل اعتماد از زمان مطلقی که شنوندگان برای تشخیص کلمات گفتاری نیاز دارند، استفاده کرد.

نوع دیگری از مشکل تفسیری ممکن است در مطالعاتی ایجاد شود که در آن رقبای مرتبط به منظور بررسی اینکه کدام گزینه‌ها هنگام پردازش یک هدف در ذهن شنوندگان فعال می‌شوند، ارائه می‌شوند. به‌عنوان مثال، آلوپنا و همکاران. (1998، بخش 4. 1.) را نشان داد

که شنوندگان با شنیدن “بیکر” هم به تصویر یک رقیب مربوط به شروع (سوسک) و هم به یک رقیب با نام قافیه (گوینده) نگاه کردند. بعید است که این نتایج منعکس کننده فرآیندهای استراتژیکی باشد که شرکت کنندگان به طور جدید در طول آزمایش توسعه می‌دهند. به احتمال زیاد شنوندگان همچنین رقبای ابتدایی کلمه و قافیه را در زمینه‌های دیگر فعال می‌کنند. با این حال، سنجش اهمیت جلوه‌های ضعیف‌تر (اثر قافیه در مثال) دشوار است. در پارادایم کلمه بصری، بازنمایی اشیاء رقیب در حافظه (کار) نگهداری می‌شود. این ممکن است منجر به فعال شدن نمایش‌های واژگانی مربوطه شود و رقبا را قوی‌تر از موقعیت‌های دیگر کند.

سناریوی مخالف نیز ممکن است رخ دهد: نتایج یک آزمایش دنیای بصری ممکن است منجر به دست کم گرفتن احتمال فعال شدن یک نامزد واژگانی شود. این امکان قبلاً با استفاده از مطالعه Dahan و Tanenhaus (2004) به‌عنوان مثال نشان داده شده بود، اما برای بسیاری از مطالعات دیگر نیز کاربرد دارد. رقبای واج‌شناختی (مثلاً «ربات») هدف (مثلاً «بوک») بیشتر از حواس‌پرتی‌های نامرتبط ثابت نشدند، زمانی که هدف از یک بافت محدود معنایی پیروی کرد. با این حال، این لزوماً به این معنا نیست که بازنمایی‌های واژگانی رقیب اصلاً در زمینه محدود فعال نشده است. در عوض می‌تواند به این معنی باشد که فعال شدن رقیب در نگاه چشم منعکس نشده است. این به این دلیل است که توجه آشکار ممکن است منعکس کننده نتیجه فرآیندی باشد که زمینه را با دسترسی واژگانی اولیه (یعنی مبتنی بر فرم) ادغام می‌کند. همانطور که قبلاً اشاره شد، نگاه چشم معیاری برای توجه آشکار است و نه معیاری مستقیم برای فعال سازی بازنمایی‌های واژگانی.

در نهایت، محققین ممکن است علاقه مند به تعیین اینکه چه زمانی یا به چه ترتیبی انواع مختلف اطلاعات مرتبط با یک کلمه (مثلاً رنگ شیء مرجع و اطلاعات دسته معنایی) در دسترس می‌شوند، باشند. برای ارزیابی این موضوع، می‌توان از نمایشگرهایی شامل هدف و رقبای مناسب استفاده کرد. با این حال، تفسیر نتایج چنین مطالعه‌ای می‌تواند با این واقعیت پیچیده شود که زمان حرکات چشم شنوندگان به تعداد و ویژگی‌های همه اشیاء در نمایشگر بستگی دارد. به‌عنوان مثال، سورنسن و بیلی (2007) دریافتند که تعداد کل اشیاء نمایش داده شده در یک آزمایش بر زمان بندی تغییر نگاه چشم به رقبای معنایی تأثیر می‌گذارد.

آنها مشاهده کردند که هرچه اندازه آرایه بزرگتر باشد (چهار، نه یا شانزده شی)، اثرات رقابت دیرتر رخ می‌دهد (به Huettig و همکاران، این موضوع، برای توضیح محدودیت‌های ظرفیت حافظه کاری این یافته مراجعه کنید). Huettig و Altmann (2011؛ به بخش 4. 4 مراجعه کنید) دریافتند که وقتی رقیب رنگ سطحی و رقیب معنایی در یک نمایش بصری یکسان حضور داشتند، شرکت کنندگان نگاه چشم خود را 400 میلی ثانیه دیرتر از زمانی که رقیب رنگی تنها رقیب رنگ بود، به سمت رقیب رنگی هدایت کردند. رقیب در نمایشگر حتی اگر جملات گفتاری در شرایط یکسان بودند. این یافته‌ها نشان می‌دهد که استفاده از زمان‌بندی تغییر نگاه چشم به رقبا در یک آزمایش دنیای بصری برای تخمین اینکه چه زمانی ممکن است در شرایط دیگر در دسترس باشد، نوع خاصی از اطلاعات مرتبط با یک کلمه گفتاری در دسترس است، دشوار است.

در مجموع، پارادایم دنیای بصری برای مطالعه نحوه تولید و درک سخنان افراد درباره اشیا و رویدادهایی که می‌بینند بسیار مناسب است. این موارد بسیاری از موقعیت‌های روزمره را به تصویر می‌کشد که در آن افراد دستورالعمل‌ها یا دستورالعمل‌هایی را برای عمل می‌دهند یا دریافت می‌کنند یا درباره وضعیت کف آشپزخانه، یک نقاشی انتزاعی، یا یک راننده بی‌پروا صحبت می‌کنند. بسیاری از فرآیندهای شناختی که در چنین شرایطی اتفاق می‌افتند را می‌توان با استفاده از پارادایم دنیای بصری ارزیابی کرد. به ویژه، این یک روش عالی برای مطالعه تأثیر متقابل زبان، بینایی، حافظه و توجه است – فرآیندهای شناختی که به طور سنتی به صورت مجزا مورد بررسی قرار می‌گیرند، اما البته همه آنها در هنگام استفاده از زبان درگیر هستند. اگرچه ممکن است فرد اغلب فقط به یک جنبه خاص از عملکرد کاربران زبان علاقه مند باشد (مثلاً توانایی آنها در تشخیص انواع مختلف مصوت‌ها)، تحقیقات تجربی باید همیشه توسط یک مدل نظری جامع هدایت شود که همه مؤلفه‌های شناختی درگیر را در بر می‌گیرد. در وظیفه این به این دلیل است که چنین چارچوبی برای تخمین اینکه کدام نتایج کلی را می‌توان از یک مجموعه خاص از یافته‌ها گرفت، ضروری است.