Letaková integrácia vo vnímaní reči | príroda

Letaková integrácia vo vnímaní reči | príroda

Anonim

abstraktné

Vizuálne informácie z tváre hovoriaceho môžu vylepšiť 1 alebo rušiť 2 presné sluchové vnímanie. Táto integrácia informácií vo zvukových a vizuálnych tokoch sa pozorovala vo funkčných zobrazovacích štúdiách 3, 4 a zvyčajne sa pripisuje frekvencii a robustnosti, s akou vnímatelia spoločne stretávajú informácie špecifické pre jednotlivé udalosti z týchto dvoch spôsobov 5 . Pridanie taktilnej modality sa už dlho považuje za zásadný ďalší krok v porozumení multisenzorickej integrácie. Predchádzajúce štúdie však našli vplyv hmatového vstupu na vnímanie reči iba za obmedzených okolností, buď vtedy, keď si uvedomujúci uvedomovali úlohu 6, 7, alebo kde absolvovali školenie zamerané na vytvorenie intermodálneho mapovania 8, 9, 10 . Tu ukazujeme, že vníma integráciu naturalistických hmatových informácií počas vnímania sluchu bez predchádzajúceho školenia. Vychádzajúc z pozorovania, že niektoré zvuky reči spôsobujú malé záchvaty ašpirácie (napríklad anglické „p“) 11, sme na pokožku účastníkov aplikovali mierne, nepočuteľné vzduchové vdychy na jednom z dvoch miest: na pravej ruke alebo na krku. Slabiky počúvané súčasne s kožnými obláčikmi boli častejšie počúvané ako aspirované (napríklad spôsobujúce, že účastníci mishear 'b' ako 'p'). Tieto výsledky ukazujú, že vnímatelia integrujú hmatové informácie relevantné pre danú udalosť do sluchového vnímania podobne ako vizuálne informácie.

Hlavné

Mnohé jazyky používajú na vyjadrenie základných lexikálnych kontrastov vyhostenie vzduchu alebo „ašpiráciu“ 12 . Anglickí hovoriaci používajú tento mechanizmus na rozlíšenie aspirovaných zvukov, ako sú „pa“ a „ta“, od neapirovaných zvukov, ako sú „ba“ a „da“. Všetky štyri ľudské dermálne mechanoreceptory 13, ako aj mechanoreceptory 14 vo vlasových folikuloch, reagujú na vzduchové potoky. Aerodynamicky je potiahnutie charakterizované ako krátke roztrhnutie turbulentného prúdenia vzduchu s relatívne vyšším počiatočným tlakom 15, 16, ktoré je typické pre obrazec prechodného tlaku vytváraný v aspirovaných zvukoch 17 reči.

Vytvorili sme sluchové podnety zaznamenaním ôsmich opakovaní každej z slabík „pa“, „ba“, „ta“ a „da“ od rodeného hovoriaceho anglického jazyka mužského pohlavia, ktoré sa zhodovalo po dobu trvania (390 - 450 ms), základná frekvencia ( klesajúca výška z 90 Hz na 70 Hz) a intenzita (normalizovaná na 70 decibelov (10 -5 W m -2 ). Účastníci počuli slabiky v dvoch samostatných blokoch: jeden obsahoval iba labiálne súhlásky („pa“ a „ba“), iné obsahujúce iba alveolárne spoluhlásky („ta“ a „da“). Šestnásť tokenov v každom bloku bolo počuť štyrikrát - dvakrát ako iba zvukové kontroly a dvakrát spárované s taktilnými stimulmi. Sluchové stimuly boli sprevádzané bielym šumom hraným pri zväzok určený na zníženie celkovej presnosti identifikácie tokenu, a teda na vytvorenie výraznej nejednoznačnosti, skutočná presnosť je dokumentovaná v doplnkových tabuľkách 1–3.

Použili sme solenoidový ventil pripojený k vzduchovému kompresoru na syntézu malých nadýchnutí vzduchu určených na replikáciu profilu tlaku (prechodné okrajové podmienky), vysokofrekvenčný hluk, trvanie nízkej frekvencie „popu“ a časový vzťah k samovoľnému nástupu prirodzenej aspirácie reči.

V našom prvom experimente sa vzduchové obaly aplikovali na dorzálny povrch ruky medzi pravý palec a ukazovák cez vinylové hadičky s priemerom inch palca (0, 635 cm) pri 6 librách na štvorcový palec (psi; 6 psi ≈ 421, 84 g cm - 2 ) fixované 8 cm od povrchu kože. Zadná strana ruky bola vybraná, pretože má vysokú hmatovú citlivosť 18, a pretože je to miesto, kde bolo pozorované taktilné stimulovanie vrátane prúdenia vzduchu, ktoré vyvoláva nešpecifickú aktiváciu niektorých sluchových kortikálnych neurónov v druhom štádiu v makakoch 19 .

Uvažovali sme o tom, že účastníci môžu mať veľa predchádzajúcich skúseností so vzduchovými obláčikmi na ruke spojenými so zvukami reči - zo súčasného počúvania vlastného hlasu a pocitu vlastného dychu na svojich rukách počas reči. Aby sme určili, či interakcia bude pretrvávať aj v mieste tela, ktoré nemá časté vlastné skúsenosti, navrhli sme druhý experiment, v ktorom sme aplikovali vzduchové vdychy do stredu krku v nadrastnom výreze - miesto, kde účastníci zvyčajne nedostávajú žiadny priamy prúd vzduchu počas svoju vlastnú produkciu reči (hoci pravdepodobne vnímajú, aspoň zriedkavo, cítia na koži nasávaný vzduch partnerov). Rovnako ako pri ručnom experimente sa vzduchové oblátky dodávali cez vinylové hadičky s veľkosťou inch palca pri 6 psi fixovaných 8 cm od povrchu kože.

Okrem pokusov na rukách a krku bol navrhnutý experiment „iba pre sluchové účely“, aby sa zabezpečilo, že účastníkom sa nedajú počuť dychové dúchania. V tomto pokuse bola ¼ palcová trubica umiestnená bezprostredne vedľa pravých slúchadiel účastníkov vo vzdialenosti 5 cm a tlaku 6 psi, smerovaných tangenciálne dopredu tak, aby prúdenie vzduchu nebolo cítené priamo na pokožke alebo vlasoch.

Jeden stereofónny zvukový signál poskytoval zvukové stimuly, ktoré účastníci počuli, a aktivačný signál na otvorenie vzduchového ventilu. Pravý kanál prenášal hovorené slabiky do oboch uší cez slúchadlá nosené účastníkmi, zatiaľ čo ľavý kanál aktivoval solenoid výstupom sínusových vĺn 50 ms 10 kHz pri maximálnej amplitúde zvukovej karty počítača (∼ 1 V) prostredníctvom napätia zosilňovač na relé. Sínusové vlny boli časovo zarovnané s rečovým signálom tak, že po korekcii na systémovú latenciu vzduchové šluky vychádzali z trubice počnúc 50 ms pred vypuknutím samohlásky a končiace sa v okamihu vypuknutia samohlásky, čím sa simulovalo načasovanie prirodzene vyprodukovaných anglických aspirovaných súhlások.,

Účastníci mužstva a ženy boli testovaní vo všetkých experimentoch. Pred experimentom bolo účastníkom oznámené, že môžu pociťovať hluk v pozadí a neočakávané dúchanie vzduchu. Účastníci sedeli vo zvukotesnej kabíne a požiadali o identifikáciu stlačením tlačidla, či počuli „pa“ alebo „ba“ v labiálnom bloku a „ta“ alebo „da“ v alveolárnom bloku. Účastníci boli potom zaviazaní očami a dostali zvukové stimuly prostredníctvom zvukovo izolačných slúchadiel. Nastavenie zariadenia na poskytovanie taktilných podnetov bolo dokončené po tom, čo boli účastníci zaviazaní očami, aby zakryli umiestnenie vzduchových obláčikov v tele.

Analýza rozptylu zmiešaného dizajnu sa uskutočňovala s dvoma súbežnými aspiračnými podmienkami (aspirovanými a nepasírovanými) dvoma podmienkami prúdenia vzduchu (prítomnosť a neprítomnosť) dvoma miestami artikulácie (labiálnymi a alveolárnymi) tromi experimentmi (ruka, krk a sluchové- iba). Výsledky naznačujú slabé hlavné účinky aspirácie ( F (1, 63) = 5, 426, P = 0, 023) (to znamená, že identifikované neapirované zastávky vnímajú ľahšie vo všetkých pokusoch) a miesto ( F (1, 63) = 6, 714, P = 0, 012) (to znamená, že vnímatelia boli o niečo presnejší v porovnaní s alveolárnymi verzus labiálnymi zastaveniami) a silné hlavné účinky aspirácie × prúdenie vzduchu ( F (1, 63) = 26, 095, P <0, 001) (prúdenie vzduchu spôsobilo vnímanie tak bezaspiračných, ako aj aspiračných zastavení) ako častejšie aspirácie) a aspirácia × prietok vzduchu × experiment ( F (2, 63) = 7 600, P = 0, 001) (to je účinok prúdenia vzduchu aplikovaného na experimenty na krku a na ruke, ale nie na experiment iba so sluchovým postihnutím), Neexistoval žiadny významný hlavný účinok prúdenia vzduchu ani interakcie medzi prúdením vzduchu a experimentom (tj použitie prúdenia vzduchu neovplyvňuje celkovú presnosť vnímania stimulov). Neboli pozorované žiadne ďalšie významné účinky.

Aby sa zistilo, či došlo k významným interakciám medzi aspiráciou a prúdením vzduchu v pokusoch na ruke a krku, ale nie na experimente zameranom iba na sluch, boli uskutočnené samostatné analýzy rozptylu s opakovanými meraniami, aspiračnými faktormi (aspirované verzus nepasírované) a vzduchovými dúchadlami (prítomné verzus neprítomné). vykonávané pre alveolárne aj labiálne bloky všetkých experimentov. Ďalej, aby sa určilo, či tieto interakcie demonštrovali zvýšenie vnímania zastaveného aspirovaného zastavenia, ako aj interferencie s nepasirovaným vnímaním zastavenia, boli jednosmerné analýzy rozptylu porovnávajúce vzduchové vdychy (prítomné v porovnaní s neprítomnosťou) vykonávané oddelene pre aspiračné a nepasírované tokeny.

Výsledky ručného experimentu ukázali, že interakcia vzduchových vdychov s vnímaním aspirácie bola významná ( a = 0, 05) pre alveolárny ( F (1, 21) = 17, 888, P <0, 001, čiastočný η 2 = 46, 0%) a labiálne ( F (1, 21) = 14, 785, P <0, 001, parciálne 2 = 41, 3%) bloky (obr. 1). Ďalej prítomnosť vzduchového vdýchnutia zlepšila správnu identifikáciu aspirovaných žetónov („pa“ ( F (1, 21) = 14, 309, P = 0, 001, čiastočná η 2 = 40, 5%) a „ta“ ( F (1, 21) = 8, 650, P = 0, 008, čiastočný η 2 = 29, 2%)) a narušil správnu identifikáciu nepasírovaných tokenov ('ba' ( F (1, 21) = 5 597, P = 0, 028, čiastočný η 2 = 21, 0%) a 'da' ( F (1, 21) = 16, 979, P <0, 001, čiastočné r | 2 = 44, 7%)).

a, Labial; b, alveolárny.

Obrázok v plnej veľkosti

  • Stiahnite si snímku aplikácie PowerPoint

Výsledky experimentu na krku ukázali, že interakcia vzduchových fúknutí s vnímaním aspirácie bola významná pre alveolárny (F (1, 21) = 5, 486, P = 0, 029, čiastočný η 2 = 20, 7%) a labiálny (F (1), 21) = 8 404, P = 0, 009, čiastočné η2 = 28, 6%) bloky (obr. 2). Ďalej prítomnosť vzduchového vdýchnutia zlepšila správnu identifikáciu aspirovaných žetónov („pa“ ( F (1, 21) = 7.140, P = 0, 014, čiastočná η 2 = 25, 4%) a „ta“ ( F (1, 21) = 6, 020, P = 0, 023, čiastočné η 2 = 22, 3%)) a preukázali slabý účinok interferencie so správnou identifikáciou nepasírovaných tokenov („ba“ ( F (1, 21) = 3, 421, P = 0, 078, čiastočné η 2 = 14, 0%) a 'da' ( F (1, 21) = 1, 291, P = 0, 269, čiastočný η2 = 5, 8%)).

a, Labial; b, alveolárny.

Obrázok v plnej veľkosti

  • Stiahnite si snímku aplikácie PowerPoint

Pri experimente zameranom iba na sluch (alveolárny alebo labiálny blok, F (1, 21) <1) sa nezistila žiadna významná interakcia medzi aspiráciou a vzduchovým dúchaním, čo potvrdzuje, že účastníci nemohli počuť prúdenie vzduchu ani aktiváciu kompresora (obrázok 3).

a, Labial; b, alveolárny.

Obrázok v plnej veľkosti

  • Stiahnite si snímku aplikácie PowerPoint

Naše zistenia podporujú hypotézu, že ľudský percepčný systém integruje špecifické informácie o udalostiach relevantné v rámci zvukových a hmatových modalít rovnakým spôsobom, aký bol predtým pozorovaný pri zvukovo-vizuálnom spájaní. Tento efekt sa vyskytuje u vnímateľov bez predchádzajúceho školenia alebo uvedomenia si úlohy a na miestach tela, kde je nepravdepodobné, že by sa tento účinok zosilňoval častými skúsenosťami. Tieto výsledky dopĺňajú nedávnu prácu ukazujúcu zapojenie somatosenzorického systému do vnímania reči 20, čo naznačuje, že nervové spracovanie reči je viac multimodálne, ako sa doteraz predpokladalo. Metódy použité v tomto článku predstavujú model, ktorý umožní budúce funkčné zobrazovacie štúdie pasívnej audio-hmatovej a visuo-hmatovej integrácie, ako aj behaviorálne štúdie viacsenzorického vnímania v predtým netestovaných populáciách vrátane dojčiat a slepých. Pretože tieto zistenia opisujú zlepšenie vnímania počas pasívneho vnímania, naznačujú možné budúce smery v audio a telekomunikačných aplikáciách a pomôcky pre sluchovo postihnutých.

Zhrnutie metód

Syntetické vzduchové obaly

Prístroj na prúdenie vzduchu pozostával z 3-galónového (11, 35-l) bezolejového vzduchového kompresora pripojeného k IQ ventilom na dvojcestnom solenoidovom ventile (model W2-NC-L8PN-S078-MB-W6.0-V110). ) pripojená k vzduchovému filtru Campbell Hausfeld MP513810, ktorý znížil hlasitosť zvuku cez vinyl-palcové vinylové hadičky. Hadička prešla cez káblový port do zvukotesnej miestnosti a namontovala sa na stojan na mikrofón. Prietok vzduchu zo syntetického nafúknutia bol rýchlo opúšťajúci trubicu, s priemerným trvaním turbulencie 84 ms, v porovnaní s 60 ms časom nábehu hlasu pre priemernú priemernú hodnotu 'pa' nášho hovoriaceho a blízkym rozsahu času nábehu hlasu 54 –80 ms pre anglické bezvýsledné slovné nástupy slov (bez aspirácie) 12 . Výstupný tlak syntetizovaných potiahnutí bol upravený tak, aby bol dopad účastníkov minimálne rozpoznateľný. Z tohto dôvodu zaznamenali mikrofónové nahrávky pri 8 cm priemerný maximálny relatívny nedimenzionálny tlak 0, 023 pre syntetické šluky, v porovnaní s 0, 096 pre priemernú hodnotu pa pa nášho hovoriaceho.

procedúra

Celkovo sme testovali 66 účastníkov, 22 pre každú experimentálnu skúšku (ruku a krk) a skúšku iba pre sluch. Polovica dostala najprv labiálny („pa“, „ba“) blok a polovica ako prvý dostala alveolárny („ta“, „da“) blok. V rámci každého bloku účastníci počuli 12 praktických žetónov (šesť s a šesť bez vzduchových vdýchnutí), za ktorými nasledovalo 16 experimentálnych žetónov pre každú podmienku (aspirované verzus nenaspirované, dúchanie verzus žiadne dúchanie, randomizované), čo predstavuje celkom 64 experimentálnych žetónov na blok. Počítačový program zostavený na mieru napísaný v Java 1.6 zaznamenal odpovede z prispôsobenej klávesnice a po každej odpovedi predstavil nové tokeny 1 500 ms. Polovica účastníkov stlačila ľavé tlačidlo, aby naznačila aspirovanú odpoveď, a polovica stlačila pravé tlačidlo.

Doplnková informácia

Súbory PDF

  1. 1.

    Doplnková informácia

    Tento súbor obsahuje doplnkové metódy, doplnkový obrázok 1 a legendy a doplnkové tabuľky 1-3.

Komentáre

Odoslaním komentára súhlasíte s tým, že budete dodržiavať naše zmluvné podmienky a pokyny pre komunitu. Ak zistíte, že je niečo urážlivé alebo nie je v súlade s našimi podmienkami alebo pokynmi, označte ho ako nevhodné.