L'adquisició de la coordinació temporal entre gest i parla

Transcripción

1 L'adquisició de la coordinació temporal entre gest i parla Workshop sobre multimodalitat Núria Esteve Gibert Grup d Estudis de Prosòdia, Universitat Pompeu Fabra (Barcelona)

2 Introducció. Relació entre gest i parla Cinc raons que expliquen perquè el gest és comunicatiu i : forma un sistema integrat amb la parla (McNeill, 1992): 1. El gest conocorre amb parla en el 90% dels casos 2. Els infants adquireixen alhora gest i parla 3. Hi ha sincronització fonològica entre gest i parla 4. Gest i parla són coexpressius pel que fa a la semàntica i la pragmàtica 5. Gest i parla queden afectats alhora en afàsies L stroke del gest ocorre abans o acaba durant la síl laba fonològicament més prominent de la parla, mai ocorre després. (Kendon, 1980)

3 Introducció. Adquisició de la coordinació gest-parla En infants, gest i parla formen un únic sistema? En infants, les combinacions gest parla estan sincronitzades fonològicament? Butcher & Goldin-Meadow (2000) Els infants no produeixen combinacions gest-parla fins al final del període d una paraula. En el període d una paraula, cinc dels sis infants encara no sincronitzen les combinacions gest-parla. No comencen a sincronitzar gest i parla fins al principi del període de dues paraules. SINCRONITZACIÓ: concurrència de la vocalització amb l stroke del gest o en el punt de més esforç en el gest (la màxima extensió de la mà abans d iniciar la retracció).

4 Problemes de recerca 1. Si els adults produeixen gestos acompanyats de parla el 90% dels casos, què fan els infants durant l etapa del balboteig? 2. Si els adults sincronitzen gest i parla, els infants també els sincronitzen durant l etapa del balboteig? I, com és aquesta sincronització en comparació amb els adults? 3. Gest i parla és un mateix sistema que s adquireix o es desenvolupa alhora? 1. Estudi de control amb adults 2. Estudi amb infants

5 Estudi 1: adults

6 Metodologia (basada en Rochet-Capellan et al, 2008) Participants 15 parlants adult de català (de moment, resultats pilots) Materials Tasca d assenyalar + pronunciar en un context de focus contrastiu 12 paraules target: /'pa/, /pa'pa/, /'papa/, /'ta/, /ta'ta/, /'tata/, /'ma/, /ma'ma/, /'mama/, /'na/, /na'na/, and /'nana/.

7 Metodologia Anàlisi Anotació de gestos de pointing que ocorren amb parla pel que fa a: 1. Fases del gest (sobretot, stroke) 2. Posició de la síl laba tònica 3. Posició del pic tonal stroke - síl laba tònica stroke - pic tonal pic tonal - síl laba tònica

8 Metodologia

9 Resultats La posició de l stroke respecte de la síl laba tònica varia significativament en funció de quina sigui aquesta síl laba (p<.000). 300 distància entre el final de l'stroke i el final de la síl laba tònica >0 La síl laba tònica acaba abans que acabi l stroke <0 La síl laba tònica acaba després que acabi l stroke monosil labs troqueu posició de la síl laba tònica iambe

10 Resultats La posició del pic tonal respecte de l stroke i de la síl laba tònica varia significativament en funció de quina sigui la síl laba més prominent. >0 El pic tonal ocorre abans que acabi la síl laba tònica <0 El pic tonal ocorre després que acabi la síl laba tònica >0 El pic tonal ocorre abans que acabi l stroke <0 El pic tonal ocorre després que acabi l stroke distància entre el pic tonal i el final de la síl laba tònica distància entre el final de l'stroke i el pic tonal monosíl labs troqueus iambe monosíl labs troqueus iambes posició de la síl laba tònica posició de la síl laba tònica D acord amb Prieto & Ortega-Llebaria (2007)

11 Resultats Sembla que el final de l stroke és la part més important en la coordinació temporal. El final de l stroke s alinea més amb el pic tonal que no pas amb el final de la síl laba tònica. monosíl labs troqueus iambes

12 Estudi 2: infants

13 Metodologia Participants Corpus de quatre infants monolingües catalans que es van començar a gravar a 0;6 (ara tenen 2;5 i encara segueix en procés): An, Bi, Ma, and On. Gravacions setmanals o quinzenals durant 30 minuts a casa seva mentre juguen espontàniament amb els seus pares. Materials Actes comunicatius visuals o vocals produïts pels nens quan tenien 0;11, 1;1, 1;3, 1;5 i 1;7. En total s han analitzat actes comunicatius.

14 Metodologia Anàlisi Classificació dels actes comunicatius en una d aquestes categories: 1. Speech-only 2. Gesture-only 3. Gesture-speech combination Anotació dels díctics segons: Fases del gest Pic tonal Intenció comunicativa Paraula target / vocalització 0;11 1;1 1;3 1;5 1;7 Speech-only Gesture-only Gesture-speech combination

15 Metodologia

16 Resultats A 0;11, de tots els actes comunicatius que contenen gest, el 43,26% van acompanyats de parla. A 1;1, de tots els actes comunicatius que contenen gest, el 54.8% van acompanyats de parla. A 1;3-1;7, proporció encara més alta de combinacions gest-parla * * * * * p=.088 * * 0;11 1;1 1;3 1;5 1;7 gesture only gesture + speech

17 Resultats Al final del balboteig i principi del període d una paraula, els infants ja produeixen una proporció més alta de combinació gest-parla ben coordinades que no pas combinacions mal coordinades. speech and manual gesture combinations in children ;11 1;1 1;3 1;5 1;7 peak during stroke peak before stroke peak after stroke

18 Resultats Durant el balboteig, el pic tonal tendeix a estar alineat al final de l stroke del gest díctic. Al final del balboteig i principi del període d una paraula, el pic tonal es va desplaçant cap a l esquerra i va a buscar el principi de l stroke. 0;11 1;1 1;3 1;5 1;7

19 Conclusions generals 1. Els gestos concorren amb parla durant el balboteig Al final de l etapa del balboteig la majoria de gestos concorren amb parla.

20 Conclusions generals 2. Quan es comença a sincronitzar gest i parla? Com és aquesta sincronització en comparació amb els adults? Al principi del període d una paraula la majoria dels gestos estan coordinats temporalment amb la parla. Durant el balboteig, el pic tonal tendeix a alinear se al final de l stroke; quan comencen a produir les primeres paraules, el pic tonal s alinea més al principi de l stroke.

21 Conclusions generals 3. Gest i parla és un mateix sistema que s adquireix o es desenvolupa alhora? Aquests resultats suggereixen que el gest i la parla formarien un sistema integrat a partir del final de l època del balboteig. Els infants coordinen gest i prosòdia com els adults abans de produir les primeres paraules.

22 Futurs estudis La coordinació entre gest i parla durant el balboteig des d un punt de vista perceptiu, semàntic i pragmàtic.

23 Gràcies!