Juicios de aceptabilidad del español:
Cuándo y cómo llevar a cabo un experimento formal

Santiago Gualchi - FFyL-UBA

Federico Alvarez - FFyL-UBA

Laura Tallon - FFyL-UBA

Charo Zacchigna - FFyL-UBA

Introducción

Juicios informales y formales

Juicios introspectivos del investigador y sus colegas sobre unas pocas oraciones

vs

Juicios de mayor cantidad de sujetos naive, varias lexicalizaciones y análisis cuantitativo

Juicios informales y formales

  • Ciertos autores sostienen que los juicios informales son confiables y no deben ser descartados. Incluso se han hecho experimentos formales a partir de juicios introspectivos que consiguieron un 95% y 98% de replicabilidad (Featherston 2009, Sprouse 2007, 2012, Sprouse y Almeida 2012, 2017, Sprouse y Schütze 2013, 2017, Sprouse, Almeida y Schütze 2013, Muñoz Perez 2014).

Juicios informales y formales

  • Otros critican la elección de los juicios clásicos en los que se basaron dichos experimentos y consideran que es necesaria una metodología formal con análisis cuantitativo (Gibson y Fedorenko 2013, Gibson, Piantadosi y Fedorenko 2013).

  • Una tercera posición plantea la necesidad de experimentos formales solo en ciertos tipos de juicios (Marantz 2005, Linzen y Oseki 2018).

Tipos de juicios según Marantz (2005)

Clase I

  1. *Man the book a women those to given has.

Clase II

  1. A. The scared man jumped from his seat.
    B. *The man scared jumped from his seat.
  2. A. The men are leaving.
    B. *The men is leaving.

Tipos de juicios según Marantz (2005)

Clase III

judgments about locality domains for long-distance dependencies (i.e., constraints on wh- movement), judgments about possible co-reference among discourse entities (as for “binding theory”) and judgments about semantic scope, e.g., relative scope of quantifiers (p. 434).

Solo con estos últimos un experimento formal es
“posible y útil”.

Linzen y Oseki (2018)

  • La literatura del debate se restringe al inglés.
  • Podría haber una diferencia en la replicabilidad de juicios de una lengua a otra.
  • Los juicios elegidos en los experimentos formales son tomados al azar, de modo que hay muchos de tipo II → inflación en las tasas de replicabilidad.
  • Los experimentos formales son necesarios para los juicios de tipo III considerados “cuestionables”.
  • Experimento en hebreo y japonés: solo la mitad y un tercio de los contrastes se replican → Los lingüistas son capaces de advertir cuáles juicios son cuestionables y cuáles no.

Experimento

Corpus

  1. CT: Nos vio a mí y al doctor.
  2. CUC: *Lo vio a mí y a tu amigo.
  3. LDxCPC: Te vi a vos ayer y a tu hermana hoy.
  4. LCxCPC: Te vi a vos y a tu hermana juntos.

Marco teórico

  • Sistema probe-goal (2000, 2001)
  • Enfoque estructural de la elipsis (Saab 2008, Gallego 2011, Merchant 2016)
  • Enfoque binario y endocéntrico de la coordinación (Johannessen 1996, Camacho 2003, Zhang 2010)
  • Conjunción proyecta un SD (Zhang 2010)

Predicciones

  • Si vamos un poco más lejos, de estos análisis se desprenden las siguientes predicciones.

Por lo tanto

Si no es el caso que:

  • LCxCPC: Me conoció a mí y al ingeniero juntos.
  • LDxCPC: Me conoció a mí ayer y al ingeniero hoy.
  • LCxCUC: *Lo conoció a mí y al ingeniero juntos.
  • LDxCUC: *Lo conoció a mí ayer y al ingeniero hoy.
  • LCxCT: Nos conoció a mí y a al ingeniero juntos.
  • LDxCT: *Nos conoció a mí ayer y al ingeniero hoy.

entonces [es posible que] el marco teórico o el análisis sean incorrectos.

Objetivo

  • Verificar que el marco teórico predice correctamente la pertenencia o no (respectivamente) al español rioplatense para las construcciones mencionadas.

Diseño experimental

Participantes (260)

  • Argentinos (CABA y pcia. de Bs. As.)
  • Español rioplatense como L1
  • 16 a 65 años (mediana: 26, IQR: 10)

Diseño experimental

Materiales

  • Lista de estímulos presentada a través de Google Forms
  • Escala de Likert de 1 a 5 según “naturalidad” con 58 estímulos:
    • 18 ítems experimentales
    • 36 fillers
    • 4 ítems de práctica

Diseño experimental - Estímulos

Ítems experimentales (18)

Según lectura (colectiva: LC; distributiva: LD) y concordancia (total: CT; con el primer coordinado: CPC; con el último coordinado: CUC):

  • 3 ítems con LC y CT: Nos conoció a mí y al ingeniero juntos.
  • 3 ítems con LC y CPC: Me entrenó a mí y al futbolista juntos.
  • 3 ítems con LC y CUC: Lo recibió a vos y a tu hermano juntos.
  • 3 ítems con LD y CT: Los cuidó a ella el lunes y al bebé el viernes.
  • 3 ítems con LD y CPC: Te saludó a vos en la puerta y al dueño en el jardín.
  • 3 ítems con LD y CUC: Lo abrazó a mí antes y a tu primo después.

Diseño experimental - Estímulos

Fillers (36)

  • 18 inaceptables: Los nadó a los alumnos.

  • 18 aceptables: Lo mató al soldado.

Todos comenzaban con un pronombre a fin de “esconder” los ítems experimentales.

Diseño experimental - Estímulos

Ítems de prueba (4)

  • Buenos: Mi hermano y sus amigos juegan a las cartas.
  • Malos: Mi pez tengamos hambre.

Todos estaban resueltos y acompañados de un texto explicativo sobre la resolución.

Diseño experimental

Procedimiento

  • Datos personales: edad, género, nivel de estudios, carrera, profesión, residencia en sus primeros 10 años, idioma en el que le hablaron los padres y finalmente nivel de otro/s idiomas

  • Consigna e ítems de práctica

  • Estímulos en orden pseudoaleatorio

  • Agradecimiento y mail de contacto

* La participación fue totalmente anónima

Resultados

  • En 5 de 6 casos, los resultados se hallan completamente polarizados

  • Condición DT tiene mediana 4 y moda 5

Resultados

  • CP, CT y DP similares entre sí

  • CU y DU similares entre sí

  • DT en lugar intermedio

Resultados

Modelo lineal con efectos mixtos

puntaje ~ Lectura*Concordancia + (1+Lectura*Concordancia|sujeto) + (1|oracion)

Resultados

Comparaciones múltiples

Discusión

Clíticos

  • Se observa que para 5 de los 6 casos las predicciones se corresponden con los juicios de los hablantes.

Clíticos

  • Nos conoció a mí y a al ingeniero juntos. 😀
  • *Nos conoció a mí ayer y al ingeniero hoy. 😭
  • Me conoció a mí y al ingeniero juntos. 😀
  • Me conoció a mí ayer y al ingeniero hoy. 😀
  • *Lo conoció a mí y al ingeniero juntos. 😀
  • *Lo conoció a mí ayer y al ingeniero hoy. 😀

Clíticos

  • En el caso de Nos conoció a mí ayer y al ingeniero hoy, observamos que más de la mitad de las puntuaciones son mayores a 4 contrario a las hipótesis iniciales.
  • Algunas posibles explicaciones son:
    • el marco teórico/análisis son incorrectos.
    • existea derivación independiente a las anteriores (ejemplo: lectura de lista)

Conclusiones metodológicas

  • Diferencias significativas graduadas; respuestas binarias no dan cuenta de contrastes (caso DT)
  • Hay diferencias sólo visibles en las interacciones entre variables
  • Posibilidad de considerar la variación individual en el modelo
  • Posibilidad de considerar el efecto de ítems particulares

Observaciones

  • La recolección de datos es relativamente sencilla (~387 respuestas en una semana)
  • El diseño obliga a tener en cuenta variables a controlar (ej: adjuntos)

Direcciones futuras

  • Completar cuadrado latino
  • Reevaluar modelo utilizado; métodos bayesianos
  • Analizar información adicional recolectada

¡Gracias!

Grupo de Estadística para el Estudio del Lenguaje

gesel.contacto@gmail.com

https://gesel.github.io

Facebook: @geselba