Iigo Zumaran Gil

Trabajo Obligatorio Tcnicas de Estudio e Investigacin Curso 2013-2014 B.Sc. (Hons.) Mantenimiento y Gestin de la Produccin Validated by University of Wales
FUNDACIN SAN VALERO SEAS, Centro de Formacin Abierta ZARAGOZA

Trabajo obligatorio Propuesta

Cdigo: FC_1045-03

Pgina: 2/11

ANALISIS EXPERIMENTAL: REPERCUSION EN EL RESULTADO DE PRUEBAS OBJETIVAS (TEST) SEGN EL TIPO DE PREGUNTA FORMULADA
Iigo Zumaran Gil SEAS, Centro de Formacin Abierta ZARAGOZA

FC-1002-01

Trabajo obligatorio
Propuesta de trabajo Propuesta

Cdigo: FC_1045-03

Pgina: 3/11

EL INFORME DE INVESTIGACIN

El desarrollo del presente trabajo tiene como objetivo central elaborar un informe de investigacin completo partiendo de los datos que se proporcionan en el supuesto prctico que se facilita a continuacin.

En el informe deben constar todos los componentes de un informe citados en la unidad didctica 5.

Pautas Generales

Temtica.

El alumno tendr que desarrollar su informe sobre el supuesto prctico propuesto, no se admitirn temticas alternativas.

Antes de desarrollar el informe el alumno tendr que valorar qu fuentes de informacin sern necesarias para su desarrollo.

Fuentes.

Las fuentes de referencia deben ser siempre mltiples, en ningn caso el alumnado se limitar a extraer informacin de un libro o una pgina web o una enciclopedia, por ejemplo.

El contenido no se desarrollar mezclando y superponiendo informacin procedente de distintas fuentes sin ms, sino sintetizando y elaborando los contenidos segn el enfoque que cada uno vaya a darle. Por este motivo no tiene sentido elaborar el trabajo basndose en el procedimiento de "copiar" y "pegar" informacin extrada de diversos medios.

FC-1002-01

Trabajo obligatorio

Cdigo: FC_1045-03

Propuesta

Pgina: 4/11

La informacin obtenida por un medio debe ser contrastada con otros medios de forma que se pueda elaborar una sntesis lgica sobre la temtica elegida a los que se hace referencia, as como su justificacin.

Presentacin del documento:

Deber contener los apartados relevantes propuestos en el temario para el desarrollo de un informe de investigacin.

FC-1002-01

Trabajo obligatorio Propuesta

Supuesto Prctico1 INTRODUCCIN

Cdigo: FC_1045-03

Pgina: 5/11

La experiencia docente ha demostrado, en muchas ocasiones, que a los alumnos les resulta ms fcil identificar la respuesta verdadera en una prueba objetiva (test), cuantas menos opciones se les dan de respuestas errneas en la pregunta. Tambin parecen alcanzar mayor xito cuando entre dos alternativas (una verdadera y otra falsa) tienen que identificar la verdadera. Con el fin de comprobar esto experimentalmente, se ha planificado la presente investigacin.

MTODO

Sujetos: La muestra inicial estaba constituida por 100 alumnos (varones y mujeres) de primer curso de Psicologa de la Universidad Autnoma de Madrid, con edades comprendidas entre 19 y 22 aos.

Variables, diseo y procedimiento: Se eligieron 5 modalidades de preguntas que fueron las siguientes: responder verdadero o falso a una nica respuesta (a1); identificar la respuesta verdadera de entre dos alternativas (a2); identificar la verdadera entre tres alternativas (a3); identificar la verdadera entre 4 alternativas (a4); e identificar la verdadera entre 5 alternativas (a5). Las preguntas fueron siempre las mismas y la opcin correcta se mantuvo constante en todos los casos. Las opciones incorrectas eran las mismas, aadiendo una ms en cada condicin. Cada tratamiento correspondi a un grupo diferentes de sujetos.

Ejemplo a1. Indica si la siguiente afirmacin es verdadera o falsa:

Mtodo cientfico es el que obtiene conclusiones generales a partir de premisas

particulares.

FC-1002-01

Trabajo obligatorio Propuesta

Cdigo: FC_1045-03

Pgina: 6/11

Ejemplo a2. Indica cul de las siguientes afirmaciones es verdadera:

a.

Mtodo cientfico es el que obtiene conclusiones generales a partir de premisas particulares. Mtodo cientfico es aquel con el que se hace la ciencia y como contrapartida Ciencia es el conjunto de conocimientos obtenidos mediante el mtodo cientfico.

b.

El supuesto experimental propuestos para el desarrollo del trabajo no es reales, los datos son ficticios, ya que la nica finalidad del mismo, es la de poder realizar la actividad propuesta.

FC-1002-01

Trabajo obligatorio Propuesta

Ejemplo a3. Indica cul de las siguientes afirmaciones es verdadera:

Cdigo: FC_1045-03

Pgina: 7/11

a.

Mtodo cientfico es el que obtiene conclusiones generales a partir de premisas particulares.

b.

Mtodo cientfico es aquel que no presenta valores de variables pero si puede introducir algo similar a la programacin de procedimientos para la recogida de datos. Mtodo cientfico es aquel con el que se hace la ciencia y como contrapartida Ciencia es el conjunto de conocimientos obtenidos mediante el mtodo cientfico.

c.

Ejemplo a4. Indica cul de las siguientes afirmaciones es verdadera:

a.

Mtodo cientfico es el que obtiene conclusiones generales a partir de premisas particulares.

b.

Mtodo cientfico es aquel que no presenta valores de variables pero si puede introducir algo similar a la programacin de procedimientos para la recogida de datos.

c.

Mtodo cientfico es aquel con el que se hace la ciencia y como contrapartida Ciencia es el conjunto de conocimientos obtenidos mediante el mtodo cientfico. Mtodo cientfico es el estudio de un fenmeno que suele darse a la vez que se ha planteado un problema.

d.

Ejemplo a5. Indica cul de las siguientes afirmaciones es verdadera:

FC-1002-01

Trabajo obligatorio Propuesta

a.

Cdigo: FC_1045-03

Pgina: 8/11

Mtodo cientfico es el que obtiene conclusiones generales a partir de premisas particulares.

b.

Mtodo cientfico es aquel que no presenta valores de variables pero si puede introducir algo similar a la programacin de procedimientos para la recogida de datos.

c.

Mtodo cientfico es aquel con el que se hace la ciencia y como contrapartida Ciencia es el conjunto de conocimientos obtenidos mediante el mtodo cientfico.

d.

Mtodo cientfico es el estudio de un fenmeno que suele darse a la vez que se ha planteado un problema.

e.

Mtodo cientfico es una investigacin que trata de probar una hiptesis.

FC-1002-01

Trabajo obligatorio Propuesta

Cdigo: FC_1045-03

Pgina: 9/11

El nmero de preguntas fue de 100, y para evitar las respuestas al azar, se penalizaron los errores en funcin de la probabilidad de aciertos aleatorios en cada caso. As en a1 y a2 la puntuacin fue igual a: A (1/2 E); en a3: A (1/3 E); en a4: A (1/4 E); y en a5: A (1/5 E). Los sujetos haban sido previamente advertidos de esta penalizacin, por lo que deban asegurarse antes de responder de la exactitud de su respuesta.

Para la constitucin de los grupos, se controlaron 3 posibles variables contaminadoras y se tomaron 5 bloques para cada una: da de la semana (I) (lunes, martes, mircoles, jueves y viernes); hora del da (II) (9, 10, 11, 12, 13): y conocimientos previos de la materia (III) (12; 34; 5-6; 7-8; 9-10).

Para los conocimientos previos de la materia de (Psicologa Experimental) se tomaron las puntuaciones que haban obtenido los sujetos en un primer parcial de la asignatura.

Todos los alumnos tuvieron el mismo profesor durante el curso, que fue el mismo que les aplic la prueba.

En funcin de los resultados obtenidos en el primer parcial de la asignatura, solamente fue posible que participasen 75 alumnos en el experimento (3 por celdilla).

La puntuacin obtenida por los sujetos en la prueba, fue en todos los casos igual a los aciertos, descontando de ellos el porcentaje de errores correspondiente a su condicin experimental.

FC-1002-01

Trabajo obligatorio Propuesta

Cdigo: FC_1045-03

Pgina: 10/11

RESULTADOS:

Lunes a 1b 1 27.6 9

Martes a 2b 3 79.5

Mircoles a 3b 5 74.8

Jueves a 4b 2 44.6

Viernes a 5b 4 63.8

33.5 a 2b 2 63.5 43.4

82 a 3b 4 65.5 73.5 72.6 a 4b 5 83.2 58.9 76.3 a 5b 1 32.2 61.4 19.4 a 1b 2 43.1 26.1 36.2

63.9 a 4b 1 36.1 58.7 49.2 a 5b 2 50.8 27.3 43.7 a 1b 3 53.8 39.9 62.5 a 2b 4 93.7 59.2 89.2

51.4 a 5b 3 53.9 49.4 61.2 a 1b 4 53.7 62.5 72.6 a 2b 5 95.3 71.4 87.2 a 3b 1 31.7 94.6 29.2

59.7 a 1b 5 63.2 61.2 62.8 a 2b 1 49.3 78.4 46.1 a 3b 2 37.2 39.7 49.5 a 4b 3 49.4 51.2 71.1

10

59.8 a 3b 3 53.4 61.2

11

61.7 a 4b 4 71.8 49.5

12

69.2 a 5b 5 83.9 67.3

13

76.5 Figura 1.1. 59.8

Tabla. Puntuaciones medias final de curso. 39.9 91.1 16.5 62.4

A efectos de la representacin de los datos en la matriz, se han denominado b1, b2, b3, b4 y b5 a los valores de la tercera variable controlada (conocimientos previos de la materia) cuyos valores eran respectivamente 1-2; 3-4; 5-6; 7-8; 9-10.

FC-1002-01

Trabajo obligatorio Propuesta

Objetivos del trabajo

Cdigo: FC_1045-03

Pgina: 11/11

Con el presente trabajo se pretende:

Adquirir un mtodo de trabajo sistemtico.

Aprender a detectar, elaborar, formular, evaluar y decidir un problema de

investigacin.

Desarrollar destrezas para buscar diferentes fuentes de informacin.

Interpretar, ordenar y sintetizar la informacin obtenida.

Adquirir una visin crtica respecto de las fuentes de informacin.

Desarrollar un informe analtico completo sobre la informacin recopilada.

Ofrecer conclusiones concretas a partir de los datos recopilados.

Incluir todos los contenidos (oportunos) de un proyecto de investigacin.

Aprender a realizar citas y referencias bibliogrficas de manera adecuada.

Bibliografa

FC-1002-01

Trabajo obligatorio Propuesta

Cdigo: FC_1045-03

Pgina: 12/11 A continuacin se ofrecen algunas fuentes documentales recomendadas, adicionales al manual de la asignatura, que pueden servir de apoyo para el desarrollo del trabajo. Se espera que el alumno ample la bsqueda como parte de su labor de investigacin.

Aguilar Morales, J.E. (2011). La evaluacin educativa. Recuperado el 27 junio 2013,

desde http://www.conductitlan.net/psicologia_educacion/evaluacion_educativa.pdf

Blaxter, L.; Hughes, C. y Tight, M. (2008). Cmo se investiga. Barcelona: Gra.

Bunge, M. (2000). La investigacin cientfica: su estrategia y su filosofa. Mxico. Siglo XXI.

Chadwick, C. (1979). Tcnicas del aprendizaje. Santiago. Editorial Tecla.

Fuentes de informacin bibliogrfica y documental para el proyecto fin de carrera.

(n.d.). Servicio de Informacin y Documentacin. Biblioteca universitaria. Recuperado el 20 mayo 2011, desde http://biblioteca.unirioja.es/bdg/bdgpfc.pdf

Morales Vallejo, P. (2006). Las pruebas objetivas: normas, modalidades y

cuestiones discutidas. Recuperado el 27 junio 2013, desde http://www.upcomillas.es/personal/peter/otrosdocumentos/PruebasObjetivas.pdf

Proyectos fin de carrera. (n.d.). Recuperado el 20 mayo 2011, desde

http://www.proyectosfindecarrera.com/

FC-1002-01

Trabajo obligatorio Propuesta

Criterios de evaluacin

Cdigo: FC_1045-03

Pgina: 13/11

La evaluacin, es una componente fundamental de la formacin. Este trabajo obligatorio formar parte de tu calificacin final. En esta tabla, se resumen los aspectos a valorar y el porcentaje que representa cada uno de los mismos.

% Total

% Ob.

Contenidos generales Estructuracin, Exposicin, Orden, limpieza y presentacin. Claridad en los conceptos. Temas de especialidad Contextualizacin Planteamiento Resultados y Conclusiones Referencias y citas Otras aportaciones Investigacin (referencias a textos relevantes, relacionados con la temtica del supuesto prctico) Informacin adicional (tablas, grficos, etc. correctamente integrados en el texto) TOTAL
3 2

20

2 Correc

20 60 10 20 20 10 20

10

10 100

Fecha lmite de recepcin de trabajos

Estn disponibles en el apartado Fechas de Examen de la plataforma informtica.

FC-1002-01

Trabajo obligatorio Propuesta

Cdigo: FC_1045-03

Pgina: 14/11

Slo se valorar en la calificacin final la puntuacin de contenidos generales y otras aportaciones

si la calificacin de los temas de la especialidad es igual o superior a 30 puntos.

3

Se descontarn 10 puntos de la calificacin final por faltas de ortografa.

FC-1002-01

Trabajo obligatorio Propuesta

Ficha de Correccin del Trabajo

Cdigo: FC_1045-03

Pgina: 15/11

(Espacio reservado para anotaciones del profesor y doble corrector)

Profesor: Alumno (Cdigo / Nombre): Fecha de Entrega: Fecha de Calificacin:

Observaciones sobre el trabajo:

Este espacio est reservado para que el profesor titular describa anotaciones que considera importantes sobre la realizacin del trabajo

Tambin est destinado para que el profesor que efecta la doble correccin pueda realizar sus anotaciones, asimismo se podrn describir las conclusiones a las que se ha llegado tras realizar la doble correccin.

FC-1002-01

Trabajo obligatorio Propuesta

Formato de presentacin

Cdigo: FC_1045-03

Pgina: 16/11

1. La extensin del trabajo no deber superar 30 pginas.

2. Se presentar en formato informtico toda la informacin del trabajo.

3. Las normas de presentacin sern las siguientes:

Procesador: Microsoft WORD.

Tamao de letra: 12 ptos.

Tipo de letra: sern aconsejables letras como Arial o Times New Roman.

Espaciado entre lneas: 1,5

Mrgenes:

Lateral izquierdo: 3 cm.

Lateral derecho: 2 cm.

Margen superior: 3,5 cm.

Margen inferior: 2,5 cm.

4. En caso de que el trabajo requiera archivos externos (dibujos Autocad, Catia, Excel, Power Point, programacin, etc.) stos debern entregarse junto al trabajo. Es posible que algunos trabajos solo consten de estos ficheros, por lo cual no tendr validez lo indicado en el punto 3.
FC-1002-01

Trabajo obligatorio Propuesta

Cdigo: FC_1045-03

Pgina: 17/11 5. Si el trabajo consta de varios archivos deber entregarse en un solo fichero

comprimido.

6. Si el tamao del archivo a enviar excede de 5Mb, deber entregarse en soporte fsico o cualquier otro medio acordado con el profesor de la asignatura.

7. Resear referencias bibliogrficas cuando se incluyan frases o textos de otros autores, de lo contrario podr interpretarse como plagio.

8. La fecha de entrega ser la misma para todos los trabajos de todas las asignaturas y se comunicar al principio de cursar dicha asignatura. Segn las regulaciones acadmicas de Universidad de Gales, si un alumno no entrega un trabajo obtendr una calificacin de cero. Si el alumno entrega tarde el trabajo la nota se realizar a discrecin del profesor, siendo la mxima nota un 40%. La nota ser calculada de acuerdo con las siguientes condiciones:

Si se entrega un da tarde, la nota mxima ser un 40%

Si se entrega dos das tarde, la nota mxima ser un 35% (con posibilidad de
compensar).

Si se entrega ms de dos das tarde, la nota obtenida ser de 0%.

FC-1002-01

Trabajo obligatorio Propuesta

Cdigo: FC_1045-03 Pgina: 18/39

Desarrollo trabajo

de

Espacio reservado para el desarrollo del trabajo por parte del alumno.

El alumno deber entregar el trabajo en este mismo formato con el objetivo de que el profesor pueda asignar la nota en el apartado criterios de calificacin y aportar observaciones en el apartado ficha de correccin.

FC-1002-01

Trabajo obligatorio Propuesta

Cdigo: FC_1045-03 Pgina: 19/39

INDICE Resumen.__________________________________________Pg.20 Introduccin________________________________________Pg.21 Problema y objetivos_________________________________Pg.24 Metodologa________________________________________Pg.25 Resultados_________________________________________Pg.27 Discusin y conclusiones______________________________Pg.34 Referencias________________________________________Pg.38

FC-1002-01

Trabajo obligatorio Propuesta

Cdigo: FC_1045-03 Pgina: 20/39

RESUMEN. Mediante la recoleccin de datos a un mismo colectivo de sujetos se ha intentado encontrar una relacion entre variables que se han determinado y que pueden influir en el resultado de la prueba objetiva test). Para ellos se analizan datos y se elabora una conclusin de lo que puede ser una opcin final de este estudio. Se han tomado referencias a estudios anteriores que abordan similares problemticas sobre este tipo de pruebas.

FC-1002-01

Trabajo obligatorio Propuesta

Cdigo: FC_1045-03 Pgina: 21/39

INTRODUCCION

El presente informe pretende dar a conocer los resultados obtenidos tras la realizacin de la investigacin experimental acerca de pruebas objetivas (test). Estas pruebas son criticadas por la elevada incidencia del factor azar debido al escaso valor de diagnstico que comportan y por la posibilidad que el estudiante de por ciertos enunciados que responde equivocadamente. La evaluacin en el rendimiento de constituye una tarea de crucial importancia en el mbito de los procesos de enseanza-aprendizaje. Para el profesor, la evaluacin del rendimiento provee retroalimentacin sobre la eficacia de su actuacin docente, permitindoles identificar los resultados de su trabajo ,determinar qu contenidos no han sido suficientemente adquiridos y, en consecuencia, tomar decisiones que podran afectar al modo en que se enfoca la enseanza. Desde la perspectiva del alumno, la evaluacin del rendimiento supone una piedra para valorar su progreso en el aprendizaje, pero sobre todo, representa el modo en que la institucin universitaria comprueba su grado de competencia en las diferentes disciplinas acadmicas de cara a otorgarle una titulacin. La repercusin personal que conlleva el xito o el fracaso del alumno en una materia hace que la evaluacin sea un foco de atencin prioritario del alumno, y en funcin de sta oriente en buena medida su trabajo. Cuando una evaluacin del aprendizaje tiene como fin valorar el nivel de logro alcanzado para otorgar una calificacin acadmica, la objetividad en la asignacin de tales calificaciones es un aspiracin docente. Esta es una de las razones por las que las pruebas objetivas se han extendido ampliamente en la enseanza universitaria, tanto para evaluar el rendimiento alcanzado al cursar una materia como para la seleccin u obtencin del grado. El uso de pruebas objetivas se ha convertido, en cierto modo en uno de los procedimientos ms populares para la evaluacin del rendimiento universitario, presentando frente a exmenes tradicionales construidos mediante preguntas de ensayo toda una serie de ventajas que se han

FC-1002-01

Trabajo obligatorio Propuesta

Cdigo: FC_1045-03 Pgina: 22/39

encargado de destacar (Heywood, 1889; Haladyna, 1994; Linn y Grondlund, 2000) Una prueba objetiva puede constar de un numero amplio de tems, por los que posible cubrir con mayor exhaustividad los contenidos de aprendizaje objeto de evaluacin, y lograr as una elevada validez curricular (ajuste del instrumento a la materia objeto de evaluacin).En la prctica, posiblemente el principal atractivo de una prueba objetiva es su rapidez y facilidad para calificarla, que la hacen especialmente adecuada en situaciones en las que el nmero de alumnos es alto. A diferencia de las pruebas de ensayo , en las que la amenaza de una valoracin subjetiva est presente, para las preguntas incluidas en una prueba objetiva el profesor puede determinar inequvocamente si la respuesta del alumno es o no acertada. El uso de plantillas de respuesta permite la mecanizacin del proceso de correccin, con la posibilidad de conexin a programas informticos capaces de analizar las caractersticas tcnicas de la prueba y la idoneidad de los tems. El clculo de medidas de dificultad y discriminacin para los tems, o de los correspondientes parmetros segn modelos de la Teora de Respuesta al tem (TRI), ha permitido construir bancos de tems con las indudables ventajas que ello representa de cara a la construccin de pruebas o la administracin informatizada. Un formato habitual para las preguntas es que forman parte de una prueba objetiva es el tem de opciones mltiples que sita al alumno ante varias respuestas, para que elija entre ellas la respuesta correcta, El predominio de este formato de preguntas ha llevado incluso a identificar prueba objetiva y prueba de opciones mltiples (Heywood,1989).Otros formatos de respuesta pueden ser utilizados ,tales como los tems de verdadero-falso, de emparejamientos, de completar frases, de respuesta breve. La amplia utilizacin de pruebas objetivas basadas en cuestiones de opciones mltiples ha hecho que la construccin y uso de este tipo de tems centre la atencin en numerosos estudios empricos y reflexiones tericas. El uso de pruebas objetivas no implica solamente ventajas ya que existen lmites para su utilizacin .As, un problema estara en la dificultad para encontrar las preguntas adecuadas, de tal manera que se suele proponer una buena respuesta pero malas incorrectas o distractores (Gibbs, y Habeshaw,1986). Otra limitacin se encuentra en la clase de aprendizaje que se pretende medir, llegndose a afirmar que las pruebas objetivas son reservadas a aprendizajes simples sin ser adecuadas para aprendizajes de un conocimiento profundo, tales como la capacidad crtica, anlisis y reflexin. En un estudio realizado por Scouller(1997) se detect que los estudiantes prefieren las preguntas de opciones mltiples debido a su menor exigencia en
FC-1002-01

Trabajo obligatorio Propuesta

Cdigo: FC_1045-03 Pgina: 23/39

cuanto a los procesos cognitivos que deben ser desarrollados para responder. Existen diferentes teoras empricas que han demostrado que existe similitud entre las competencias evaluadas a travs de preguntas abiertas y preguntas de opciones mltiples, y los estudios sobre la construccin de este tipo de pruebas muestran la posibilidad de construir tems variados en cuanto a demanda cognitiva y adecuados para la evaluacin de distintos aprendizajes. Un inconveniente es tambin la nula posibilidad que tiene los estudiantes de explicar porque eligen un distractor, no dndoles la posibilidad de dar a conocer su modo de razonar. Tampoco los estudiantes reciben explicaciones sobre las razones por las que una opcin es o no correcta, lo cual limita su uso formativo, de hecho se ha descrito el efecto negativo que las respuestas falsas tienen sobre el aprendizaje del alumno, que tendera a considerarlas correctas si vuelve a encontrarlas en una segunda prueba(Toppino y Luisperbeck,1993).Una solucin a este problema es la discusin de las diferentes una vez finalizada la prueba.(Talmir,1991;Epstein y Nrosvic,2002). Debido a estrategias por parte del alumno a la hora de responder tales como adivinacin ensayada cuando se desconoce la respuesta correcta o la respuesta al azar, han dado lugar al desarrollo de soluciones estadsticas adecuadas para la deteccin de y/o correccin de tales problemas (Choppin,1985;Burton y Miller,1999).Tratando de reducir el efecto del azar se han trazado estrategias basadas en la introduccin de ms opciones y aadir una escala de confianza en la respuesta. Bush(2001) aporta una interesante va para discriminar entre la respuesta al azar y la respuesta debida a un conocimiento parcial de la materia por parte del examinado proponiendo un nuevo formato de tem en el que es posible seleccionar ms de una respuesta cuando el examinado no tiene plena confianza sobre su opcin. Justificar la respuesta por parte del examinado (Dodd y Leal,2002) constituye otra alternativa para descartar la posibilidad de un acierto por azar, si bien en este caso nos estaramos alejando del formato de opciones mltiples pasando a convertirse en preguntas prximas a las cuestiones de respuestas breve. Llama la atencin el cambio de opcin del examinado de la respuesta inicialmente sealada. Normalmente resulta beneficioso de cara a la puntuacin final salvo cuando la razn del cambio de opcin es debido a un intento de adivinacin de la respuesta. Segn Friedman y Cook(1995),los efectos sobre la calificacin conseguidos al realizar el cambio de respuesta no parecen relacionarse con el estilo cognitivo de los examinados (dependencia/independencia de campo; impulsividad/ reflexividad). La investigacin sobre pruebas objetivas y, en particular, pruebas constituidas por preguntas de opciones mltiples ha considerado algunas variables personales en funcin de las cuales valorar el funcionamiento de
FC-1002-01

Trabajo obligatorio Propuesta

Cdigo: FC_1045-03 Pgina: 24/39

tales instrumentos de evaluacin, Los estudios han tomado en consideracin el sexo de los examinados(Murphy,1982) apuntan diferencias en los resultados a favor de hombres o mujeres de manera inconsistente, por lo que resulta difcil llegar a conclusiones generales sobre el efecto del gnero en las puntuaciones obtenidas mediante este tipo de pruebas. En cuanto a la conducta de los examinados se ha encontrado en los hombres una mayor tendencia a adivinar la respuesta correcta y en las mujeres a la omisin de cuando la desconocen (Ben-Shakhar y Sina, 1991). Como podemos ver, existen multitud de estudios referentes a las pruebas objetivas los cuales analizan el modo en que estas han de ser construidas, su funcionamiento cuando se utilizan para evaluacin de aprendizaje, conductas del alumnado a la hora de responder, o la incidencia de las caractersticas personales en la respuesta a las mismas y en los resultados logrados. En definitiva, la utilizacin de pruebas objetivas para la valoracin de rendimiento tiene una indiscutible presencia. Su versatilidad, rapidez de ejecucin, y el supuesto grado de objetividad que confieren a la evaluacin conocimientos los hacen instrumentos muy demandados tanto por el profesorado como por parte del alumnado .No obstante la utilidad de la prueba no solo depende de su formato si no que est asociado al tratamiento que se realiza sobre la informacin recopilada. Nos vamos a centrar en el ltimo caso para realizar nuestro estudio a travs de variables en las que podemos observar la incidencia que tienen aspectos tanto personales como del tipo de pregunta en la calificacin de la prueba. PROBLEMA Y OBJETIVOS De acuerdo a lo apuntado en el apartado anterior, el problema sobre el que versa nuestro estudio es la influencia que tienen diversas variables de tipo tanto personal como de eleccin de preguntas en la calificacin de la prueba. El objetivo final es encontrar una relacion existente entre el tipo de pregunta y variables personales con el rendimiento en dicha prueba. El conocimiento de este tipo de datos es importante a la hora de plantear si el alumnado es capaz de exponer todos los conocimientos adquiridos en cualquier materia. De los datos obtenidos podremos derivar posibles mejoras y actualizar el uso de estas pruebas.

FC-1002-01

Trabajo obligatorio Propuesta

Cdigo: FC_1045-03 Pgina: 25/39

METODOLOGIA El estudio se ha fundamentado en una metodologa cuantitativa, basada en la realizacin de una prueba objetiva para su posterior anlisis en funcin de los resultados obtenidos. La adopcin de este mtodo de trabajo responde a la intencin de obtener valoraciones de un colectivo amplio de sujetos. Definimos como poblacin objeto de estudio al colectivo de estudiantes que cursan primero de Psicologa en la Universidad autnoma de Madrid. Se pretende realizar la prueba a 100 alumnos (varones y mujeres) de edades comprendidas entre 19 y 22 aos. Una vez seleccionados los sujetos de los 100 alumnos seleccionados se filtr el acceso a la prueba a travs de sus notas en el primer parcial con lo cual solo fue posible la participacin de 75 de ellos habiendo tenido, todos ellos, el mismo profesor durante el curso. Con todo ello se formaron los grupos controlados por 3 variables contaminadoras formndose 5 bloques para cada una: da de la semana(I)(lunes, martes, mircoles, jueves, viernes);hora del da(II) (9,10,11,12,13): y conocimientos previos de la materia(III) (1-2;3-4; 5-6;7-8;9-10).La prueba consisti en responder a 100 preguntas eligindose 5 modalidades de preguntas diferentes: responder verdadero o falso a una nica respuesta(a1) ;identificar la verdadera de entre dos alternativas(a2) ; identificar la verdadera de entre tres alternativas(a3) ; identificar la verdadera de entre 4 alternativas(a4) ; identificar la verdadera de entre cinco alternativas(a5).Para evitar las respuestas al azar se penaliza los errores en funcin de la probabilidad de acierto aleatorio para cada caso. As en a1 y a2 la puntuacin fue igual a : A(1/2 E); en a3:A-(1/3 E); en a4:A-(1/4 E); y en a5:A (1/5 E),todos los alumnos han sido advertidos de esta penalizacin en caso de fallo de pregunta. Aadiremos un concepto como es de la fiabilidad de las pruebas objetivas. La fiabilidad es una caracterstica de los resultados, de unas puntuaciones obtenidas en una muestra determinada. Un mismo instrumento puede medir bien a los sujetos de una muestra determinada y mal con una margen de error grande, a los sujetos de otra muestra. En principio la fiabilidad expresa el grado de precisin de la medida. Una prueba objetiva es fiable si sabemos de antemano como va a constatar el sujeto y lo sabemos porque lo hemos comprobado en muchas ocasiones.

FC-1002-01

Trabajo obligatorio Propuesta

Cdigo: FC_1045-03 Pgina: 26/39

Tabla 1.Formacion de grupos

Lunes 9 a1b1

Martes a2b3

Mircoles a3b5

Jueves a4b2

Viernes a5b4

10

a2b2

a3b4

a4b1

a5b3

a1b5

11

a3b3

a4b5

a5b2

a1b4

a2b1

12

a4b4

a5b1

a1b3

a2b5

a3b2

13

a5b5

a1b2

a2b4

a3b1

a4b3

Se han denominado b1, b2, b3, b4, b5 a los valores de la tercera variable controlada (conocimientos previos de la materia)

FC-1002-01

Trabajo obligatorio Propuesta

Cdigo: FC_1045-03 Pgina: 27/39

RESULTADOS Comenzaremos la exposicin de los resultados con la presentacin de la matriz de variables y sus correspondientes calificaciones para cada grupo formado.
Tabla 2.Calificaciones prueba experimental.

10

11

12

13

Lunes a1b1 27,6 33,5 43,4 a2b2 63,5 59,8 61,2 a3b3 53,4 61,7 49,5 a4b4 71,8 69,2 67,3 a5b5 83,9 76,5 59,8

Martes a2b3 79,5 82 73,5 a3b4 65,5 72,6 58,9 a4b5 83,2 76,3 61,4 a5b1 32,2 19,4 26,1 a1b2 43,1 36,2 39,9

Mircoles a3b5 74,8 63,9 58,7 a4b1 36,1 49,2 27,3 a5b2 50,8 43,7 39,9 a1b3 53,8 62,5 59,2 a2b4 93,7 89,2 91,1

Jueves a4b2 44,6 51,4 49,4 a5b3 53,9 61,2 62,5 a1b4 53,7 72,6 71,4 a2b5 95,3 87,2 94,6 a3b1 31,7 29,2 16,5

Viernes a5b4 63,8 59,7 61,2 a1b5 63,2 62,8 78,4 a2b1 49,3 46,1 39,7 a3b2 37,2 49,5 51,2 a4b3 49,4 71,1 62,4

La suma de las puntuaciones parciales es la denominada puntuacin directa. La probabilidad de acierto es proporcional al nmero de opciones de respuesta. Para compensar la posibilidad de respuestas al azar, previo aviso a los alumnos como se ha comentado anteriormente, se aplica el siguiente factor corrector: Puntuacin corregida = A-E/(n-1) Donde A representa el nmero de respuestas acertadas (puntuacin directa)E es el nmero de erradas n es el nmero de alternativas de respuestas en cada tem.
FC-1002-01

Trabajo obligatorio Propuesta

Cdigo: FC_1045-03 Pgina: 28/39

El nivel de complejidad y el que finalmente va a definir el resultado de la prueba viene dado por el nivel de habilidad requerido por el participante para responder acertadamente a un tem. El nivel de habilidad requerido determinara el nivel de complejidad del tem. Podemos definir 3 tipos de nivel de complejidad Bajo, Medio y Alto. Otro factor importante son los distractores que son las opciones que no satisfacen las exigencias del resultado, que aun siendo respuestas no correctas deben de ser atractivas. Un distractor puede ser un error comn, una afirmacin verdadera pero que no contesta completamente la pregunta o no satisface las exigencias del problema, una opcin opuesta a la clave o que pueda parecer correcta para quien no tenga las habilidades o competencias. A travs de las siguientes graficas podemos observar la influencia positiva en la calificacin de los conocimientos previos para un mismo tipo de Preguntas. Para modelo de preguntas a1:

FC-1002-01

Trabajo obligatorio Propuesta

Cdigo: FC_1045-03 Pgina: 29/39

Para preguntas a2:

Para preguntas a3:

FC-1002-01

Trabajo obligatorio Propuesta

Cdigo: FC_1045-03 Pgina: 30/39

Para a4:
90 80 70 60 50 40 30 20 10 0 a5b1 a5b2 a5b3 a5b4 a5b5 Alumno 1 Alumno 2 Alumno 3

Para a5:

El grado de dificultad corresponde con el porcentaje de personas que responde correctamente a un reactivo, siendo el poder de discriminacin un parmetro que indica quienes proporcionan la respuesta correcta a cada reactivo. Como podemos observar a medida que los conocimientos adquiridos van aumentando la calificacin de la prueba aumenta, a medida que el efecto azar aumenta, esto se consigue aumentando el nmero de respuestas a elegir, aumenta la probabilidad de poder tener la posibilidad de contestar positivamente una pregunta
FC-1002-01

Trabajo obligatorio Propuesta

Cdigo: FC_1045-03 Pgina: 31/39

Tambin observamos el comportamiento que tiene el horario/da para cada grupo que hizo la prueba:

Lunes
90 80 70 60 50 40 30 20 10 0 9 10 11 12 13 0 0 0 0 0 43.4 33.5 27.6 Lunes 63.5 61.2 59.8 61.7 53.4 49.5 71.8 69.2 67.3 83.9 76.5 59.8

FC-1002-01

Trabajo obligatorio Propuesta

Cdigo: FC_1045-03 Pgina: 32/39

FC-1002-01

Trabajo obligatorio Propuesta

Cdigo: FC_1045-03 Pgina: 33/39

Se observa que no exista ningn tipo de influencia en el horario y el da de la prueba para la obtencin de la calificacin. A medida que la variable azar aumenta existe una probabilidad ms alta de acertar la pregunta porque se tiene suerte. Un dato importante en el estudio es que la respuesta verdadera siempre ha sido la misma para todos los sujetos lo que haca que no existirn diferencias entre la eleccin de la respuesta verdadera, dndole mayor fiabilidad al estudio. Podemos observar como el dato que influye de una manera ms elevada en la prueba final es el de los conocimientos previos de la asignatura, obteniendo los resultados ms bajos los que contaban con menos conocimientos previos a la prueba. La incidencia que el tipo de pregunta (una alternativa, dos alternativas, tres alternativas o cuatro alternativas, verdaderofalso) es, en menor medida , un rasgo influente a la hora de la calificacin de la prueba. Usando programas informticos estadsticos como por ejemplo SPSS (IBM) podemos obtener una visin del comportamiento de las diferentes variables, pero no vamos a entrar en demasiado detalle sobre el anlisis estadstico o psicomtrico ya que carecemos de los conocimientos para ello.

FC-1002-01

Trabajo obligatorio Propuesta

Cdigo: FC_1045-03 Pgina: 34/39

DISCUSION Y CONCLUSIONES A la vista de los resultados obtenidos, la principal causa que afecta al rendimiento de un sujeto a la hora de realizar una prueba objetiva son los conocimientos previos siendo seguida por el tipo de pregunta a la que hace frente. Los tems de respuesta sugerida son en los que basamos este estudio siendo estos en los cuales las opciones de respuesta estn presentes en su formulacin y, de entre ellas, el estudiante ha de identificar y seleccionar la respuesta correcta, siendo como hemos expuesto anteriormente de eleccin entre verdadero o falso o de respuesta mltiple. Estos tems constan de: Tronco o vstago, parte principal del tem, pudiendo ser una pregunta, una frase incompleta, una situacin de la vida real ,etc. Opciones: Clave (Repuesta correcta) Distractores (Opciones incorrectas) La opcin correcta debe ser claramente correcta lo que favorece su grado de acierto como se apunta en el comienzo del trabajo, pudiendo aumentar la dificultad a medida que los distractores se van haciendo similares a la clave. Con ms opciones hay menor probabilidad de adivinacin pero, pero tambin es ms fcil la construccin, siendo esta la clave de este estudio. Varios son los datos descriptivos sobre los que podemos hacer referencia como son el coeficiente de fiabilidad y el error tpico.La fiabilidad representa la estabilidad de la medida proporcionada por la prueba y viene representado por el coeficiente de fiabilidad, es necesaria una homogeneidad de los tems para poder tener una alta fiabilidad ,diferencias entre los sujetos que realizan la prueba, si los sujetos obtienen resultados muy parecidos la fiabilidad bajara ya que la ordenacin de los resultados resultara poco eficaz, con un mayor nmero de tems los el espectro ser mayor a la hora de realizar la clasificacin.
FC-1002-01

Trabajo obligatorio Propuesta

Cdigo: FC_1045-03 Pgina: 35/39

El error tpico de la medicin se aplica a cada resultado individual y viene derivado del coeficiente de fiabilidad indicando el margen probable de oscilacin de las puntuaciones de cada sujeto de unas ocasiones a otras en exmenes hipotticamente semejantes. Todo ello hace de las pruebas objetivas una fuente de datos a la hora de poder comprobar los conocimientos adquiridos por los alumnos en sus distintas materias. Es importante que el anlisis de los tems sea el ms exhaustivo posible para dar validez a las pruebas objetivas, dado el poco margen que estas tiene de mostrar otros aspectos que el alumno ha desarrollado al margen de su capacidad para memorizar por ejemplo, y que resulta imprescindible en este tipo de pruebas dejando poco margen al desarrollo de una idea. En el anlisis de los distractores(respuestas incorrectas) esta una parte importante de este estudio donde es importante conocer la eficacia de las respuestas incorrectas teniendo en cuenta que para las personas con que carecen de mucha informacin las respuestas incorrectas deben de tener el mismo atractivo que las respuesta correcta. Conseguido esto los sujetos con mayor grado de informacin tienden a elegir la respuesta correcta y los sujetos que poseen menos informacin se distribuirn homogneamente en todas las alternativas u opciones del elemento, lo cual reafirma lo explicado que los conocimientos previos mejoran la resolucin de pruebas objetivas. El uso de partculas negativas suelen ser hacer ms difciles las pruebas objetivas, siendo ms clara su influencia en alumnos de primaria y secundaria, quedando menso demostrado en alumnos universitarios. El incluir partculas negativas presta al sujeto a equivocaciones a un conociendo la respuesta. Tambin es importante determinar cul es nmero de propuestas ptimo para poder dar fiabilidad a este tipo de pruebas ya que un mayor nmero de respuestas posibles no dota a la prueba de una mayor calidad. El nmero que de alternativas recomendadas en la mayora de textos es de 4 o 5 (una correcta y tres o cuatro falsas o distractores) dado que con ellos disminuimos la posibilidad de acertar la respuesta correcta lo que confirma el hecho de que resulte mas fcil encontrar la respuesta correcta contra menos opciones existen. Las preguntas verdadero-falso adems de frecuentes son bastante discutidas por su calidad dado que el adivinar pesa mucho, se valora los conocimientos de memoria y la ambigedad que entraan muchas veces debido a la claridad con la que se formula la afirmacin.

FC-1002-01

Trabajo obligatorio Propuesta

Cdigo: FC_1045-03 Pgina: 36/39

La dificultad de estas preguntas viene definida por dos factores,que la respuesta sea verdadera o falsa y que el tem este formulado positivamente o negativamente. La formulacin negativa hace ms difciles las pruebas que las formulacin positiva, hechos demostrados en los estudios de (Watson,1961; Peterson y Peterson,1976). Sobre la formulacin negativa en este tipo de preguntas los sujetos tienden a cambiar su primera respuesta cuando la formulacin del tem incluye no y nunca (Edvarson , 1960), siendo ms frecuentes en nios. Todo ello refuerza la teora de que resulta ms fcil contestar a la pregunta verdadera que a la falsa. Los tems cuya respuesta correcta es falso suelen ser ms discriminantes y tienen por lo tanto una fiabilidad mayor que los que tienen verdadero como respuesta correcta. La razn est en que cuando se responde o ignorancia intentando adivinar la respuesta correcta es ms frecuente elegir verdadero como respuesta. Los que ms y los que saben menos quedas ms diferenciados en las preguntas con respuesta correcta falso y de manera preferente es menos usual. Comparando las pruebas de verdadero-falso con las de eleccin mltiple se detecta que son ms fciles dado que se acierta ms adivinando, son menos discriminantes y la fiabilidad es menor manteniendo el mismo nmero de tems. Como hemos comentado anteriormente estas pruebas son criticadas por la posibilidad de adivinar por azar la respuesta correcta, para resolver este problema hemos desarrollado la formula correctora definida en el apartado de metodologa, existiendo muchas otras. Esta frmula se justifica tericamente de forma inmediata bajo el principio de que un alumno ,que desconoce totalmente la disciplina sujeta a la prueba, acertara si respondiese a todos los tems al azar N/n tems, por trmino medio ,siendo N el nmero total de tems de la prueba.

FC-1002-01

Trabajo obligatorio Propuesta

Cdigo: FC_1045-03 Pgina: 37/39

Por todo ello no es fcil establecer una relacion entre la valoracin de una prueba objetiva y sus diferentes tipos de variables pero si cabe hacer unas consideraciones finales: Se ha investigado mucho acerca de este tipo de pruebas quedando sobradamente demostrado por todos ellos que existe un problema al existir la posibilidad de adivinar preguntas ,para ello se han creado diferentes tcnicas que aplicamos en este estudio como son aplicar factores de correccin que hacen que se compense el efecto azar siendo tambin influyente ,como no podra ser de otra forma que los conocimientos previos de la materia a tratar en la prueba que evitan que el factor azar sea la principal causa de superar este tipo de pruebas. Entra dentro de la tica del profesor el aplicar este tipo de frmulas e informar de ello al alumno Diferentes frmulas, y sobre todo diferentes instrucciones, inducen al alumno a utilizar estrategias diferentes. Lo adecuado es avisar a los alumnos que si tienen conciencia de saber la materia, en caso de duda tiene ms posibilidades de acertar si eligen la respuesta que les parezca ms probable ,sobre todo si pueden eliminar con bastante seguridad alguna alternativa. En cambio, a los menos capaces y preparados les perjudican las respuestas al azar. Existen una serie de ndices ,de dificultad y de discriminacin, qu son parte implicada en la realizacin de todos los estudios acerca de este tipo de pruebas y que dan a conocer datos que aclaran la lgica del alumno en este tipo de pruebas. Es importante tener un feedback con los alumnos para matizar aspectos de su aprendizaje a travs de las pruebas objetivas

FC-1002-01

Trabajo obligatorio Propuesta

REFERENCIAS BIBLIOGRAFICAS Y ELECTRONICAS.

Cdigo: FC_1045-03 Pgina: 38/39

Heywood, P. 1989. Some affinities of the Raphidophyceae with other chromophyte algae. In Green, J.C., Lead beater, B.S.C. & Diver, W.L. (eds.) Haladyna, T.M (1994).Developing and Validating Multiple-Choice Test Items. Hillsdale: Lawrence Erlbaum Associates Linn, R.L y Gronlund, N. (2000).Measurement and assessment in teaching. Columbus:Merril. Gibbs,G.;Habeshaw,T. y Habeshaw,T.(1986).53 interesting ways to assess your students.Bristol:Technical and Educational Services. Scouller,K. (1997).Students perceptions of three assessment methods:assignment essay,multiple choice question examination,short answer examination. Comunicacin presentada a Higher Education Research and Development Society of Australasia, Adelaide, 9-12 de Julio. Toppino, T.C . y Luispersbeck, S.M. (1993). Generality of the negative suggestion effect in objective test, en Journal of Educational Research , 86 (6), 357-362. Talmir, P.(1991).Multiple choice intes: how to gain the most out of them, Biochemical Education, 19(4),188-191. Epstein, M.L. y Brosvic, G.M.(2002). Immediate feedback assessment technique: multiple choice test that <<behaves>> like an essay examination , en Psychological Reports, 90 (1),226. Choppin, B.(1985).The correction of guessing for objective test,en Evaluation in Education, 9 (1),71-80. D.J.Burton, R.F. y Miller,D.J.(1999). Statical modelling of multiple-choice and true, false test: ways to considering, and of reducing , the uncertainties attributable guessing , en Assessment and Evaluation in Higher Education , 24(4),399-411. Bush, M.(2001).A multiple choice test that rewards partial knowledge , en Journal of Psychoeducational Assessment, 18(4), 308-315.

FC-1002-01

Trabajo obligatorio Propuesta

Cdigo: FC_1045-03 Pgina: 39/39

Dood, D.K. y Leal, L. (2002). Answer justification: removing the trick form multiple choice questions, en Griggs, R.A. (Ed). Handbook for teaching introductory psycology,Vol.3. Mahwah,NJ:Lawrence Elrbaum Associates, pp. 99-100. Friedman, S.J. y Cook, G.L.(1995).Is an examinees cognitive style related to the impact of answer changing on multiple choice-test?, en Journal of Experimental Education, 63(3),199-213. Murphy, R.J.(1982).Sex differences in objective test performance, en British Journal of Educational Psychology, 52(2),213-219. Ben-Shakhar, G. y Sinai, Y.(1991).Gender differences in multiple choice tests: the role of differential guessing tendencies , en Journal of Educational, 28(1),77-92. Herrera Rojas, A.N. (1996).Algunas consideraciones tcnicas sobre la construccin de tems de pruebas objetivas segn la clasificacin de objetivos educativos de Bloom. Versin modificada para el desarrollo del ECAES de Psicologa Indicadores del rendimiento escolar: Relacion entre pruebas objetivas y calificaciones. (nd).Recuperado el 20 de Diciembre de 2013 desde http://www.mecd.gob.es/dctm/revista-deeducacion/articulosre287/re28702.pdf?documentId=0901e72b813c2ff8 La fiabilidad de los test. (nd). Recuperado el 29 de diciembre de 2013 desde http://html.rincondelvago.com/fiabilidad-de-test.html

FC-1002-01