Professional Documents
Culture Documents
CONTENIDO
Competencias del mdulo................................................................................................................................... 2 0. Introduccin........................................................................................................................................................... 3 1. Proceso por el que se determinan los mtodos de evaluacin. ...................................................................4 Repasando.............................................................................................................................................................. 4 2. Clasificacin y utilidad de cada mtodo de evaluacin. ................................................................................ 6 3. Diseo y aplicacin de instrumentos de evaluacin. ..................................................................................... 8 3.1. Cualidades de pertinencia, validez y fiabilidad. ...................................................................................... 8 4. Mtodos para la evaluacin directa del desempeo. .................................................................................. 10 Para recordar....................................................................................................................................................... 12 4.1. Cmo se disean?.................................................................................................................................... 12 4.2. Modelos de documentos para la evaluacin directa del desempeo .............................................. 15 5. Pruebas objetivas............................................................................................................................................... 16 5.1. Cmo se disean?.................................................................................................................................... 18 6. Pruebas de respuesta abierta.......................................................................................................................... 19 Para recordar....................................................................................................................................................... 19 ............................................................................................................................................................................... 20 6.1. Cmo se disean?.................................................................................................................................... 20 ................................................................................................................................................................................... 21 7. La entrevista profesional................................................................................................................................... 22 7.1. La entrevista convencional o abierta...................................................................................................... 23 7.2. Entrevista estructurada.............................................................................................................................. 24 7.2.1. Entrevista conductual estructurada (ECE)...................................................................................... 25 Ejemplo................................................................................................................................................................. 25 8. Resumen.............................................................................................................................................................. 28
_____________________
_____________________
0. INTRODUCCIN
La expresin: mtodo e instrumento de evaluacin, puede comprender de forma genrica cualquier recurso o procedimiento que se utilice para obtener evidencias que permitan valorar el grado de adquisicin de una competencia profesional. Un mtodo o tcnica es un concepto ms amplio; se trata de un procedimiento operativo de carcter general que permite poner en juego distintas estrategias para obtener la informacin que se desea obtener, para lo que se suelen utilizar diferentes instrumentos. El instrumento es, por tanto, una herramienta especfica, un recurso concreto, o un material estructurado que se aplica para recoger la informacin que deseamos, y suele estar vinculado a un mtodo o tcnica. Los instrumentos de evaluacin deben responder a una serie de caractersticas: Ser lo ms variados posible para garantizar tanto la fiabilidad como la validez. Proporcionar informacin vlida de los diferentes aspectos del referente de evaluacin de las unidades de competencia que se pretenden evaluar. Utilizar diferentes formas de expresin (orales, escritas, grficas, etc.), en funcin de las caractersticas de la competencia profesional a evaluar y de las personas participantes. Poder ser aplicables en situaciones laborales habituales.
_____________________
Anlisis previo y contextualizacin Cul es la naturaleza de la unidad de competencia? Qu tipo de realizaciones profesionales y criterios de realizacin la configuran? En qu contexto profesional hay que actuar? Evidencias de competencia Qu hay que demostrar para manifestar un desempeo eficaz? Qu dimensiones de la competencia estn implicadas? Criterios e indicadores de desempeo Qu situaciones son relevantes para recoger las evidencias? Qu resultados concretos se van a comprobar? Qu aspectos, caractersticas o atributos concretos se van a tener en cuenta en la evaluacin de cada resultado? Escalas de desempeo competente Qu sistema de valoracin se va a utilizar? Qu valores se pueden obtener en cada indicador? Todos los indicadores tienen la misma importancia o hay que ponderarlos? Qu valor mnimo hay que alcanzar para que las competencias se consideren adquiridas?
_____________________
REPASANDO Existe una interrelacin entre el tipo de evidencias a recoger (conocimiento, destrezas cognitivas, destrezas prcticas, habilidades personales y sociales vinculadas a la profesionalidad) y los mtodos e instrumentos que son ms indicados para ello.
Algunos de los mtodos son especficos para evaluar directamente determinadas dimensiones de la competencia profesional (p.ej. la pruebas escritas para evaluar los conocimientos y las destrezas cognitivas); otros, requieren observar a la persona en accin, mientras desempea la actividad concreta que se le proponga y, en consecuencia, permiten evaluar la utilizacin conjunta de las distintas dimensiones. Por ejemplo, si una persona accede al procedimiento cumpliendo los requisitos de formacin pero sin ninguna experiencia laboral, y la unidad de competencia requiere determinadas destrezas prcticas y habilidades, habr que comprobar si las posee evaluando su desempeo mediante una simulacin o una prueba de competencia. Si tiene experiencia laboral justificada pero, por ejemplo, es necesario profundizar ms sobre aspectos relativos a las destrezas cognitivas y habilidades sociales que emplea para resolver situaciones profesionales concretas, se podra utilizar una entrevista profesional.
Para saber ms. La evaluacin normativa busca la comparacin del evaluado respecto de criterios estandarizados (criterios de desempeo), y proporciona una informacin comparativa sobre su posicin respecto a la poblacin con las mismas caractersticas (si se encuentra en la media, si posee la cualidad en mayor o menor medida que la media, y otros). Una forma apropiada de esta modalidad, es la aplicacin de tests ya que determina, en comparacin a una poblacin, en qu medida se posee un rasgo, dimensin o cualidad (inteligencia, percepcin espacial, creatividad, intereses). La evaluacin criterial, en nuestro caso, determina el grado de adquisicin de una competencia profesional del evaluado, sin compararla con los dems ni con criterios estandarizados. Toma como referencia el conjunto de conocimientos, habilidades y actitudes que cada evaluado debera poseer, y los pone en relacin con su nivel de logro, sin compararlo con otra persona. La evaluacin criterial ayuda a evitar la necesidad que a veces siente el evaluador de tener que valorar de forma favorable o desfavorable a ciertas personas por compararlas con otras del mismo u otro grupo.
________________________________________________________________________________________________ MDULO IV Pgina 5 de 38
_____________________
_____________________ Mdulo 4. LA FASE DE EVALUACIN A continuacin se presenta una tabla resumen sobre la utilidad de cada mtodo y seguidamente se revisarn con ms detalle: Mtodos e instrumentos de evaluacin Utilidad Observacin en el puesto de trabajo Evaluacin directa del desempeo (proceso de ejecucin y/o producto resultante): Destrezas prcticas Habilidades personales y sociales vinculadas a la profesionalidad. Inferencia de conocimientos y destrezas cognitivas Se utilizan tcnicas de observacin Evaluacin de conocimientos y destrezas cognitivas sencillas (conceptualizacin, comprensin) Evaluacin de conocimientos y destrezas cognitivas ms complejas (aplicacin,anlisis, sntesis y evaluacin) Indicacin similar a las de las pruebas escritas, dependiendo del tipo de cuestiones
Simulaciones
Pruebas prcticas: Pruebas escritas. Pruebas objetivas Pruebas de respuesta abierta: Respuesta corta Respuesta larga Pruebas orales Conocimientos, destrezas cognitivas y habilidades personales y sociales. Inferencia de destrezas prcticas y desempeo profesional
Entrevista profesional
_____________________
plantearn
la
manera
Tambin supone que las personas evaluadoras, una vez diseados los instrumentos, se entrenen en su manejo para realizar una aplicacin y correccin ptima. Se evitarn as algunos de los a) Indulgencia o severidad. Se produce cuando diferentes personas evaluadoras poseen criterios distintos, provocando la sobrevaloracin o infravaloracin de lo evaluado. b) Tendencia hacia la moderacin. Una falta de dominio de las escalas de observacin, puede llevar a no comprometerse con una valoracin positiva o negativa, derivando as, hacia las puntuaciones centrales (No discriminativas). c) El efecto halo. Este se produce cuando la valoracin positiva o negativa de uno o varios aspectos de la competencia de la persona aspirante, llevan a valorar en el mismo sentido al resto de los elementos que son objeto de evaluacin. d) El efecto de contaminacin. En este caso, las evaluaciones estaran condicionadas por competencias que destacan en la persona evaluada, pero que no forman parte del perfil de competencias propio de la cualificacin, en funcin de la cual se lleva a cabo la evaluacin. e) El efecto novedad. Este se puede dar cuando influye la impresin causada por las conductas, experiencias o hechos ms recientes, sin que se tengan en cuenta con el mismo peso los elementos que constituyen su trayectoria formativa o laboral.
Para atenuar las dificultades anteriores es preciso sistematizar los procesos de evaluacin y establecer instrumentos y soportes que recojan con fidelidad los datos y evidencias necesarios para emitir con objetividad cualquier juicio de valor.
_____________________
Para saber ms Se distinguen diferentes tipos de validez; entre ellas podemos destacar las siguientes: Validez de contenido: trata de determinar hasta dnde los elementos incluidos en el instrumento son representativos del dominio o universo de contenido de la dimensin a medir. A diferencia de otros tipos de validez, la de contenido no se expresa cuantitativamente a travs de un coeficiente. La validez de contenido por lo general, se estima de manera intersubjetiva a travs de juicios de expertos. Validez predictiva, de criterio o emprica: Lo que interesa en este tipo de validez es determinar hasta dnde podemos anticipar el desempeo futuro de una persona en una actividad determinada, a partir del resultado obtenido una vez aplicado el instrumento de evaluacin. Se estudia comparando los resultados en el instrumento (puntuaciones) con una o ms variables externas denominadas variables criterio, que indican el desempeo real. Por tanto, este tipo de validez seala la capacidad de un instrumento para pronosticar el desempeo eficaz. Validez concurrente: consiste en verificar la validez de un instrumento mediante su correlacin con otro que se supone que evala lo mismo y que ya tiene, a su vez, una validez reconocida. Los factores que afectan a la validez tienen que ver con: El diseo del instrumento: instrucciones vagas o imprecisas, nmero insuficiente de preguntas, inadecuado planteamiento de las mismas, preguntas que sugieren la respuesta ambiguas, con nivel de dificultad inapropiado, etc. La aplicacin y valoracin: factores ambientales inapropiados, tiempo insuficiente, se obvian las instrucciones de aplicacin, tratamiento diferenciado a los sujetos, subjetividad de la persona evaluadora etc. Al estudiar la validez, tambin hay que tener en cuenta las caractersticas del colectivo al que se aplica el instrumento, as como el criterio que se utiliza como validador del mismo, ya que el uso de un criterio inapropiado puede distorsionar la validez. Otro factor que tambin va a ser determinante para la validez de un instrumento, es la confidencialidad antes de su aplicacin. Con ello se asegura que las condiciones a las que se enfrenta la persona aspirante sean equitativas, y por tanto, que los resultados que se obtengan, reflejen fielmente el objeto de la evaluacin. Fiabilidad: Es la capacidad de obtener resultados consistentes en mediciones sucesivas del mismo fenmeno. Esto quiere decir que, si se aplica varias veces el mismo instrumento y los resultados obtenidos son similares, se puede considerar que es fiable.
_____________________
En la teora clsica de los tests existen diferentes mtodos para calcular el coeficiente de fiabilidad. Este coeficiente oscila entre 0 y 1. Cuanto ms se aproxime a 1 ms fiable es el instrumento. Otro aspecto a considerar es la fiabilidad inter-jueces, que se refiere a la consistencia o acuerdo entre dos o ms personas evaluadoras que evalan lo mismo a la misma persona. Las pruebas objetivas, por sus propias caractersticas, no dan pie a interpretaciones diferentes en la correccin y se obtienen las mismas puntuaciones independientemente de quin haya evaluado; pero existe el riesgo de que no suceda lo mismo cuando se utilizan pruebas de respuesta abierta, tcnicas de observacin del desempeo profesional y entrevistas. En estos casos, para aumentar la fiabilidad, es preciso que todos los responsables de la evaluacin utilicen el mismo sistema de valoracin. Por ello es importante validar previamente los resultados o criterios que se van a considerar, los indicadores y las escalas correspondientes. Con respecto a la fiabilidad en las pruebas por escrito u orales, entre otros factores que la favorecen destacan los siguientes: nmero adecuado de tems o preguntas: a mayor nmero de preguntas mayor fiabilidad. No obstante, como este nmero tiene que tener un lmite, es importante que las preguntas que se seleccionen sean representativas de lo que se pretende evaluar. grado de homogeneidad de las preguntas: cuando las preguntas son pertinentes para lo que se quiere evaluar, son ms fiables que cuando hacen referencia a cuestiones ms generales. grado de discriminacin: en la medida que el contenido de los tems o preguntas discriminen mejor la dimensin evaluada, mayor ser su fiabilidad.
_____________________
En los tres mtodos podemos utilizar como indicadores de desempeo: Planificacin de la/s actividad/es. Procedimiento seguido y los mtodos de trabajo. Seleccin de los equipos, herramientas y materiales adecuados. Organizacin del trabajo. Destrezas para manejar las mquinas, herramientas, equipos; etc. Aplicacin de las normas de seguridad e higiene. Toma de decisiones adecuadas; responsabilidad; etc. La evaluacin puede centrarse en el producto resultante de la ejecucin: se analiza el resultado producto final obtenido, con el fin de valorar su acabado y calidad (ajuste del producto a las especificaciones, caractersticas o propiedades indicadas). Requieren disear y validar instrumentos para el registro y evaluacin de las observaciones efectuadas, de manera que suministren informacin vlida y fiable sobre la interrelacin entre las distintas dimensiones de la competencia y el desempeo profesional. La observacin se realiza, generalmente, en situaciones naturales del quehacer diario, y permite: Conocer los aspectos motrices, los intereses, las actitudes, las habilidades y destrezas; la adaptacin, entre otros. El estudio del comportamiento espontneo de la persona evaluada que se manifiesta en conductas observables para su anlisis y valoracin que, sern recogidas mediante instrumentos de observacin. Evaluar a personas de cualquier edad ya que, aprender a observar implica aprender a mirar lo que la persona evaluada hace para anotar objetivamente lo que ocurre Con el fin de que la observacin resulte eficaz a los fines de la evaluacin, es necesario tomar en consideracin los siguientes aspectos de su proceso:
________________________________________________________________________________________________ MDULO IV Pgina 11 de 38
_____________________ Mdulo 4. LA FASE DE EVALUACIN 1. Plantearse qu aspectos se van a observar y qu instrumento de evaluacin es el ms adecuado para tal fin. 2. No valorar, en principio, las conductas observadas. Lo ideal es describirlas con el fin de contar con datos objetivos, minimizando de esta manera la subjetividad de la persona observadora. 3. La observacin debe tener un alto grado de fiabilidad: dos o ms observaciones de la misma conducta realizadas en cortos periodos de tiempo deberan proporcionar resultados similares. 4. La observacin debe tener un alto grado de validez: debemos asegurarnos que las conductas que vamos a observar son en realidad componentes del aspecto que queremos evaluar. 5. La persona observadora debe saber seleccionar los hechos relevantes que merezcan ser observados. Debe saber captar los hechos ms significativos con el fin de registrarlos en el momento adecuado 6. Debe realizar las observaciones en un ambiente laboral normal, de manera que se minimicen las posibilidades de que la persona evaluada modifique su conducta como consecuencia de sentirse observada. 7. Con el fin de reducir al mnimo las dificultades de la persona observadora al registrar las conductas de las personas objeto de la evaluacin, es aconsejable la utilizacin de abreviaturas y signos que faciliten el trabajo de la evaluadora o evaluador. Para ello, puede disear su propio cdigo, y de esta manera agilizar el proceso de registro. 8. Observar no implica registrar un comportamiento durante horas. Esto no es prctico y usualmente no es factible. Lo ideal es planificar un programa de registros de las observaciones. - Fases, ventajas e inconvenientes. El registro en la observacin La observacin se compone de una serie de fases ordenadas que siguen una lgica en su desarrollo: 1 Delimitacin del problema. 2 Recogida de datos y optimizacin del instrumento de registro, determinando: periodo de observacin, periodicidad de las sesiones, duracin de cada sesin, nmero de sesiones necesarias, y otros. 3 Anlisis de datos, en funcin de los parmetros previamente fijados: frecuencia, orden, duracin, entre otros. 4 Interpretacin de los resultados. Las principales ventajas que presenta la observacin son La amplitud de la aplicacin. La objetividad en el registro si se siguen una serie de requisitos e incluso se graban las sesiones. La obtencin de informacin directa de la conducta del observado,sin que exista ningn tipo de orden o mandato. La informacin sobre el entorno en el que se producen las conductas. Los inconvenientes que presenta la observacin son: Est limitada al estudio de conductas que sean perceptibles mediante el sentido de la vista o del odo (comportamientos, gestos, movimientos, gritos). Por tanto no ser adecuada a la hora de evaluar procesos cognitivos. Es apropiada para aplicarla a una sola persona o a un grupo reducido, pues requiere la dedicacin y atencin continuada del observador u observadora. Se precisa de tiempo para obtener varios registros de observacin. Es necesaria una continuidad temporal hasta conseguir datos suficientes y poder realizar el anlisis.
________________________________________________________________________________________________ MDULO IV Pgina 12 de 38
_____________________ Mdulo 4. LA FASE DE EVALUACIN La presencia de la persona observadora puede generar un efecto de reactividad. La persona al saberse observada, puede no comportarse de manera natural o espontnea. Un aspecto de gran importancia, dentro de la metodologa de la observacin es el registro. El registro est sometido a diferentes riesgos que pueden hacer incluso que los datos recogidos se invaliden, por lo que el rigor y la bsqueda de precisin sern dos premisas bsicas durante la recogida de datos. Para alcanzarlos hay que eliminar o neutralizar al mximo los sesgos que amenazan la observacin. Se entiende el sesgo como una distorsin o prdida de objetividad de la persona evaluadora en la recogida de datos, que proporciona una visin parcial y por lo tanto sesgada de la realidad observada. Los sesgos pueden estar condicionados por las ideas previas sobre la persona observada. Suele producir una interpretacin de las conductas percibidas y una prdida de veracidad en los datos recogidos. Y por otra parte, la persona observada tambin puede ver modificada su conducta al sentirse examinada, proporcionando as informacin que no refleja su modo natural de actuar. Un modo de evitar el sesgo consiste en proceder al registro simultneo de dos personas observadoras. En el caso de que la persona aspirante est trabajando y no haya aportado suficientes evidencias indirectas de desempeo, lo ideal podra ser evaluarla en el contexto real, mediante una observacin en el puesto de trabajo, siempre y cuando las actividades seleccionadas del mismo se ajusten a las situaciones que se consideran relevantes para evaluar la unidad de competencia. Sin embargo, esto no siempre es posible y se recurre entonces a la reconstruccin de una situacin de trabajo planteando una simulacin, o bien, a las pruebas de competencia prctica que tambin evalan el desempeo, pero sin la necesidad de ajustarse tan exactamente a la situacin de trabajo real como las simulaciones. Por otra parte, adems, se pueden combinar mtodos; por ejemplo, en la evaluacin del desempeo mediante observacin en el puesto, simulaciones o pruebas prcticas, tambin se pueden incorporar algunas preguntas por escrito, orales; etc.
PARA RECORDAR La seleccin de mtodos para la evaluacin directa del desempeo, depender del tipo de nuevas evidencias que se requieran en cada caso y de los recursos de los que se dispongan. No siempre es factible, por ejemplo, realizar una observacin en el puesto de trabajo y, en su sustitucin, se puede aplicar una simulacin o una prueba prctica.
_____________________
a) Partir de la situacin de evaluacin recogida en la gua de evidencias, que ser una situacin relevante y representativa, que engloba las distintas dimensiones de la competencia implicadas. b) La situacin se concretar en la actividad que tendr que realizar la persona aspirante y que ser el objeto de observacin, definiendo todos los elementos necesarios para especificar lo ms claramente posible lo que hay que hacer, cmo, con qu (medios) y en qu tiempo. La actividad ha de ser viable considerando la disponibilidad de recursos y de tiempo. c) Se especificarn las condiciones de la observacin en base a la actividad establecida: centro o sede, caractersticas de espacios, de organizacin y todas aquellas pautas que se estimen oportunas para la actuacin de la persona evaluadora y su interaccin con la persona aspirante. d) Junto a la actividad hay que disear tambin el instrumento de registro de la observacin y evaluacin que se utilizar, especificando previamente: Los criterios de mrito: resultados concretos que se observarn y que son clave para dar valor al desempeo. Pueden estar referidos al proceso de ejecucin y/o al producto resultante. Los indicadores de desempeo para evaluar cada resultado: son variables referidas a los atributos, cualidades, propiedades, condiciones, requisitos; etc., que caracterizan el proceso de ejecucin y/o el producto que se solicita, y que sirven para concretar y objetivar los criterios de mrito, es decir, para determinar si el resultado se logra o no. Estos indicadores hay que definirlos con precisin para evitar que puedan ser interpretados de distintas formas. Las ponderaciones, o asignacin de peso a los criterios y/o indicadores en el caso de que haya unos ms importantes que otros. Las escalas de desempeo competente dirigidas a medir el desempeo en cada uno de los indicadores y asignar el valor alcanzado en el mismo. El mnimo exigible para considerar que se ha demostrado la competencia (punto de corte). LA RBRICA Es una herramienta de evaluacin que utilizando escalas, puede ser usada para medir la actividad de una profesional, a travs de un conjunto de criterios graduados segn un sistema de
________________________________________________________________________________________________ MDULO IV Pgina 14 de 38
_____________________ Mdulo 4. LA FASE DE EVALUACIN categoras en los que se recogen claramente aquellos elementos susceptibles de ser evaluados y considerados como relevantes, de acuerdo a los objetivos formulados. Dicha formulacin puede ir desde un nivel de excelencia hasta un nivel de deficiencia. Un buen e importante ejemplo lo tenemos en las especificaciones de evaluacin contenidas en las guas de evidencias donde se fijan excelentes escalas de desempeo competente en las que se determina el umbral necesario que hay que pasar para ser acreditado en las unidades de competencia del Catlogo Nacional de Cualificaciones Profesionales. Una rbrica permite a la persona evaluadora especificar claramente qu espera de la persona evaluada y cules son los criterios y las evidencias que se van a evaluar. Por ello, en una rbrica deben establecerse de forma clara los criterios que fundamentan los objetivos de evaluacin y las evidencias de la competencia profesional a evaluar. La rbrica suele entregarse a las personas evaluadas antes de iniciar la actividad evaluadora para que conozcan previamente todos los detalles, lo que presenta ventajas para ambos: Ventajas para la persona evaluadora: Le facilita el proceso evaluador. Le clarifica el proceso evaluador. Le permite determinar los criterios de evaluacin. Ajusta la evaluacin a lo establecido. Ventajas para la persona evaluada: Le da a conocer los criterios con los que va a ser evaluada. Le permite comprobar la idoneidad de su trabajo. Ajusta su trabajo a lo establecido RBRICA PARA EVALUAR LA ELABORACIN DE UN INFORME Aspectos a valorar Nivel 3 (excelente) Nivel 2 (suficiente) Nivel 1 (psimo) Se adapta al formato Se adapta al formato y el No se adapta al formato o aunque a veces no hay contenido est distribuido el contenido de cada Formato correspondencia entre segn epgrafes epgrafe no responde a lo algn epgrafe y el propuestos. requerido contenido vertido El informe es claro, enfoca El informe es disperso, le el problema dando El informe es claro, enfoca falta enfoque y se argumentos con datos el problema y lo enriquece argumenta con detalles Contenido vagos y generales que con datos y detalles bastante incompletos pueden impedir relevantes. favoreciendo inferencias no comprender la dimensin deseadas al leerlo completa del problema La organizacin trata el La organizacin resalta y problema. Existe ciertoLa organizacin impide focaliza el problema. El Organizacin desorden que envisualizar el problema. orden, la estructura o la de las ideas momentos puede hacerFalta estructura y carece presentacin ayudan a una perder el objeto delde direccin. lectura fcil y comprensiva. informe. Lenguaje vago y abstracto Las palabras son o lenguaje redundante Las palabras transmiten el adecuadas, transmiten el carente de matices Lenguaje mensaje con un lenguaje mensaje propuesto de necesarios. corriente y algo impreciso. forma tcnica y precisa.
________________________________________________________________________________________________ MDULO IV Pgina 15 de 38
_____________________
Para saber ms EJEMPLOS DE LISTA DE COTEJO Y TIPOS DE ESCALAS Listas de cotejo: nicamente indica "s" o "no", "1" o "0", dependiendo de que las caractersticas a observar se presente o no se presente. A diferencia de las anteriores no se trata de establecer un grado. LISTA DE COTEJO PARA EVALUAR LA ACTUACIN DE UNA PERSONA ASESORA EN UNA ENTREVISTA FASE DE ACOGIDA Y PRESENTACIN: SI NO
1. Crea un primer momento para el saludo y acogida 2. Mantiene un momento breve de charla introductoria que ayuda a conseguir la confianza de la persona candidata 3. Indaga sobre los motivos y expectativas de la persona candidata para incorporarse al procedimiento 4. Indaga el grado de conocimiento que tiene la persona candidata sobre los aspectos normativos del procedimiento 5. Se asegura que la persona candidata sabe exactamente en qu parte del procedimiento se encuentra, explicndole las lagunas y dudas que pueda tener 6. Expone de forma clara y breve los objetivos de la entrevista 7. Hace saber que la persona asesora est sometida a las normas de proteccin de datos y a mantener la confidencialidad en todo momento NOTA: (La puntuacin de cada cotejo puede tener un valor positivo o negativo; asimismo puede tener un valor variable ponderado- en funcin de lo importante de cada ejecucin)
________________________________________________________________________________________________ MDULO IV Pgina 16 de 38
_____________________
Escalas graduadas recogen opciones guardadas en intesidad creciente o decreciente. Las distintas categoras de estas escalas pueden identificarse mediante nmeros, descripciones, grficas...
ESCALA PARA EVALUAR LA ACTUACIN DE UNA PERSONA EVALUADORA EN UNA ENTREVISTA FASE DE DESARROLLO: SOBRE LAS COMPETENCIAS1 PROFESIONALES 1. Revisa juntamente con la persona candidata la informacin relevante obtenida hasta el momento 2. Descarta preguntar o indagar cualquier informacin no relevante que pueda distraerse o distanciarse de los objetivos previstos 3. Ofrece sistematizacin y secuencialidad a la hora de recabar informacin evitando en lo
________________________________________________________________________________________________ MDULO IV Pgina 17 de 38
_____________________ posible dar saltos hacia adelante y/o hacia atrs 4. Indaga de forma concreta situaciones profesionales claves 5. Contextualiza cada cuestin enunciada 6. En cada cuestin planteada, alega una situacin/incident e crtico 1 2 NO/NADA POCO PSIMO
_____________________
_____________________
_____________________
_____________________
5. PRUEBAS OBJETIVAS.
Son mtodos para la evaluacin de los conocimientos, destrezas cognitivas y habilidades personales y sociales requeridas en el desempeo profesional. Pertenecen al grupo de pruebas profesionales de competencia. Pueden ser: De seleccin de respuesta entre varias alternativas como las de verdadero o falso (V/F). tems de seleccin mltiple (se presentan varias opciones de las que slo una es correcta).Se usan con ms frecuencia pues permiten evaluar una mayor gama de destrezas cognitivas que las de V/F. Proporcionan una evaluacin normativa, pues compara el rendimiento manifestado por cada persona y lo relaciona con los niveles presentados por el grupo del que forma parte (estandarizacin). Constituyen una herramienta importante y fiable para la recogida de informacin, resultando de gran utilidad para clasificar a las personas y grupos en categoras, analizar las diferencias entre personas o grupos, verificar hiptesis, predecir resultados, seleccionar a las personas que mejor se adapten a los requisitos de un puesto de trabajo. Algunas variantes son el multi-item de base comn o ejercicio interpretativo, que consiste en una base comn de informacin o de datos sobre los que se formulan un conjunto de cuestiones o tems objetivos. La informacin previa puede darse en forma de tabla, grficos, mapas, dibujos o documento por escrito. Ventajas de las pruebas de tems de seleccin mltiple. El uso de gran nmero de cuestiones permite cubrir una gran variedad de contenidos (muestreo representativo). Si estn correctamente elaboradas son fciles de comprender y de contestar. La correccin es sencilla y las puntuaciones son objetivas y fiables. A diferencia de otras pruebas (prueba oral, prueba de respuesta abierta; etc.) que dejan la posibilidad de responder desvindose de la cuestin, las cuestiones de seleccin mltiple no permiten ser esquivadas. Las respuestas pueden ser tratadas mediante sistemas informticos. Limitaciones Las puntuaciones pueden estar distorsionadas por la influencia de otras variables. Por ejemplo habilidad para la lectura, acierto por azar (se corrige mediante formula estadstica). Son poco adecuadas para evaluar destrezas cognitivas ms complejas, que exijan una respuesta larga, expresin espontnea, creativa, aptitud de expresar el propio pensamiento, la invencin de soluciones nuevas; etc. Se las considera inadecuadas para medir la capacidad de sntesis y evaluacin. Ventajas de las pruebas de multi-tems de base comn o ejercicio interpretativo. Permiten evaluar los conocimientos, destrezas cognitivas y habilidades necesaria para: o Distinguir los aspectos fundamentales de una informacin. o Identificar limitaciones de los datos presentados.
________________________________________________________________________________________________ MDULO IV Pgina 22 de 38
_____________________ Mdulo 4. LA FASE DE EVALUACIN Formular conclusiones vlidas. Interpretar datos y relaciones. Elaborar hiptesis. Realizar inferencias lgicas. Aplicar principios, teoras; normas; etc. Diagnosticar fallos o errores, solucionar problemas, etc Aplicabilidad a situaciones reales y cotidianas de la vida profesional. Se puede basar en estudio de casos e incidentes crticos. Para ampliar la informacin consultar "Para saber ms".
o o o o o o
Para saber ms Tanto el ejercicio interpretativo o multi-items de base comn como las pruebas de respuesta abierta pueden basarse en las tcnicas del estudio de casos y de los incidentes crticos. Estudio de caso Incidentes crticos
Supone analizar un caso o situacin Recogen ejemplos y ancdotas de conductas adecuadas e representativa del contexto inadecuadas para el desempeo en situaciones profesional y, basndose en l, se representativas del contexto profesional. Tambin sucesos o puede solicitar: eventos inesperados de la prctica profesional que exigen dar una respuesta generalmente rpida. Identificar elementos de diferente tipo (principios, normas, causas, Permiten evaluar las destrezas cognitivas y/o habilidades consecuencias, etc.) personales y sociales para: Describir situaciones o hechos respuestas a contingencias concretos detectar errores y aciertos Registrar u organizar los valorar la actuacin de otros datos, secuenciar las identificar problemas y soluciones informaciones, etc. presentar alternativas Presentar argumentos a partir tomas decisiones de los datos presentados, prever consecuencias, etc. establecer hiptesis, conclusiones Seleccionar mtodos o tcncas a aplicar en ese caso concreto Solucionar el problema que se plantea Elaborar un plan de actuacin
Posibilitan presentar situaciones del contexto profesional para evaluar destrezas cognitivas ms complejas (por ejemplo anlisis) y que se presten a la utilizacin de habilidades personales y sociales vinculadas a la profesionalidad. La evaluacin con este mtodo tiene un carcter ms global o integral. Reduce la diferencia que puede haber entre las personas respecto a la informacin previa disponible, pues los datos indispensables para responder se presenta en la base de datos comn.
Limitaciones
________________________________________________________________________________________________ MDULO IV Pgina 23 de 38
_____________________ Mdulo 4. LA FASE DE EVALUACIN Son ms difciles de construir. Cuando la base de datos es un texto escrito se requiere buena comprensin lectora. El ejercicio est estructurado y no alcanza a medir aprendizajes altamente complejos, (sntesis, evaluacin) para los que es preciso utilizar pruebas de respuesta abierta.
Como ya se ha indicado, en las pruebas objetivas, es frecuente utilizar tems de seleccin mltiple pues son los que ms posibilidades ofrecen para la evaluacin de los aspectos cognitivos. A continuacin se presentan algunas pautas para su correcta elaboracin. Pautas para la elaboracin de tems de seleccin mltiple Han de plantearse de manera que cada tem evale la dimensin de la competencia que se pretende; por ejemplo no es lo mismo redactar un tem para evaluar conocimientos que para las destrezas ms complejas, como la aplicacin. El vocabulario ha de ser comprensible, evitando utilizar palabras complicadas innecesariamente. Si lo que se pretende evaluar es la capacidad de comprensin, aplicacin; etc., hay que evitar utilizar tems que puedan contestarse por simple memorizacin de informacin. Evitar la interdependencia entre dos ms cuestiones, de modo que para contestar a una de ellas se deba haber contestado a las anteriores.
________________________________________________________________________________________________ MDULO IV Pgina 24 de 38
Juegos de palabras que pueden despistar sin ningn motivo. Cuestiones triviales, poco significativas o que su respuesta sea obvia. Cuestiones expresadas de forma ambigua. Evitar las claves reveladoras o pistas que sugieran la respuesta correcta. Estas claves pueden ser verbales, gramaticales, por heterogeneidad; etc. Es preferible que la base o cuerpo de la cuestin tenga significado por s misma sin necesidad de aadir las alternativas. No sobrecargar de texto la base de la cuestin innecesariamente. sta ha de incluir la informacin estrictamente necesaria para comprender el correcto sentido de las opciones que se presenta. Todas las opciones han de parecer razonables. Algunas estrategias son: No utilizar claves que informen sobre la respuesta correcta. Intentar que todas las opciones tengan la misma longitud y la misma complejidad de redaccin que la respuesta correcta (generalmente la respuesta correcta tiende a ser ms larga considerando la necesidad de hacerla inequvocamente correcta; en ese caso hay que aumentar la longitud de las dems opciones). Asegurarse de que no existen cuestiones que proporcionen informacin o claves para responder a otras cuestiones de la prueba correctamente. Las palabras que se vayan a repetir en todas las opciones son parte de la cuestin y no de las opciones. En la aplicacin de las pruebas objetivas se utilizan los siguientes soportes:
Un cuadernillo que contiene los tems o preguntas y unas instrucciones previas sobre como contestar a la prueba. Una hoja de repuestas para marcar la opcin correcta. Permiten correccin mediante lectura ptica.
La correccin de la prueba se realiza mediante la clave de respuestas correctas. Para ajustar la puntuacin final, se tiene en cuenta el acierto por azar y, en consecuencia, a los aciertos obtenidos se les descuentan los errores mediante la frmula siguiente: Puntuacin total = Aciertos-Errores / (n alternativas 1)
En el diseo de las pruebas objetivas hay que tener en cuenta, adems de la validez y la fiabilidad, el nivel de dificultad y de discriminacin de los tems.
_____________________
PARA RECORDAR - Con las pruebas objetivas no es recomendable evaluar las destrezas cognitivas ms complejas (anlisis, sntesis y evaluacin), pues generalmente exigen utilizar ms informacin que la que se puede incluir en el tem de un cuestionario o test; adems, sintetizar y evaluar suponen aportar una respuesta propia en una situacin en la que no hay una nica solucin correcta. - Con las pruebas de respuesta abierta se podra evaluar tanto los conocimientos como las destrezas cognitivas, pero estn ms indicadas para estas ltimas por las posibilidades de expresin que ofrecen.
________________________________________________________________________________________________ MDULO IV Pgina 26 de 38
_____________________ Mdulo 4. LA FASE DE EVALUACIN Respecto a las pruebas orales, tienen sus propias caractersticas en cuanto a las condiciones de aplicacin, pero siguen patrones similares a las pruebas escritas de respuesta abierta en lo relativo a las dimensiones que evalan.
aplicar conocimientos tcnicos; analizar datos y establecer relaciones entre la informacin disponible; establecer hiptesis para explicar los datos presentados; crear un plan de actuacin que se ajuste a la situacin, aplicando normas de seguridad, higiene y calidad; establecer un diagnstico; resolver un problema, tomar decisiones..etc.
Presentar una situacin significativa y nueva, que se preste a producir soluciones originales a los problemas planteados (respuestas que no se hayan aprendido previamente de memoria). Plantear la cuestin indicando con claridad lo que se solicita para evitar la desviacin en el tipo de respuesta o producto escrito a presentar. Indicar los aspectos que se tomarn en cuenta para la evaluacin. De esta manera se consigue que la persona pueda ponderar adecuadamente los diferentes aspectos de su respuesta.
Correccin y puntuacin de las pruebas de respuesta abierta Hay que establecer: Las especificaciones de evaluacin: Resultados a comprobar Identificacin de indicadores El sistema de valoracin: Definicin clara de los indicadores y escalas. Ponderaciones, si procede. Mnimo exigible.
_____________________ Mdulo 4. LA FASE DE EVALUACIN Las pruebas orales no hay que improvisarlas sino que hay que planificarlas y disearlas previamente. Para ello se pueden seguir pautas similares a las ya indicadas para las pruebas de respuesta abierta, tanto en su diseo como en su correccin y valoracin, pero matizndolas debido a las que las condiciones de aplicacin son distintas. P. ej. habra que considerar un instrumento para registrar y evaluar las respuestas verbales en la medida que se van produciendo.
Para saber ms
RELACIN ENTRE LOS TIPOS DE PREGUNTAS Y LAS DIMENSIONES DEL MBITO COGNITIVO A.- Fundamentos conceptuales. Conocer (memoria): mediante prueba objetiva, plantear situaciones que impliquen recuerdo de: Trminos. Hechos especficos. Principios, normativas; etc. Comprender: plantear mediante prueba objetiva situaciones habituales que impliquen: Explicar un concepto, hecho; etc. Identificar o poner ejemplos que ilustren un determinado concepto, principio., etc. Distinguir los aspectos esenciales de los accesorios de una determinada informacin. Percatarse de las interrelaciones sencillas entre distintos elementos. Justificar la utilizacin de tcnicas, mtodos, procedimientos.... Obtener conseuencias evidentes de los hechos que se presenten... etc B. Destrezas cognitivas implicadas en el procedimiento. Aplicar: plantear situaciones nuevas del mbito laboral, mediante pruebas objetivas y de repuesta abierta, que impliquen: Indicar los principios, normas, leyes, etc. ms apropiados para afrontar o resolver el problema que se presenta. Explicar los fenmenos o hechos que se plantean. Predecir las consecuencias que se derivarn de los hechos planteados. Indicar o justificar las acciones que se seguiran ante la situacin planteada... etc. Analizar: plantear situaciones nuevas mediante el ejercicio interpretativo o pruebas de respuesta abierta, que impliquen: Inferir cualidades o caractersticas particulares no expresadas directamente. Determinar, a partir de las relaciones entre las distintas partes de una informacin, las suposiciones, conclusiones o cualidades subyacentes que se derivan o estn implcitas. Formular y comprobar hiptesis para solucionar un problema. Identificar los principios de organizacin que otorgan a una informacin, material, etc. una estructura unitaria. Sintetizar: plantear situaciones nuevas, mediante pruebas de respuesta abierta que impliquen: Generar soluciones y productos originales (Creatividad) Evaluar: plantear situaciones nuevas que impliquen: Emitir juicios de valor sobre la informacin presentada, utilizando anlisis/ sntesis previos.
_____________________
7. LA ENTREVISTA PROFESIONAL.
Es una tcnica de recogida de informacin que establece un dilogo entre personas (persona entrevistadora- persona entrevistada) a fin de conseguir unos datos informativos concretos. No se trata de una conversacin ordinaria, ya que se pretende conseguir una informacin para unos fines preestablecidos. Se trata de una tcnica que resulta compleja de llevar a cabo, ya que requiere de cierta experiencia y habilidad por parte de la persona entrevistadora para que resulte fructfera. Para ello, la sesin se debe preparar con anterioridad, fijando las preguntas que se van a formular y los contenidos sobre los que se va a profundizar. Es importante facilitar el dilogo, no forzar a la persona entrevistada y respetar sus respuestas, ya que slo de este modo resultar una tcnica til para obtener datos relevantes. La entrevista puede ser directa, o diferida (telefnica). Lo que caracteriza la entrevista directa, es la interaccin personal, en la que dos personas (o ms de dos) interactan por medio de una conversacin, con el propsito de cumplir un objetivo previamente definido. Las caractersticas principales de la entrevista son las siguientes: Es una va de comunicacin bidireccional y generalmente oral. Se establece entre dos o ms personas que establecen una relacin directa o cara a cara. Precisa de unos objetivos prefijados y conocidos por todas las personas participantes. Existe una adopcin de roles diferenciados que conllevan el control de la situacin por parte de la persona entrevistadora, por lo que se establece una relacin asimtrica entre los/as participantes. Se establece una relacin interpersonal, lo que implica que la entrevista sea algo ms que la aplicacin mecnica de una tcnica. Las ventajas de la entrevista son: Permite establecer relaciones cercanas entre persona entrevistadora y la entrevistada. Implica una relacin personal entre ellas. Es flexible, ya que permite adaptarse sobre la marcha a las peculiaridades del entrevistado/a. Proporciona gran variedad de informacin, ya que permite observar el comportamiento de la persona entrevistada, tanto en la dimensin verbal como en la no verbal. Permite recoger informacin de carcter subjetivo (emociones, opiniones, percepciones, y otros) y de tipo biogrfico (trayectoria vital, conflictos, entre otros). Es apropiada para evaluar a personas que no podran ser examinadas con otras tcnicas o instrumentos por sus peculiaridades. Algunos de sus inconvenientes: Tiene un coste relativamente elevado de tiempo y esfuerzo para la persona entrevistadora y la entrevistada. El riesgo de no ser un medio objetivo de recogida de informacin, puede haber diferentes amenazas de sesgo, vindose afectadas ambas partes. La persona entrevistadora debe ser un/a agente con experiencia, perspicaz y sensible. Slo as se obtiene informacin relevante y til.
_____________________
La persona evaluadora posee una gran libertad para decidir qu y cmo preguntar. Las cuestiones planteadas son de muy diverso contenido y, en ocasiones, no tienen relacin con el desempeo a evaluar. No hay un acuerdo previo sobre cul sera el contenido adecuado de las cuestiones que se van a plantear a la persona. Se puede modificar la estrategia y el contenido ante diferentes personas candidatas para la evaluacin de un mismo desempeo. En lo que se refiere al grado de estructuracin de las preguntas , primer nivel: ausencia total de restricciones formales. La persona entrevistadora puede plantear las preguntas que considere oportunas. En lo referente al grado de estandarizacin de la valoracin de las respuestas, primer nivel: evaluacin global de la persona candidatoabasada en la informacin total obtenida. Tipo de preguntas: Credenciales, logros y datos biogrficos. Proporciona informacin sobre datos personales de la persona aspirante en relacin con el desarrollo del desempeo. (Por ejemplo Tiene usted permiso de conducir?). Descripciones sobre la experiencia. Este tipo de preguntas permite sondear a la persona aspirante para lograr informacin sobre su experiencia laboral y profesional (p.ej.: Cules fueron las responsabilidades ms importantes que le asignaron en su ltimo puesto?). Opiniones. Estas preguntas cubren un amplio conjunto de reas, tanto sobre la propia persona candidata, como de sus empleos, sobre otras personas o cualquier otra pregunta cuyo contenido implique juicios valorativos (p.ej.: Cules considera que son sus puntos fuertes?).
_____________________
Ventajas: Su adecuada utilizacin supone ciertos elementos favorables en cuanto a que la persona evaluadora puede: Disponer de una mayor flexibilidad, permitindole indagar en aspectos no medibles ni observables por otras tcnicas. Explorar reas que surgen espontneamente durante la entrevista. Producir informacin sobre aspectos que, en principio, no se pens que fueran relevantes. Limitaciones: Entre las que se pueden citar: Coeficientes de fiabilidad y validez moderados y por lo tanto, bajo nivel de generalizacin sobre desempeos futuros. Tiempo utilizado negativamente, teniendo como consecuencia una duracin excesiva de este mtodo. Alta subjetividad de la figura de la persona evaluadora, introduciendo sesgos en las preguntas o en la interpretacin de los resultados. Recogida de informacin poco significativa con respecto a lo que se quiere evaluar.
_____________________ Mdulo 4. LA FASE DE EVALUACIN Conocimiento tcnico. Permite profundizar en los conocimientos necesarios para realizar una determinada actividad profesional con los niveles requeridos en el ejercicio eficaz (Por ejemplo Qu es un drenaje postural?). Descripciones de conducta. Incluiran tanto las preguntas sobre conductas pasadas como sobre las futuras, es decir sobre qu hizo y cmo lo hizo, pero tambin sobre qu hara en una determinada situacin o cmo resolvera un determinado problema o tarea (Por ejemploCmo resolvera un contratiempo sobre.?)
Entre las entrevistas estructuradas destaca la entrevista conductual estructurada (ECE).como mtodo con mayor fiabilidad y validez para evaluar el desempeo profesional.
_____________________ Mdulo 4. LA FASE DE EVALUACIN Por tanto, la ECE se puede utilizar para detectar si la persona candidata dispone de los fundamentos conceptuales exigidos en la unidad de competencia, si bien presenta su mximo inters o utilidad cuando se utiliza para inferir si la persona posee las competencias requeridas en el desempeo, basndose en las respuestas que proporcione sobre su actuacin en la prctica profesional.
EJEMPLO A continuacin se presenta un ejemplo de pregunta conductual y su escala de valoracin en una entrevista conductual estructurada para un vigilante de seguridad (adaptado de Salgado y Moscoso, 2001) Pregunta En su trabajo pueden surgir situaciones complicadas e incluso peligrosas en las que es necesaria una actuacin rpida. Cul fue la ltima vez que le ocurri algo as?
Cul era exactamente la situacin? Cmo reaccion usted? Pens en las consecuencias de su actuacin? Se dio cuenta del peligro que corra Cul fue el resultado de su actuacin? Actu o actuara igual si se volviera a ver en una situacin semejante? (Si contesta no) Qu hara diferente? Le dijeron algo sus superiores de su actuacin?
Escala de valoracin 1 2 3 4 5 (1) No supo reaccionar, estaba inseguro o cuando tom una decisin fue demasiado tarde para solucionar el problema (3) Se lanz sin pensar en las consecuencia y as empeor las cosas (5) Actu con rapidez y seguridad, pero tomando las precauciones necesarias
Ventajas:
Validez predictiva elevada. Fcil aplicacin al estar estandarizada. Evaluacin mucho ms imparcial y sistemtica al incluir sistemas de valoracin objetivos. Ahorro de recursos, debido a que permite, en buena medida, inferir el desempeo sin necesidad de utilizar tcnicas de observacin directa (puesto de trabajo, simulaciones; etc) ms costosas econmicamente.
Limitaciones: Gran cantidad de tiempo invertido, necesario para su preparacin y planificacin. Alto grado de formacin y experiencia previa de las personas evaluadoras, tanto para su realizacin como para su valoracin. Se hace necesario un entrenamiento adecuado para cualquier profesional que deba realizarla. La generalizacin de sus contenidos a otras situaciones es mucho menor al estar las preguntas concretadas para determinados desempeos. No obstante la estructura (formas de diseo y valoracin) es extrapolable a cualquier mbito. Antes de abordar el diseo de una ECE hay que considerar los elementos que intervienen de forma decisiva en su establecimiento.
________________________________________________________________________________________________ MDULO IV Pgina 33 de 38
_____________________ Mdulo 4. LA FASE DE EVALUACIN Contenido: hace referencia al tipo de preguntas que se van a realizar. En el caso de la ECE girarn en torno a: Conocimiento tcnico. Preguntas dirigidas a comprobar si se tienen o no las competencias. Descripciones de conducta. Se incluirn preguntas tanto, sobre conductas pasadas como conductas futuras. Factores situacionales: tiempo disponible para realizar la entrevista, lugar, ambiente fsico (iluminacin, disposicin del mobiliario, temperatura, etc.)
Variables de la persona evaluadora: estrategias de comunicacin y procesamiento de la informacin, conducta no verbal, experiencia en el mbito de la unidad de competencia a acreditar y entrenamiento con respecto a la entrevista entre otros. Variables de la persona candidata: estrategias de expresin y comunicacin, conducta no verbal, motivacin, etc. CMO SE DISEA? En el diseo de la entrevista hay que considerar que sta es un proceso complejo en el que entran en juego una serie de variables de diferente naturaleza que van a influir en la toma de decisiones de la persona evaluadora y la validez de sus resultados. A continuacin se establecen los aspectos fundamentales que debe reunir una ECE en cuanto a su preparacin, diseo y aplicacin, de manera que, el instrumento que se elabore, rena los principios de fiabilidad, objetividad y validez, contribuyendo as a garantizar la calidad de la evaluacin. Pautas para el diseo de una ECE Identificacin de las dimensiones de la competencia profesional (evidencias a recoger).Consiste en decidir cules son los elementos claves del desempeo sobre los que hay que recoger evidencias, y sobre ellos se realizarn preguntas basadas en conductas anteriores de las personas candidatos. Identificacin de los incidentes crticos (IC) Para ello, se seleccionan situaciones relevantes que pueden basarse en la tcnica de incidentes crticos; es decir, recoger ejemplos y ancdotas de conductas adecuadas e inadecuadas para el desempeo, en situaciones representativas del contexto profesional. Tambin pueden ser sucesos o eventos inesperados de la prctica profesional que exigen dar una respuesta generalmente rpida. Diseo de las preguntas Consiste en generar preguntas que permitan obtener evidencias conductuales sobre si la persona aspirante posee o no la competencia evaluada por dicha pregunta. Estas preguntas pueden ser de dos tipos: General e introductoria a la dimensin Referidas a conductas laborales pasadas y futuras del candidato o candidata (cmo actu o actuara en esa situacin). Diseo de los anclajes conductuales y sus escalas de valoracin (EVAS) Se trata de establecer posibles respuestas que puede ofrecer la persona aspirante. Estos anclajes se obtienen a partir de los incidentes crticos y de los criterios para un desempeo eficaz.
________________________________________________________________________________________________ MDULO IV Pgina 34 de 38
_____________________ Mdulo 4. LA FASE DE EVALUACIN Estos ayudan a la persona evaluadora a valorar la respuesta de la persona candidata, a la vez que facilitan y hacen ms precisa la valoracin de los diferentes intervalos de una escala. En una entrevista se utilizan tantos anclajes como dimensiones o preguntas se quieran valorar.
Sugerencias para su aplicacin Para comprobar en distintas personas aspirantes el mismo tipo de desempeno (por tanto, con las mismas dimensiones de competencia) se hacen preguntas similares y en el mismo orden. De esta forma se garantiza mas la homogeneidad y fiabilidad pues todas tienen las mismas posibilidades de respuesta. Las preguntas se plantean en base a las situaciones relevantes profesionales (incidentes criticos). Se debe utilizar un sistema conductual de valoracion de las respuestas de las personas candidatas. Lo ideal seria usar escalas de valoracion con anclajes conductuales (EVAS). Es necesario un entrenamiento especifico para las personas evaluadores, en lo que se refiere tanto a la conduccion de la entrevista como en la valoracion de la informacion obtenida. Conviene restringir el uso de esta entrevista para valorar solo las dimensiones identificadas. Valoracin Se utilizan elementos de la conducta pasada de las personas candidatas como indicadores para predecir la competencia en el desempeno futuro. Se establecen las escalas de valoracion sobre los anclajes conductuales, asignando un valor a cada uno de ellos Se define un determinado punto de corte que se considera la puntuacion minima exigible. Si la entrevista se realiza por mas de una persona evaluadora, no deben comentarse los resultados hasta que esten todas finalizadas. Posteriormente, es cuando se discuten las posibles discrepancias y se promedian las valoraciones.
_____________________
8. RESUMEN
La seleccin de los mtodos e instrumentos de evaluacin y su concrecin en actividades de evaluacin se realizar de acuerdo a: Naturaleza de la unidad de competencia. Caractersticas de la persona aspirante. Criterios para la evaluacin recogidos en las guas de evidencias. Clasificacin de los mtodos de evaluacin: A) Mtodos para la evaluacin directa el desempeo: Observacin en el puesto de trabajo Simulaciones Pruebas profesionales de competencia B) Mtodos para la evaluacin de los conocimientos, destrezas cognitivas, y habilidades personales y sociales requeridas en el desempeo profesional: Pruebas profesionales de competencia. o Pruebas objetivas: items de seleccin mltiple y multi-items de base comn. o Pruebas de respuesta abierta. Escritas y orales Entrevista profesional o Entrevista convencional o abierta o Entrevista estructurada. Dentro de ella, la conductual estructurada Con estos mtodos tambin se puede inferir el desempeo, cuando plantean cuestiones sobre " como actu o actuara" la persona candidata en determinadas situaciones referidas al contexto profesional. Las cualidades exigibles a los instrumentos de evaluacin son: Pertinencia: adecuacin del instrumento con las dimensiones de la competencia que pretende evaluar. Validez: est referida al grado en que un instrumento mide lo que pretende evaluar. Fiabilidad: es la cualidad que permite obtener resultados consistentes en mediciones sucesivas del mismo fenmeno. Si se aplica varias veces el mismo instrumento y los resultados obtenidos son similares, se puede considerar que es fiable. Fiabilidad inter-jueces, acuerdo entre dos o ms evaluadores/as que evalan lo mismo a la misma persona. Mtodos para la evaluacin directa del desempeo: Tienen en comn que con ellos se pueden comprobar destrezas prcticas y habilidades personales y sociales vinculadas a la profesionalidad e inferir conocimientos y destrezas cognitivas. Se basan en tcnicas de observacin y tienen carcter integral ( utiliza medios, tcnicas y mtodos del contexto profesional). Permite evaluar el proceso de ejecucin y/o el producto resultante. Requiere soportes para el registro y evaluacin de lo observado.
________________________________________________________________________________________________ MDULO IV Pgina 36 de 38
_____________________ Mdulo 4. LA FASE DE EVALUACIN La diferencia entre ellos es el grado de ajuste a un contexto profesional. Diseo y elaboracin: Identificar la situacin de evaluacin: relevante y representativa (usar la gua de evidencias). Concretar la actividad: especificar qu hay que hacer, cmo, con qu medios y en qu tiempo ha de ser viable. Especificar las condiciones de realizacin: centro, instalaciones, aspectos organizativos. Especificaciones para la evaluacin de la actividad: criterios de mrito (resultados concretos que se observarn referidos al proceso de ejecucin y/o producto resultante) indicadores de desempeo para cada criterio (para concretar y objetivar los criterios de mrito), ponderaciones (asignacin de peso a los criterios y/ o indicadores), escalas de desempeo competente ( mnimo exigible, es decir punto de corte para decidir si es competente o no).
Pruebas objetivas escritas: Los tems de seleccin mltiple permiten evaluar una gran variedad de contenidos. Diseo y elaboracin: Es til construir una matriz de especificaciones , que nos ofrece una visin global de cmo plantear la prueba ( recoge resultados a comprobar, n total de tems que tendr y su distribucin por cada dimensin de la competencia). En la elaboracin debe utilizarse un vocabulario comprensible, evitar utilizar juegos de palabras o plantear cuestiones ambiguas. Para su aplicacin se necesita un cuadernillo, instrucciones sobre cmo contestar la prueba y hoja de respuestas. Los multi-tems de base comn, proporcionan una informacin previa en forma de tabla, grficos, mapas, dibujos o documento por escrito. Sobre dicha informacin se formulan un conjunto de cuestiones o tems objetivos. Pruebas de respuesta abierta: Respuesta corta: hay que desarrollar por escrito la respuesta a la situacin planteada, pero se marcan ciertas restricciones en la forma y contenido de la respuesta.. Respuesta larga: tienen un carcter ms abierto y amplio y, en consecuencia, ofrecen mayor posibilidad de expresin. Diseo y elaboracin: Hay que especificar claramente el sistema de valoracin estableciendo las criterios, indicadores y escalas. Plantear situaciones relativas al contexto profesional ( aplicar conocimientos tcnicos, analizar datos y establecer relaciones, establecer hiptesis, crear un plan de actuacin, resolver problemas, tomar decisiones) En su elaboracin, se pueden usar tcnicas de estudio de casos y de incidentes crticos. Entrevista profesional: Tipos de entrevistas Convencional Tipo de pregunta
_____________________ Mdulo 4. LA FASE DE EVALUACIN Grado de estructuracin de las preguntas Grado de estructuracin de las preguntas Primer nivel: ausencia de restricciones. Segundo nivel: es una gua de las reas a cubrir. Plantear las preguntas que considere Tercer nivel: Especificaciones previas de preguntas, pero oportunas. con flexibilidad para adaptarse a las personas candidatas y elegir entre cuestiones alternativas. Cuarto nivel: estandarizacin completa de las preguntas y el mismo orden. Grado de estandarizacin de valoracin Grado de estandarizacin de valoracin de la respuesta. de la respuesta: evaluacin global. Segundo nivel: mltiples valoraciones referidas a cada una de las dimensiones en las que estn basadas las preguntas. Tercer nivel: valoracin independiente de cada una de las respuestas. Entrevista conductual estructurada. ECE Caractersticas: Las preguntas giran en torno a las conductas eficaces para el desempeo y conocimientos tcnicos. En ella puede usarse la tcnica de incidentes crticos. Realizacin de las preguntas en el mismo orden a todas las personas aspirantes. Diseo y elaboracin: Cuidar el tiempo disponible, ambiente fsico y lugar para realizar la entrevista. Variables de la persona evaluadora: necesita entrenamiento, estrategias de comunicacin y procesamiento de la informacin Variables de la persona evaluada: tener en cuenta las estrategias de expresin y comunicacin, conducta no verbal, motivacin etc. Considerar cuales son los elementos claves del desempeo. Diseo de preguntas sobre conductas pasadas o futuras. Establecer posibles respuestas con los anclajes conductuales y sus escalas de valoracin.