PISA y TIMSS

  • Unidad 1: Finalidad de las pruebas externas


 


En esta lista compilada con List.ly encontraréis apps/herramientas/recursos/medios para diseñar presentaciones multimedia: Nos conocemos mejor.

 http://list.ly/list/FL3-presentaciones-3-2-1-dot-dot-dot-nos-conocemos-mejor

Las siguientes actividades te ayudarán a alcanzar los objetivos de esta primera unidad del MOOC:
Actividad 1. Nos presentamos
Esta actividad consiste en presentarnos en el espacio de debate del curso y explicar qué esperamos del MOOC. Por ejemplo:
“Hola a todos, mi nombre es David, soy de profesor de tecnología. Con este curso me gustaría conocer más de cerca las evaluaciones internacionales, conocer el tipo de preguntas que se les hace a los alumnos y qué utilidad le podría dar con mis alumnos”.
Puedes presentarte tanto por escrito, como mediante otros formatos: audio, vídeo, con una imagen con texto… lo que se te ocurra.
Y además, nos gustaría saber desde dónde haces el MOOC. Te animamos a que añadas tu localidad en el mapa de participantes.
En los Recursos de ayuda encontrarás enlaces que te podrán ayudar a presentarte de forma creativa.
Si lo prefieres, puedes hacer esta actividad en Twitter, con hashtag #preguntasPISA (ver actividad 3) o en tu blog del curso (actividad 5). No es obligatorio presentarse en el foro si haces tu presentación en blog y Twitter.
Actividad 2. Nos ponemos al día
Para que no se nos olvide ningún detalle, debemos suscribirnos al calendario compartido del curso. De esta forma se notificarán los eventos relevantes referentes al curso, y tendrás opción a suscribirte a boletines, congresos, etc; en definitiva, te ayudará a estar al día de las novedades en el MOOC.
Actividad 3. Nos ponemos al día en las redes sociales
Para ir creando comunidad colaborativa de aprendizaje es imprescindible intercambiar experiencias.
Esta actividad consiste en abrir un perfil en la red social Twitter; si ya tienes uno, puedes seguir utilizando el mismo.
Además, debes tuitear alguna de tus expectativas sobre el curso en un máximo de 140 caracteres incluyendo el hashtag que vamos a utilizar durante el MOOC, #preguntasPISA.
De esta forma todos los participantes estaremos en comunicación durante el curso, y posteriormente, a través de ese hashtag.
En los Recursos de ayuda encontrarás enlaces de interés que podrán servirte para comenzar a dar tus primeros pasos en esta red de microblogging.
Para acceder al calendario del curso, donde podrás ver las fechas de entrega de las actividades, los congresos sobre evaluación, eventos importantes, etc, pulsa aquí; además, nos permitirá compartir y gestionar conjuntamente la información que se quiera mostrar. Si deseas añadirlo a tu propio calendario, simplemente pulsa en el icono +Google Calendar que aparece en la esquina inferior derecha del mismo, y podrás tener el calendario del MOOC siempre a mano.
Un ejemplo de utilización de Google Calendar podemos verlo en este videotutorial.
En esta lista compilada con List.ly encontraréis apps/herramientas/recursos/medios para diseñar presentaciones multimedia: Nos conocemos mejor.
Si te acabas de estrenar en Twitter, o llevas poco tiempo, el Manual Twitter 2013 te permitirá conocer esta herramienta a fondo: desde cómo crear una cuenta o cómo configurar tu perfil hasta las distintas opciones que nos permite la interfaz web.
También se explica qué son los hashtags o de qué forma puedes crear una lista (diapositiva 76 y ss.), finalizando con unas claves para el buen uso de Twitter.
El vídeo "¿Qué es Twitter y por qué usar Twitter?" puede ayudarte a ver qué posibilidades educativas tiene esta red social.
Para aprender a crear listas en Twitter también puedes ver este breve y claro videotutorial.
En este otro videotutorial explican qué es un hashtag y cómo se utiliza.
Otra manera efectiva de gestionar Twitter es utilizar un cliente Twitter, algo esencial. El poder de Twitter recae en la notificación y respuesta instantánea a los tuits de las personas a las que sigues, de modo que las actualizaciones instantáneas son imprescindibles, y el simple uso de una interfaz web no lo facilita.
Quizá te interese alguno de estos útiles clientes Twitter que te recomendamos a continuación:
  • TweetDeck
  • Hootsuite
  • Twitter Link Monitor
  • Twitterrific (para Mac)
  • Tweetalarm tuitea todo lo que hagas con la aplicación para avisar, por ejemplo, a tus compañeros de  trabajo
  • Everypost permite actualizar a la vez o de forma independiente en las principales redes sociales como Facebook, Twitter, Pinterest, Tumblr, Google+ y LinkedIn, así como también permite sincronizarlo con tu correo para avisar a tus contactos.
Actividad 4. ¿Sabías que…?
En esta actividad debes incluir en el espacio de debate una valoración sobre algún aspecto interesante de las evaluaciones, que se base en lo que han contado los expertos que han aparecido en los vídeos.
En la sección de Recursos de Ayuda tienes la oportunidad de ver a más expertos hablando de diversos estudios y de profundizar en cada uno de ellos.
Además te pedimos que tuitees tu respuesta con una frase a modo “¿Sabías que…?” incluyendo el hashtag del curso#preguntasPISA.
Por supuesto, si lo deseas, puedes comentar en Twitter las aportaciones de otros participantes del curso.

La finalidad de la evaluación educativa consiste en dar respuesta objetiva y fiable a cuestiones relativas al sistema educativo y a proporcionar datos, análisis e interpretaciones válidas y fiables que permitan obtener una idea precisa acerca del estado del mismo.

La evaluación aparece porque los sistemas educativos son instrumentos al servicio del cambio social, del desarrollo económico, y también porque el conocimiento del grado de logro de los objetivos de un sistema educativo es una tarea que compete a todos los ciudadanos y que es fundamental para hacer el mejor uso de los recursos disponibles y para tomar las decisiones más adecuadas.

En la página web del Instituto Nacional de Evaluación Educativa (INEE) podrás encontrar todos los informes sobre evaluación internacional en español, bases de datos liberadas, así como una gran variedad de recursos y publicaciones.

El INEE pone a disposición de quien así lo desee distintos canales de información para conocer de mano de los expertos las noticias más punteras sobre evaluación.
Además de PISA, TIMSS o PIRLS hay otros estudios de igual relevancia:
TALIS 
TALIS (Teaching and Learning International Survey), el Estudio Internacional sobre la Enseñanza y el Aprendizaje, es un estudio promovido por la OCDE a gran escala que se centra en las prácticas de enseñanza y aprendizaje que tienen lugar en los centros educativos.
TIMSS Advanced
TIMSS Advanced es una variante de TIMSS para el grado 12, que se traduce a 2º de bachillerato en España, se centra en matemáticas avanzadas y física. España participa por primera vez en este estudio en 2015.

Marco teórico de TIMSS Advanced 2015

Informe internacional y documentos relacionados de la edición de 2008
EECL
El EECL (o ESLC en inglés - European Survey on Language Competences), es un estudio promovido por la Unión Europea, cuya finalidad es proporcionar a los Estados miembros información comparable sobre las competencias lingüísticas en lenguas extranjeras de los alumnos europeos al finalizar la Educación Secundaria Obligatoria (en nuestro país, alumnos de 4º de ESO o ISCED 2). En España se evaluaron inglés y francés como lenguas extranjeras.
PIAAC
Este estudio promovido por la OCDE mide las competencias de la población adulta de 16 a 65 años. Todos los informes en español y los vínculos a los de la OCDE puedes localizarlos en la siguiente web.
  • Hablan los expertos: PIAAC
E&S online
Video extracto de sesión informativa en la UNED. Education and Skills online.
http://www.youtube.com/watch?v=1OZA2dazNic&list=UUBKvUbEeC56etpkHVLPbxhA
Ítems liberados con los que se puede ver cómo eran las preguntas y la plataforma informática.
http://www.starttest.com/templates/StartTest/esol/demo-launch.htm
TEDS-M
TEDS-M (Teacher Education and Development Study in Mathematics) de la IEA ha sido el primer estudio internacional comparativo sobre el conocimiento adquirido por los futuros profesores de matemáticas en Educación Primaria y Secundaria Obligatoria al acabar su formación inicial. 
En el siguiente enlace se puede encontrar una recopilación de información publicada a partir de la información de este estudio:
http://www.mecd.gob.es/inee/estudios/teds-m.html
  • Hablan los expertos: TEDS-M
PISA para centros educativos / PISA for Schools
Se trata de una herramienta de evaluación para los centros orientada para apoyar la investigación, evaluación comparativa y la mejora escolar. En la siguiente web de la OCDE puedes ver los informes de centro.
http://www.oecd.org/pisa/aboutpisa/pisa-basedtestforschools.htm
Este artículo explica el proyecto y el desarrollo hasta el momento del mismo en España.
http://ntic.educacion.es/cee/revista/pdfs/n4art_sanz_gil.pdf
ETLS
En la siguiente página de la IEA se puede encontrar información sobre el próximo estudio de lengua inglesa.
ECEC y ECES
En la siguiente página se puede encontrar toda la información relacionada con la educación infantil y con el estudio ECEC de la OCDE y ECES de la IEA.
http://www.mecd.gob.es/inee/Informaciones-de-interes/Educacion-Infantil.html
ICILS
Página de la IEA con información sobre este estudio para la edición 2013.
Actividad 5. Portafolio de evidencias de aprendizaje
Esta actividad consiste en abrir un blog para hacer tus actividades en el MOOC. Puedes crear el blog en la plataforma que quieras (puede ser otra de las que se han mencionado en el vídeo, si lo prefieres).
Si ya tienes uno, será igualmente válido.
Te animamos a diseñar la estructura del blog (configuración, links a tus redes sociales –mínimo a tu cuenta de Twitter-, etc.) y a escribir una entrada de presentación en el mismo, mediante la que puedes darte a conocer, e incluir el tema concreto que tratarás en este blog, que te servirá como portafolio de evidencias de aprendizaje a lo largo del MOOC.
Recuerda que será como el cuaderno de clase en el que realizarás parte de las actividades y podrás mostrar tus principales conclusiones y experiencias, además de permitirnos relacionarnos con otros participantes y poder comentar y debatir sobre la información expuesta.
En relación al tema de tu blog-portafolio, puedes seleccionarlo de manera amplia, “Las evaluaciones”, o bien centrado en aspectos concretos: “evaluaciones de Primaria”, “evaluaciones de Secundaria”, “las matemáticas y la evaluación”, etc.
Además del tema y darte a conocer en la primera entrada del blog, te animamos a incluir en una entrada un pequeño esquema o resumen con las principales evaluaciones internacionales. Puedes también hacer otra entrada con la frase tuiteada en la actividad 4 en Twitter, ampliando lo que se ahí se comentaba. 
Una vez hayas terminado con estas primeras entradas, comparte tu blog en las redes sociales con la etiqueta del curso#preguntasPISA. De este modo, todos podremos leer lo publicado.
En la Comunidad del curso hemos abierto una pestaña para mostrar de forma agregada los blogs que estáis utilizando para desarrollar las actividades del curso, y que hemos llamado PARTICIPANTES. A través de esta página será fácil poder seguir el trabajo del resto de compañeros.
Envíanos la URL de tu blog usando este formulario. (Necesitarás acceder al formulario con una cuenta de Google para poder rellenarlo)

Para abrir el blog-portafolio, puedes consultar los siguientes tutoriales:
Aquí tienes enlaces a las páginas de Mindmeister, Examtime y Mindomo que son muy útiles para crear mapas mentales, colaborativos si se desea, y en muchos casos, animados.


  • Unidad 2: Las pruebas externas en los medios




La siguiente actividad te ayudará a alcanzar los objetivos de esta segunda unidad del MOOC:
Actividad 1. Opinamos en el espacio de debate
Consiste en un ejercicio de opinión personal sobre la siguiente pregunta: “Cuando se hace público un informe sobre educación, ¿a qué fuente o fuentes de información sueles acudir para informarte?”. Lo que se pide es que hagas una pequeña reflexión sobre tus hábitos de acceso a la información, la razones y la expongas en el espacio de debate del curso.
No se están pidiendo nombres concretos de fuentes, si no saber qué medios se utilizan de forma general (p. ej. Blogs, prensa escrita, televisión, informativos, la fuente que haya dado la noticia, etc.). Puedes también opcionalmente escribir un post en tu blog sobre tus fuentes de información habituales sobre educación y difundirlo en Twitter con el hashtag del curso #preguntasPISA.
En recursos de ayuda puedes ver las fuentes de información de INEE.

En la página web del Instituto Nacional de Evaluación Educativa (INEE) tendrás acceso a todas las novedades (informes, congresos, estudios, etc.) sobre evaluación internacional en español. Además de la página también ofrecen diversos canales de comunicación que refuerzan y actualizan la información publicada.






Visualiza este vídeo donde te proponemos algunas de las ideas clave de esta semana. No olvides consultar también los recursos de ayuda y hacer clic en todos los enlaces a sitios e informes que se ofrecen.
Puedes comentar en Twitter (con hashtag #preguntasPISA) cualquier dato, informe o catálogo que te haya llamado la atención por su utilidad o ser poco conocido.


Además de la página web del Instituto Nacional de Evaluación Educativa y sus canales de difusión tienes otras opciones más directas:
  • Para ver los volúmenes completos de los estudios con sus análisis detallados desde aquí puedes ir directamente a los informes.
  • Para ver información concreta que aparece en los informes, pero de forma más desarrollada, están los boletines. Te recomendamos que no dejes de echar un vistazo a los boletines de PISA, por ejemplo el que trata los resultados obtenidos porordenador o el que habla sobre los resultados en resolución de problemas, u otros boletines como los de PIRLS-TIMSS o TALIS.
  • Los datos públicos de distintas pruebas externas están las bases de datos
Te recordamos que todos los documentos que están en la web del INEE son gratuitos y descargables; no dejes de bajarte el informe PISA 2012.





Actividad 2. Investigadores en la red
Esta actividad consiste en hacer una búsqueda por Internet sobre el modo en que las fuentes informativas presentan la información. Se pide que encuentres al menos dos enfoques diferentes sobre la misma prueba o informe (o información referida a una prueba).
Deberás hacer una reflexión en tu blog sobre los resultados obtenidos en esta búsqueda y publicar un tuit en un máximo de 140 caracteres incluyendo el hashtag del curso #preguntasPISA.
Actividad 3. Seguimos a los evaluadores
Para realizar la última actividad de esta unidad debes hacerte seguidor en Twitter de cuatro organismos (nacionales o internacionales) que trabajen con evaluaciones externas o que se dediquen a la evaluación del sistema educativo. Recuerda que en el vídeo se dan algunos ejemplos. Comenta en Twitter que usuarios de relevancia para la comunidad educativa recomiendas seguir.
De esta forma estaremos informados en tiempo real de las noticias más destacadas sobre evaluación que publican estos organismos. Te animamos también a que publiques en tu blog qué organismos has elegido, porque quizá pueda ayudar a tus compañeros. No olvides que todas las publicaciones que hagas en tu blog aparecen automáticamente en la blogosfera del curso, si nos has enviado la URL cuando completaste la unidad 1.



El siguiente vídeo ofrece una perspectiva sobre las distintas fuentes a las que vamos para informarnos acerca de las evaluaciones externas:
Además de recurrir a las fuentes habituales de información, os recomendamos que no dejéis de ver el vídeo de las aportaciones de investigadores como Ildefonso Méndez a PISA resolución de problemas, entre muchos otros, o de las presentaciones oficiales de resultados de la OCDE como la de Andreas Schleicher, o incluso entrevistas para los medios como la de Ismael Sanz. Toda esta información y mucha más está en el canal de YouTube del INEE.
En el Twitter de @educaINEE encontrarás muchas pistas de organismos a los que seguir, como por ejemplo @educaINTEF, @educaCNIIE, etc.



  • Unidad 3: Los ítems liberados






La siguiente actividad te ayudará a alcanzar los objetivos de esta tercera unidad del MOOC:
Actividad 1. Usos de los ítems liberados
Esta actividad consiste en hacer una entrada en tu blog indicando cuáles son para ti los posibles usos de los ítems liberados, o la utilidad que pueden tener desde tu perspectiva. En esa misma entrada deberás establecer enlaces a aquellos ítems liberados que sean de tu interés para trabajar con los alumnos, hijos, etc. Pueden ser enlaces a alguna URL (siempre que se especifique el ítem concreto al que se hace referencia); a imágenes o vídeos donde se muestre qué ítems se han seleccionado, etc.
Para finalizar deberás tuitear el uso o utilidad de los ítems liberados que consideres más relevante incluyendo el hashtag del curso#preguntasPISA.
Aquí tienes el enlace a la URL (dirección web) del INEE donde puedes encontrar todos los ítems liberados clasificados por prueba:http://www.mecd.gob.es/inee/Recursos.html


Hasta tener un ítem hay que pasar un proceso muy laborioso, entre un ciclo y otro de la prueba.
Un ítem aislado no proporciona la información necesaria para evaluar a un alumno ni conforma una prueba como puede ser el caso de PISA. La elaboración de un ítem y su introducción dentro del conjunto de la prueba debe permitir la medida del rendimiento de los alumnos en la competencia evaluada; debe discriminar. De esta forma se pueden obtener relaciones entre los diversos sistemas educativos participantes.
Cuando se habla de la creación de ítems, crear un ítem, dos o cinco puede tratarse de algo relativamente sencillo, sin embargo crear ítems que se adapten a unos descriptores concretos y además en un número elevado para poder hacer una selección posterior, según los porcentajes que se establezcan para la prueba, tanto de conocimientos como de procesos cognitivos, ya no es tan sencillo.
Los ítems deben estar asociados a estímulos, lo cual conlleva cierto riesgo: en el caso de que se detecte que el estímulo no es adecuado, todos los ítems creados dependientes de él quedan anulados. Es por tanto necesario crear un número elevado y pensado desde el principio, adaptándose a las especificaciones de la matriz para evitar en la medida de lo posible trabajos innecesarios, o una mala calidad de los ítems y los estímulos.
Frecuentemente los estímulos marcan el contexto de partida, como generalmente ocurre en Comprensión Lectora, aunque se pueden incluir gráficos, esquemas, planos, cómics, etc. El alumnado de hoy en día está inmerso en un mundo de información a través de Internet, por lo que gran cantidad de información a la que se enfrentan está en ese entorno. Podemos emplearlo como un recurso muy rico de estímulos sin olvidar otros como folletos, textos o anuncios, fotografías realistas, etc.
Requisitos para la construcción de ítems:
  • Conocer en profundidad de los contenidos de la materia a evaluar.
  • Conocer los descriptores de cada dominio o proceso cognitivo.
Estos dos puntos son los que definen la matriz de especificaciones de una prueba y por tanto es el elemento de partida para comenzar la creación y construcción de preguntas de manera organizada.
No dejéis de visitar la página del INEE desde donde podéis acceder a todas las preguntas y recursos liberados de distintas pruebas internacionales
También os recomendamos los tres vídeos sobre cómo construir ítems de matemáticas de David Tout: Vídeo 1, Vídeo 2, Vídeo 3
El artículo de Vicente Alcañiz y David Cervera titulado “Evaluaciones externas, mucho más que resultados. Una mirada centrada en PISA”







Visualiza este vídeo donde te proponemos algunas de las ideas clave de esta semana.
Participa en el #MOOCafé:
Lo que os proponemos es “pasar de lo virtual a lo presencial”, que la comunidad de aprendizaje que estamos creando en el MOOC se extienda más allá de la red; por eso la idea es participar en un encuentro con otros compañeros y compañeras del MOOC, en un evento al que hemos llamado #MOOCafé, para intercambiar información, compartir ideas sobre las líneas a seguir, compartir fuentes, herramientas y recursos de información, debatir sobre la situación actual de la evaluación externa, en definitiva, sobre #preguntasPISA, de manera que gracias a ese intercambio, además de ampliar nuestra red de aprendizaje también regresemos al MOOC con nuevas ideas que ayuden a enriquecer nuestro trabajo a otros niveles.
Se proponen dos alternativas, de tal modo que puedes optar por una u otra, o incluso, si te apetece, por participar en ambas:
  • OPCIÓN PRESENCIAL: Te proponemos que convoques y/o participes en un encuentro presencial. Es una buena oportunidad para conocer a docentes que trabajan cerca de ti y estrechar lazos con otras personas interesadas en la educación y evaluación.
El evento debe ser abierto, con lo cual puedes invitar a cualquier persona, docente o no, que pueda estar interesada en compartir ideas y experiencias con el resto de participantes. El evento #MOOCafé tendrá lugar el próximo lunes 24 de noviembre en horario de 18:00 a 20:00, GMT+1. Gracias a Twitter, podemos retroalimentar la experiencia de los distintos grupos.
En el caso de los participantes de Latinoamérica se propone las 23:00 horas (GTM+1). Aquí puedes ver la correspondencia en tu zona horaria.
El #MOOCafé se puede celebrar en cualquier sitio donde sea posible charlar y si es acompañados de un café, mejor aún. Es importante que el sitio elegido tenga wifi; de esta manera será más fácil compartir el desarrollo del evento a través de las redes.
También puedes llevarte el evento a tu centro e invitar a tus compañeros y compañeras, o a otros miembros de la comunidad educativa, como alumnado y familias. Seguro que pueden aportar ideas interesantes para debatir y reflexionar.
Proponemos incluir en el debate las siguientes cuestiones:
  • ¿Se pueden trabajar competencias en el aula con los ítems liberados?
  • ¿Cómo evaluaríais con una prueba externa las competencias que no miden los estudios actuales?
  • Utilidad de las evaluaciones externas
Es conveniente elegir un hashtag propio de cada #MOOCafé concreto, para luego poder recuperar las aportaciones de cada uno en la Red y ‘reconstruir digitalmente’ cada debate, sin olvidar incluir en todos los casos #preguntasPISA. 
Si estás dispuesto a realizar un encuentro y sabes dónde y cuál es el aforo, puedes dar de alta la sede del #MOOCafé usando Eventbrite. También podéis enviarnos la información del evento, una vez dado de alta, para que podamos darle difusión.
  • OPCIÓN VIRTUAL: Si no puedes participar en ninguno de los #MOOCafés presenciales, proponemos que convoques un encuentro a través de Google Hangouts en directo, o te sumes a uno ya creado, en el que debatir y compartir ideas sobre #preguntasPISA, partiendo de las mismas preguntas propuestas, aunque otras cuestiones relacionadas con el MOOC también son bienvenidas. Podéis publicitar el Hangout en vuestros blogs y en redes sociales, e invitar personalmente a compañeros y compañeras, ya sea del MOOC, de vuestras distintas redes de aprendizaje, o a cualquier otra persona con la que os gustaría conversar.
Como alternativa a convocar un Hangout puedes sumarte a un Hangout convocado por otro compañero.
Y, si no puedes celebrar el #MOOCafé en la fecha propuesta, no pasa nada, es sólo una propuesta; todos los eventos que propongáis en la semana del 24 al 30 de noviembre son bienvenidos.
Además, en la próxima unidad, la unidad 4, mostraremos cómo evidenciar tu participación en el #MOOCafé.



n los marcos teóricos de las evaluaciones externas internacionales aparece recogida toda la información útil y necesaria para llevar a cabo desde el diseño de la prueba hasta su aplicación y además, de ellos dependen los análisisque se puedan hacer del rendimiento de los participantes en las mismas.
La parte más visible de la que se compone una prueba son las preguntas (ítems) y por tanto son las que, en muchas ocasiones, son sometidas a crítica por diversos motivos. Posiblemente debidos a que se desconoce lo que pretenden medir, y por ello es importante no descontextualizar una pregunta del conjunto total de la prueba. Si ya has ido a la página de las preguntas liberadas del INEE, habrás tenido la oportunidad de ver unos pocos estímulos y preguntas de la prueba internacional PISA, por ejemplo, y habrás observado que cada ítem se relaciona siempre con un “grado de adquisición de la competencia” y con un “bloque de contenidos.”
Cuando tenemos intención de planificar una prueba lo primero que debemos de tener claro es para quién la vamos a hacer, la edad, o el nivel al que va dirigido, y cuál es el objetivo (diagnosticar, evaluar, etc). Hay que establecer el contenido de la prueba, las preguntas, las técnicas a incluir, el límite del tiempo, el número de ítems. Además, hay que considerar los contenidos y competencias que se van a implementar y cómo se ponderarán los mismos.
Estas y otras características son las que aparecen definidas en el marco teórico, pero sin duda la herramienta que facilita y guía la construcción y la interpretación de las pruebas es lo que denominamos matriz de especificaciones.
La matriz de especificaciones está compuesta por:
  • Contenidos: Declaraciones procedimentales que forman el cuerpo de enseñanza de una disciplina.
  • Procesos o competencias: Niveles de complejidad en la resolución de una tarea.
  • Descriptores: Formulaciones sintéticas de las competencias que habrán de ser medidas por los ítems que se elaboren. De cada uno de ellos se pueden construir varios ítems.
Para elaborar una matriz es necesario:
  • Establecer los contenidos.
  • Establecer los procesos cognitivos o grados de adquisición de la competencia.
  • Determinar los descriptores.
  • Determinar el peso relativo de cada casilla, donde se relacionan los contenidos con los procesos.
  • Elaborar ítems específicos para cada descriptor.
¿Queréis haceros una idea de cómo es una PISA? Visto todo lo anterior, por qué no empezar por el marco teórico.
En la página del INEE: “Estudios Internacionales de Evaluación” podréis encontrar los marcos de todas las evaluaciones internacionales.
Os recomendamos los vídeos de David Tout: Vídeo 1 y Vídeo 2 sobre el marco de PISA matemáticas, y los de Juliette Mendelovits:Vídeo 1 y Vídeo 2, para PISA comprensión lectora. No os olvidéis de pasar por el canal de YouTube del INEE, donde encontraréis muchos más vídeos sobre los marcos de las distintas evaluaciones. Además en el canal de Slideshare podéis descargaros las presentaciones de la mayoría de las ponencias que veis en los vídeos, como pueden ser las de David Tout o la de Juliette Mendelovits.







Actividad 2. Opinamos en Twitter
Consiste en escribir dos tuits con tu opinión personal sobre cada una de las siguientes preguntas e incluyendo el hashtag del MOOC#preguntasPISA para cada tuit:
  1. ¿Utilizar los recursos liberados de ediciones anteriores en las clases o en casa puede mejorar los resultados de nuestros alumnos?
  2. ¿Es posible trasladar al día a día del aula alguno de los estándares de las evaluaciones externas?
Actividad 3. Diferencias en la misma competencia
Por lo que han contado los expertos y por todo lo que habéis visto en los vídeos y en los recursos, ya sabréis que hay distintos estudios que miden la misma competencia. Éste es el caso de las pruebas PISA y PIRLS que evalúan la comprensión lectora a distintas edades. Teniendo en cuenta que estos dos estudios están llevados a cabo por dos organismos diferentes y que tienen un marco teórico también distinto, lo que se pide en esta actividad es hacer una valoración en el espacio de debate del curso sobre alguna diferencia significativa de ambos basándose en dos textos que han formado parte de esas pruebas: “Los ratones patas arriba” (PIRLS) y “Un juez justo” (PISA).
Para encontrar los textos:
-“Los ratones patas arriba” (PIRLS). “LA LECTURA Educación Primaria 4º curso Pruebas de evaluación de la comprensión lectora. PIRLS 2001 y 2006”, página 57.  http://www.mecd.gob.es/dctm/ievaluacion/internacional/lalecturapirls.pdf?documentId=0901e72b8010b9f5
- “Un juez justo” (PISA). “LA LECTURA EN PISA 2000, 2003 Y 2006. MARCO Y PRUEBAS DE LA EVALUACIÓN”, página 113. http://www.mecd.gob.es/dctm/ievaluacion/internacional/pisalectura.pdf?documentId=0901e72b8010c470
Actividad 4. Adaptamos los estímulos de dos ítems liberados
En esta actividad deberás elegir un estímulo de dos estudios que evalúen la misma competencia, uno de educación Primaria y otro de educación Secundaria y hacer una propuesta de adaptación en función de tu grupo de alumnos incluyendo todos los elementos que consideres necesarios para ello.
http://www.mecd.gob.es/inee/Recursos.html
Publica una entrada en tu blog en la que expliques tu propuesta. Tras publicarla, debes incluir un enlace a la misma en la actividad de evaluación entre pares aquí en la plataforma; pulsa el botón P2P que tienes a tu disposición en el menú lateral derecho, justo al lado de “Actividad final de la unidad 3”.
Esta es una actividad P2P, de forma que deberás evaluar la misma actividad que otros tres compañeros hayan realizado, y tres compañeros evaluarán la tuya. 
Mientras no evalúes las actividades de tres compañeros, que la plataforma te propondrá de forma aleatoria y guardando el anonimato de sus autores, no recibirás la calificación de tu actividad. Para facilitarte la evaluación, puedes utilizar la rúbrica que te proporcionamos.

Hay muchos elementos a tener en cuenta en el diseño de una prueba: los contenidos, los objetivos, la codificación, todo lo que puede contener el marco como ya hemos visto en los recursos de ayuda de las secciones Objetivos e Ideas clave. Pero también existen otros elementos a tener en cuenta como el calendario escolar, los espacios para la prueba, la metodología de aplicación, la longitud de la prueba, etc.
Hay un elemento que a veces parece invisible, pero que está ahí y juega un papel fundamental, en cualquier evaluación externa, elcontrol de calidad. Su importancia radica en garantizar que las condiciones de realización de la prueba sean homogéneas, lo que garantiza que los resultados puedan ser comparables ya que todos los procesos han seguido unos estándares preestablecidos.
Algunas recomendaciones para seleccionar, adaptar o crear estímulos, tal como se pide en el reto de esta unidad son:
- Buscar estímulos en los que el alumno pueda tener cierto interés.
- Seleccionar en función de las preguntas que se van a hacer
  • Textos (continuos o discontinuos, que incluya información desestructurada)
  • Gráficos, imágenes, fotografías, dibujos…
  • Esquemas (sinópticos, eléctricos, planos, distribución, montaje)
  • Comentarios, notas al pie, aportaciones laterales
  • Tiras cómicas
  • Mapas de metro, de autobús, de ciudad, de carreteras del mundo
  • Organigramas, tablas, listados
  • Notas manuscritas
  • Carteles, señales, propaganda, etc.
O crear un contexto con varios de ellos. Al estar pensando en una evaluación internacional, además hay que tener en cuenta en la selección que los estímulos sean correctos y respetuosos desde el punto de vista de la igualdad de los sexos, las creencias religiosas, las diferencias políticas y/o culturales de las distintas sociedades.
Recordad que el contexto no tiene que ser largo, de hecho puede ser un elemento de partida y los ítems podrán ir incrementando o añadiendo información de contexto (observa como ejemplo el estímulo que aparece en esta guía del usuario de TIMSS desde la página 16 a la 24).
Os recomendamos que no dejéis de visitar los siguientes recursos:
La página del INEE con todas las preguntas y recursos liberados
Los diferentes canales del INEE donde se publica información puntual y concreta sobre preguntas liberadas:



Actividad revisada por compañeros

Una vez realizada la Actividad 4. Adaptamos los estímulos de dos ítems liberados y publicada la entrada en tu blog, debes incluir un enlace a la misma en la actividad de evaluación entre pares en la plataforma.
Esta es una actividad P2P, de forma que deberás evaluar la misma actividad que otros tres compañeros hayan realizado, y tres compañeros evaluarán la tuya.
Mientras no evalúes las actividades de tres compañeros, que la plataforma te propondrá de forma aleatoria y guardando el anonimato de sus autores, no recibirás la calificación de tu actividad. Para facilitarte la evaluación así como para autoevaluar tu trabajo antes de enviarlo debes utilizar la rúbrica que te proporcionamos.

Criterios de evaluación

1. Estímulos de estudios

Adapta 2 estímulos de 2 estudios diferentes que evalúen la misma competencia e indica para cada uno de ellos la asignatura, el grupo de edad al que va dirigido y el contenido curricular a trabajar.

2. Proximidad de los estímulos

Los estímulos son próximos al alumno y tienen carácter motivador.

3. Elementos dinamizadores

En los estímulos adaptados se introducen elementos dinamizadores nuevos (por ejemplo, esquemas, gráficos, dibujos, tiras cómicas, etc.)

4. Información de los estímulos

La longitud y cantidad de información de los estímulos propuestos facilita la creación de preguntas vinculadas a varios bloques de contenidos de la asignatura con la que se relaciona.

5. Adaptaciones de los estímulos

Las adaptaciones de los estímulos se han seleccionado siendo respetuosos desde el punto de vista de la igualdad de los sexos, las creencias religiosas, las diferencias políticas y/o culturales.




  • Unidad 4: Corrección de pruebas externas





La siguiente actividad te ayudará a alcanzar los objetivos de esta cuarta unidad del MOOC:
Actividad 1. ¿Cómo corriges?
Esta actividad consiste en hacer un pequeño ejercicio de reflexión a partir de las siguientes preguntas:
Cuando en una prueba les planteamos a los alumnos una pregunta de desarrollar,
  • ¿nos consideramos justos, estrictos o que corregimos con manga ancha?
  • ¿qué procedimiento sigues para corregir por igual a todos los alumnos? (estableces criterios mínimos y máximos, comparables)
Escribe un artículo en tu blog con esta reflexión y compártelo en el espacio de debate y/o en la comunidad del MOOC en Procomún.

En los recursos de ayuda del vídeo 1 vamos a introducir la corrección, que en las pruebas externas se define como codificación. En la unidad anterior se ha hablado de la matriz de especificaciones, pues una vez que todos los criterios que la configuran hayan sido identificados, es necesario generar preguntas o ítems que estén vinculados con ellos. Además es necesario hacer un elevado número de preguntas de forma que se puedan pilotar (probarlas para asegurarnos de que lo que se ha establecido en la matriz de especificaciones es reflejo de la realidad). Un ejemplo, si una pregunta ha sido creada para medir un proceso cognitivo, hay que asegurarse que realmente lo mida. Lo más probable es que de las preguntas que se han creado, muchas haya que eliminarlas, bien sea por mal funcionamiento, mala redacción del enunciado (algo que los alumnos no entiendan), error en algunas de las respuestas, duplicidad de claves, errores tipográficos, que la dificultad esté en la forma de preguntar y no en lo que se pregunta, etc.
Un punto clave que no se debe pasar por alto es que las evaluaciones internacionales no buscan evaluar al alumno, sino al sistema. En este caso, el alumno es el elemento mínimo de información y solo contesta una parte del conjunto total de preguntas de la prueba. Debemos tener en cuenta que cuando un profesor hace un examen, normalmente establece un par de preguntas relativamente sencillas para tratar de que el mayor número de alumnos se aproxime al aprobado. De igual modo incluye una o dos preguntas para diferenciar aquellos alumnos que destacan y el resto de preguntas podríamos considerarlas de mayor dificultad.
En estas pruebas pasa algo parecido, por eso descontextualizar una pregunta del conjunto de la prueba no tiene mucho sentido. Hay preguntas muy fáciles, para conocer el alumnado que al menos llega a este nivel mínimo y quien no lo alcanza. De igual modo interesa saber qué porcentaje destaca de entre todo el alumnado, de ahí la existencia de algunas preguntas de cierta complejidad, siendo el grueso de dificultad intermedia que es donde normalmente se sitúa la mayor parte del alumnado.
En la página del INEE están a vuestra disposición todas las preguntas y recursos liberados de las distintas pruebas internacionales.
Además, recomendamos que echéis un vistazo a:
Esta presentación descargable sobre Elaboración de pruebas que se presentó en las Jornadas de Evaluación de Murcia.
También a esta presentación de los ítems liberados de PISA, TIMSS y PIRLS que tuvo lugar en el Seminario de Comillas.





En este apartado Ideas clave, además de visualizar la píldora de vídeo, te recomendamos que visualices  también el Seminario Comillas: "Cómo construir ítems de matemáticas" (2) de José Diego (UNICAN), que te ayudará a asentar mejor los contenidos que acabas de ver en el vídeo anterior.
Éste y otros vídeos los podrás encontrar en el canal de YouTube del INEE.



Os recomendamos que visualicéis los siguientes vídeos:
Aquí tenéis acceso a todas las ponencias y presentaciones que se realizaron en la I Jornada de difusión y presentación de evaluaciones internacionales del Gobierno de Aragón.
En el canal de YouTube del INEE, podréis encontrar muchos más vídeos sobre los marcos de las distintas evaluaciones y sobre cómo construir ítems, y en el canal de Slideshare podéis descargaros esas mismas presentaciones.





Actividad 2. #MOOCafé
Si has participado en uno de los eventos #MOOCafé(enlazar a post en blog) de la semana, donde has compartido ideas no sólo con compañeros y compañeras del curso, sino también con otros profesionales y personas interesadas en #preguntasPISA, ya haya sido en la modalidad presencial o en la virtual, o incluso en ambos, ahora te pedimos lo siguiente:
  1. En primer lugar, que realices una publicación en el espacio de debate, utilizando el hilo #MOOCafé: Ideas y Reflexiones(enlazar a hilo cuando exista), con las principales ideas generadas durante el #MOOCafé. Consulta otras aportaciones para enriquecer y complementar tus conclusiones.
  2. En segundo lugar, la actividad correspondiente al evento consiste en una nueva publicación en tu blog que recoja como evidencia de tu participación en el #MOOCafé:
  • el Storify del desarrollo del mismo, si has elegido la opción presencial,
  • el vídeo del Google Hangout celebrado, si elegiste la opción virtual,
incluyendo en cualquiera de los dos casos una valoración personal de la experiencia.
Además puedes:
  • publicar un nuevo tuit con el enlace al artículo, sin olvidar el hashtag del curso, #preguntasPISA y el del #MOOCafé en el que hayas participado.
  • Compartir dicho enlace en el espacio de debate y en la comunidad del MOOC en Procomún.
Actividad 3. Opinamos en el espacio de debate
Consiste en dar tu opinión, justificándola, en el blog que has abierto para el MOOC, a través de la escritura de un artículo que dé una respuesta elaborada a lo que planteamos a continuación:
Cuando elaboras una prueba,
  • ¿qué tipo de preguntas utilizas más frecuentemente?
  • ¿evitas algún tipo de pregunta?
Comparte la URL (dirección web) de tu entrada en el espacio de debate. Y, difúndela en Twitter utilizando nuestro hashtag#preguntasPISA.
Actividad 4. Elaboramos nuestros propios ítems
Esta actividad consiste en elaborar una propuesta de estímulo y al menos un ítem, siguiendo los criterios de las pruebas externas que hemos visto hasta ahora, para un grupo de edad concreto y para una competencia a elegir (competencia matemática, científica, financiera, comprensión lectora, lengua extranjera, etc.) incorporando sus criterios de codificación correspondientes. A continuación deberás publicarla en tu blog y en Twitter incluyendo el hashtag del curso #preguntasPISA.
Recuerda que esta vez no se trata de hacer una adaptación de un ítem liberado, ahora tú serás autor/a del estímulo y de los ítems. En los recursos de esta unidad encontrarás documentos y vídeos que podrán ser de gran ayuda.
Publica una entrada en tu blog en la que expliques tu propuesta. Tras publicarla, debes incluir un enlace a la misma en la actividad de evaluación entre pares aquí en la plataforma; pulsa el botón P2P que tienes a tu disposición en el menú lateral derecho, justo al lado de “Actividad final de la unidad 4”.
Esta es una actividad P2P, de forma que deberás evaluar la misma actividad que otros tres compañeros hayan realizado, y tres compañeros evaluarán la tuya. 
Mientras no evalúes las actividades de tres compañeros, que la plataforma te propondrá de forma aleatoria y guardando el anonimato de sus autores, no recibirás la calificación de tu actividad. Para facilitarte la evaluación, puedes utilizar la rúbrica que te proporcionamos.
Observación: Se recomienda realizar un estímulo al que vincular tres ítems o preguntas para que la codificación se realice para una pregunta de elección múltiple, una pregunta de respuesta construida y una pregunta abierta.

Os recomendamos que visualicéis los siguientes vídeos:
Como ya sabéis, en la página del INEE tenéis acceso a todas las preguntas y recursos liberados y en los siguientes canales podréis encontrar presentaciones, vídeos y cualquier otro tipo de información:




  • Unidad 5: De la pregunta al informe: Datos




Las siguientes actividades te ayudarán a alcanzar los objetivos de esta quinta unidad (y última) del MOOC:
Actividad 1. Claves para interpretar informes
Como primera actividad de esta unidad te proponemos visualizar tres vídeos que seguro te ofrecen nuevas claves para interpretar correctamente los informes de los estudios internacionales:
“Los resultados de la evaluación”, explicado por Luis Sanz (INEE). 
“Variables que influyen en los resultados de los alumnos”, explicado por Ruth Martín (INEE).
A continuación te pedimos que comentes en Twitter (incluyendo el hashtag #preguntasPISA) cualquier dato o detalle que te haya llamado la atención y si esto ha hecho que cambie en algo tu forma de entender los resultados.
Actividad 2. Charla #preguntasPISA
Ahora te invitamos a asistir a la primera de las dos charlas virtuales que celebramos en esta unidad, en la que expertos del INEE debaten y responden a todas las preguntas relacionadas con los marcos teóricos de PISA, TIMSS, PIRLS, TALIS, PIAAC, la forma en la que se realizan los procesos de pilotaje y aplicación, la selección de la muestra de los centros y alumnos participantes, y otros muchos detalles.
La charla virtual en directo se celebra el 3 de diciembre de 2014 a las 17:30 GMT+1. Te animamos a unirte a la comunidad del MOOC en Procomún, donde puedes dejarles tus preguntas.
Tras la charla virtual, te pedimos que publiques en tu blog un artículo resumen en el que plasmes tus impresiones y reflexiones sobre la misma. No olvides compartirla en el espacio de debate del MOOC y en Twitter con el hashtag #preguntasPISA.


Recomendamos visualizar los vídeos de algunos congresos organizados por el Instituto Nacional de Evaluación Educativa:
Las bases de datos de todos los estudios elaborados por el INEE se encuentran disponibles para que cualquier persona las pueda consultar. Estas bases de datos, que ya se encuentran liberadas, son el pilar fundamental de los informes.
Además, desde la web el INEE también puedes acceder a bases de datos de los estudios PISA de la página de la OCDE. 





Actividad 3. Cómo se construye la muestra
Visualiza el vídeo “Cómo se construye la muestra en los estudios internacionales”, explicado por Araceli Sánchez (INEE), como complemento a las ideas clave de esta unidad.
No olvides consultar también los recursos de ayuda para ampliar información sobre el tema.

Esta publicación complementa lo visto en el vídeo; en ella se recogen los pasos detallados que se siguen a la hora de realizar estudios internacionales, como hemos comentado brevemente en el vídeo, es decir: diseño del experimento y el muestreo, obtención de los datos, procesamiento de los mismos, análisis de resultados y elaboración de informes.
Como se ha visto, el muestreo es fundamental en las evaluaciones externas. Para profundizar un poco más en este tema dejamos una presentación que recoge sus aspectos técnicos fundamentales.
La OCDE, además de encargase del estudio PISA, también se encarga de realizar otros estudios, como es el caso de TALIS. En esteenlace está el informe técnico de TALIS 2013.
Por último, recomendamos el siguiente artículo sobre la Teoría de Respuesta al Ítem, para saber más sobre la misma.




ctividad 4. Charla #preguntasPISA
Te invitamos a asistir a la segunda charla virtual que celebramos en esta unidad, en la que expertos del INEE debaten sobre detalles relacionados con los datos obtenidos en las evaluaciones externas internacionales.
La charla virtual en directo se celebra el 15 de diciembre de 2014 a las 17:30 GMT+1. Te animamos a unirte a la comunidad del MOOC en Procomún, donde puedes dejarles tus preguntas.
Tras la charla virtual, te pedimos que publiques en tu blog un artículo resumen en el que plasmes tus impresiones y reflexiones sobre la misma. No olvides compartirla en el espacio de debate del MOOC y en Twitter con el hashtag #preguntasPISA.
Actividad 5. Aplicación de una prueba
Para realizar esta actividad tendrás que seleccionar cuatro unidades de evaluación (estímulos, ítems y guías de codificación) de alguno de los estudios internacionales, que podrás encontrar en la página del INEE, que más se ajusten al nivel y materia que estás dando o que te interesa. Una vez que tengas el material a tu disposición, aplícalo con tus alumnos o, en caso de no estar impartiendo docencia, aplícalo a cinco personas de la edad correspondiente. Corrígelo según la guía de codificación para así poder comparar los resultados que has obtenido con las puntuaciones internacionales.
Lo que se pide en esta actividad es que publiques una entrada en tu blog con la prueba configurada y un comentario/reflexión sobre los resultados obtenidos de tus alumnos en base a los resultados internacionales; sobre su forma de trabajar con este tipo de pruebas, facilidad o dificultad de ceñirse a las guías de codificación, y sobre todo aquello que te haya resultado llamativo. En caso de no poder pasar la prueba elaborada, el comentario puedes realizarlo sobre la experiencia de montar la prueba, integrar distintos contenidos, distintos tipos de preguntas, la duración de la misma, etc.
Tras publicarla, debes pegar un enlace a la misma en la actividad de evaluación entre pares aquí en la plataforma; pulsa el botónP2P que tienes a tu disposición en el menú lateral derecho, justo al lado de “Actividad final de la unidad 5”. Pega la URL (dirección web) de tu entrada de blog en la caja de texto que está debajo de “Escriba su entrega aquí”.
Esta es una actividad P2P, de forma que deberás evaluar la misma actividad que otros tres compañeros hayan realizado, y tres compañeros evaluarán la tuya.
Mientras no evalúes las actividades de tres compañeros, que la plataforma te propondrá de forma aleatoria y guardando el anonimato de sus autores, no recibirás la calificación de tu actividad. Para facilitarte la evaluación, puedes utilizar la rúbrica que te proporcionamos.

*Nota: Aquellas personas que no tengan acceso a alumnos o a 5 personas para poder aplicar las unidades de evaluación, deberán notificarlo en su actividad y añadir una reflexión sobre el porqué de la selección de esos ítems, qué resultados esperarían obtener y como serían comparándolos con los internacionales; cómo creen que reaccionarían los alumnos ante este tipo de pruebas, y cualquier otra cuestión destacable.
Actividad 6. Cuestionario de evaluación
Finalmente, hemos diseñado un cuestionario de evaluación de #preguntasPISA. Te agradeceríamos que dedicaras unos minutos a rellenar dicho cuestionario para poder mejorar futuras ediciones de este MOOC. Así mismo, te damos las gracias anticipadamente por la atención al cuestionario y, sobre todo, por tu participación en el MOOC #preguntasPISA.

En la página del INEE (e INEE II) están todas las preguntas y recursos liberados de los distintos estudios.
Recomendamos entrar en la página que ha diseñado la OCDE en la que se pueden responder preguntas de PISA. Try the test!
Como información complementaria en los siguientes enlaces podrás encontrar información sobre los estudios educativos y los indicadores más relevantes:
  • GPS de la OCDE “Education GPS” permite consultar información y visionar los datos a través de diferentes indicadores como las evaluaciones PISA, PIAAC, TALIS, por países y rendimiento de los participantes entre otras variables.
  • En estos enlaces a webs de la Unión Europea y el CRELL (Centre for Research on Education and Lifelong Learning) podemos consultar los datos globales y por país relacionados con los indicadores más relevantes de los objetivos Europeos ET2020 (Education and Training 2020)
En los siguientes canales se pueden encontrar presentaciones, vídeos y cualquier otro tipo de información referente a evaluaciones externas:



















No hay comentarios:

Publicar un comentario

Suscribirse a: Entradas (Atom)