Presentación de los Modelos de Evaluación
Selección de Modelos
A continuación se realiza el análisis y descripción de 6 Modelos de Evaluación RED:
1. Modelo Learning Object Review (LORI)
Fue desarrollado como un modelo de participación para evaluar recursos educativos digitales. Permite al usuario dar una opinión según su apreciación del recurso, al expresar mediante una escala de 5 estrellas de valoración, su acuerdo o desacuerdo con los ítems propuestos para medir parámetros de calidad e idoneidad." Romero, O., Gallardo, I., Rodriguez, J. (2017).
Criterios de evaluación:
Calidad del contenido (CCT)
Correspondencia con el objetivo o competencia (CO)
Retroalimentación y adaptación (RA)
Motivación (M)
Diseño y presentación (DP)
Interacción y usabilidad (IU)
Accesibilidad (A)
Re-usabilidad (R)
Cumplimiento de normas
N/A: No aplica (No cuenta con ningún puntaje)
Pobre: de 40 a 59 puntos. (2 estrellas)
Aceptable: de 60 a 79 puntos. (3 estrellas)
Bueno: de 80 a 89 puntos. (4 estrellas)
Muy bueno: 90 o más puntos. (5 estrellas)
INSTRUMENTO DE EVALUACIÓN (LORI)
2. Modelo de Evaluación REEVES
Este modelo de evaluación se propone basado en el uso de computadores, según Reeves (2001), "los ambientes virtuales de aprendizaje ofrecen un potencial enorme para mejorar la calidad de evaluación académica tanto en la educación presencial como a distancia, cualquier alternativa para mejorar la evaluación en un ambiente virtual debe tratar de alcanzar niveles óptimos de "alineación".
Criterios de evaluación:
- Relevancia: Este modelo evalúa la conexión del contenido del RED con las experiencias y conocimientos previos del usuario.
- Autenticidad: Evalúa la autenticidad y realismo del entorno presentado en el RED.
- Participación activa: Evalúa el grado en que el RED involucra activamente al usuario en el proceso de aprendizaje.
- Reflexión: Evalúa la capacidad del RED para fomentar la reflexión crítica y el pensamiento metacognitivo.
- Coherencia narrativa: Evalúa la coherencia y fluidez de la narrativa o estructura del RED.
Métrica o escala de valoración:
1: Muy bajo / 2: Bajo / 3: Moderado / 4: Alto / 5: Muy alto
Metodología:
Se realiza el proceso evaluativo por medio de una evaluación de tipo cualitativa y cuantitativa del RED, se utiliza una combinación de observación directa, encuestas a usuarios y análisis de datos de interacción, se basa en las motivaciones emocionales de los usuarios del RED.
Instrumento de evaluación:
Se realiza por medio de un cuestionario estructurado que aborda cada uno de los criterios de evaluación de Reeves. Se pueden utilizar de igual forma los registros de observación y análisis de datos de interacción para complementar la evaluación. El cuestionario en mención puede incluir preguntas específicas para evaluar cada criterio, junto con una escala de valoración y espacio para comentarios adicionales. Jambo, L. (2021).
3. Modelo de Evaluación de Calidad del Software de McCall
El Modelo de Evaluación de Calidad del Software de McCall es una herramienta ampliamente utilizada para evaluar la calidad de los productos de software. Este modelo se centra en tres principales atributos de calidad: operabilidad, revisabilidad y transicionalidad.
Criterios de Evaluación
Operabilidad (Product Operation)
Corrección: Precisión con la que el software cumple sus funciones especificadas.
Fiabilidad: Capacidad del software para mantener su nivel de rendimiento bajo condiciones normales de uso.
Eficiencia: Uso óptimo de los recursos del sistema por el software.
Integridad: Protección del software contra accesos no autorizados.
Usabilidad: Facilidad de uso del software por parte de los usuarios finales.
Revisabilidad (Product Revision)
Mantenibilidad: Facilidad con la que el software puede ser modificado para corregir errores, mejorar el rendimiento u otras propiedades.
Flexibilidad: Capacidad del software para adaptarse a cambios en el entorno o en los requisitos.
Testabilidad: Facilidad con la que el software puede ser probado para asegurar su calidad.
Transicionalidad (Product Transition)
Portabilidad: Capacidad del software para ser transferido de un entorno a otro.
Reusabilidad: Extensión en la cual los componentes del software pueden ser reutilizados en otros sistemas.
Interoperabilidad: Capacidad del software para interactuar con otros sistemas.
Métrica o Escala de Valoración
Metodología:
Selección del Software: Identificar el software que será evaluado.
Definición del Propósito de Evaluación: Establecer los objetivos específicos de la evaluación, como la mejora del software o la toma de decisiones sobre su adopción.
Aplicación del Modelo de McCall: Evaluar cada uno de los criterios de calidad del software utilizando la escala de valoración definida.
Recolección de Datos: Utilizar instrumentos de evaluación para recolectar información detallada sobre cada criterio.
Análisis de Resultados: Analizar los datos recolectados para identificar áreas de fortaleza y debilidad del software.
Informe de Evaluación: Elaborar un informe detallado con los hallazgos y recomendaciones para mejorar la calidad del software.
Instrumento de Evaluación:
¿El software cumple con sus funciones especificadas de manera precisa? (1-5)
¿El software es fiable bajo condiciones normales de uso? (1-5)
¿El software utiliza los recursos del sistema de manera eficiente? (1-5)
¿El software protege contra accesos no autorizados? (1-5)
¿El software es fácil de usar por los usuarios finales? (1-5)
Revisabilidad
¿El software es fácil de mantener y modificar? (1-5)
¿El software se adapta fácilmente a cambios en el entorno o requisitos? (1-5)
¿El software es fácil de probar para asegurar su calidad? (1-5)
Transicionalidad
¿El software puede ser transferido de un entorno a otro sin problemas? (1-5)
¿Los componentes del software pueden ser reutilizados en otros sistemas? (1-5)
¿El software puede interactuar eficazmente con otros sistemas? (1-5)
4. Modelo de Evaluación COdA
El modelo de evaluación COdA se caracteriza por recoger el mínimo conjunto de criterios de los diferentes modelos de calidad que existen sobre calidad didáctica y tecnológica de los RED. Este es comprensible y sencillo de llevar a la práctica con conocimientos y recursos informáticos y didácticos básicos, finalmente los criterios se definen para garantizar que se interpretaran de forma semejante.
Criterios de evaluación: El modelo COdA está compuesto por 10 ítems relacionados a dos categorías, una es la pedagógica y la segunda es la tecnológica, los ítems se distribuyen de la siguiente manera:
1. Criterios pedagógicos
Objetivos y coherencia didáctica / Calidad de los contenidos / Capacidad de generar reflexión, crítica e innovación.
2. Criterios tecnológicos
- Formato y diseño / Usabilidad / Accesibilidad / Reusabilidad / Interoperabilidad.
Métrica o escala de valoración:
Para evaluar cada criterio, se utiliza una escala de valoración que puede ser numérica ( por ejemplo, del 1 al 5) donde 1 corresponde al puntaje mínimo y 5 al puntaje máximo.
Metodología:
La metodología del modelo COdA implica un análisis detallado del recurso digital en cada uno de los 10 aspectos. Se pueden utilizar diversas técnicas de evaluación, como revisión documental, observación directa de uso, encuestas a usuarios, entre otras.
Instrumento de evaluación:
Para implementar el modelo COdA, se desarrolla un instrumento de evaluación específico que guía la recolección de datos y la evaluación del recurso digital. Este instrumento puede incluir listas de verificación, rúbricas u otros formatos estructurados que faciliten la evaluación sistemática y objetiva.
5. Modelo de Evaluación Norma UNE 71362
Criterios de evaluación:
Los criterios de evaluación definidos por la Norma UNE 71362 incluyen:
Descripción didáctica - Calidad de los contenidos - Capacidad para generar aprendizaje - Adaptabilidad. - Interactividad - Motivación - Formato y diseño - Reusabilidad - Portabilidad - Robustez; estabilidad técnica - Estructura del escenario de aprendizaje - Navegación - Operabilidad - Acceso del contenido audiovisual - Accesibilidad del contenido textual.
Métrica o escala de valoración:
La norma UNE 71362, en su herramienta de evaluación posee dos perfiles de aplicación de la misma; perfil del profesor que puede ser usado como guía para la creación de RED y para recoger la opinión de otros docentes sobre la calidad de los recursos y desde perfil del estudiante se recoge la percepción del uso de los recursos por parte de los estudiantes. Para los docentes el formato cuenta con los 15 ítems antes mencionados con sus respectivos criterios, y para los estudiantes 14 ítems y 2 preguntas abiertas.
Para su valoración cada ítem está subdividido y la puntuación va de 0 a 10 puntos donde 0 el el mínimo valor y 10 el máximo, los decimales no están permitidos.
Metodología
La metodología para evaluar recursos educativos digitales según la Norma UNE 71362 implica un proceso estructurado que puede incluir la revisión documental, pruebas técnicas, encuestas a usuarios y evaluaciones prácticas del recurso en un entorno educativo simulado.
Instrumento de evaluación
Se utiliza un instrumento de evaluación específico basado en los requisitos y directrices de la Norma UNE 71362. Este instrumento puede incluir listas de verificación detalladas, rúbricas o matrices de evaluación que facilite la recolección de datos y la evaluación sistemática del recurso digital.
6. Modelo de Evaluación FURPS
El modelo FURPS (Funcionalidad, Usabilidad, Fiabilidad, Rendimiento y Soportabilidad) se utiliza para evaluar y mejorar las características y el rendimiento de una red empresarial. Este modelo proporciona un marco integral para analizar diversos aspectos críticos de una red, asegurando que se cumplan los requisitos técnicos y de usuario, se mantenga la fiabilidad y se optimice el rendimiento.
Criterios de Evaluación
Funcionalidad (F) / Usabilidad (U) / Fiabilidad (R) / Rendimiento (P) / Soportabilidad (S)
Funcionalidad (F): Gestión de dispositivos, gestión de usuario, seguridad.
Usabilidad (U): Interfaz de gestió, documentación, accesibilidad.
Fiabilidad (R): Disponibilidad, tolerancia a fallos, monitorización, rendimiento (P), ancho de banda, latencia, escalabilidad.
Soportabilidad (S): Compatibilidad, facilidad de actualización, mantenimiento.
Métrica o Escala de Valoración
1-5 Escala Likert:
1: Muy Insatisfactorio / 2: Insatisfactorio / 3: Neutral / 4: Satisfactorio / 5: Muy Satisfactorio
Metodología
Recopilación de Datos: Utilizar herramientas de monitorización y gestión de redes para recopilar datos sobre el rendimiento, disponibilidad y uso de la red.
Encuestas y Entrevistas: Realizar encuestas y entrevistas a los usuarios finales y administradores de la red para evaluar la usabilidad y la satisfacción general.
Análisis de Registros: Revisar los registros de eventos y errores para evaluar la fiabilidad y la capacidad de recuperación de la red.
Pruebas de Estrés: Realizar pruebas de rendimiento bajo cargas de trabajo simuladas para evaluar la capacidad de la red.
Revisión de Documentación: Evaluar la claridad y la utilidad de la documentación y los manuales de usuario y administración.
Instrumento de Evaluación
Cuestionario de Evaluación de la Red Empresarial FURPS
Sección 1: Funcionalidad
¿La red permite una gestión eficiente de los dispositivos conectados? (1-5)
¿El sistema de gestión de usuarios es eficaz y seguro? (1-5)
¿Los mecanismos de seguridad de la red son robustos y actualizados? (1-5)
¿La red permite una gestión eficiente de los dispositivos conectados? (1-5)
¿El sistema de gestión de usuarios es eficaz y seguro? (1-5)
¿Los mecanismos de seguridad de la red son robustos y actualizados? (1-5)
Sección 2: Usabilidad
¿La interfaz de gestión de la red es intuitiva y fácil de usar? (1-5)
¿La documentación proporcionada es clara y completa? (1-5)
¿La accesibilidad de la red para los administradores es adecuada? (1-5)
Sección 3: Fiabilidad
¿La red ofrece alta disponibilidad y minimiza el tiempo de inactividad? (1-5)
¿La red es capaz de tolerar fallos sin interrumpir el servicio? (1-5)
¿El sistema de monitorización detecta y notifica problemas en tiempo real? (1-5)
Sección 4: Rendimiento
¿El ancho de banda de la red es suficiente para manejar el tráfico de datos? (1-5)
¿La latencia de la red es baja y aceptable para aplicaciones críticas? (1-5)
¿La red es escalable y puede crecer sin degradar el rendimiento? (1-5)
Sección 5: Soportabilidad
¿La red es compatible con múltiples protocolos y estándares? (1-5)
¿Las actualizaciones y parches se aplican fácilmente? (1-5)
¿La red se puede mantener y solucionar problemas de manera eficiente? (1-5)
Metodología de Evaluación
Distribución del Cuestionario: Enviar el cuestionario a los administradores de la red, usuarios clave y personal de TI.
Recopilación y Análisis de Respuestas: Recopilar las respuestas y calcular los puntajes promedio para cada sección.
Interpretación de Resultados: Identificar áreas de mejora basadas en los puntajes más bajos.
Desarrollo de Plan de Acción: Crear un plan de acción para abordar las áreas de mejora identificadas.
Reevaluación: Después de implementar las mejoras, repetir la evaluación para medir el impacto de los cambios.
Instrumento de Evaluación
Objetivo: Evaluar la calidad y rendimiento de una red empresarial en función de las categorías FURPS: Funcionalidad, Usabilidad, Fiabilidad, Rendimiento y Soportabilidad.