Evaluación del Proyecto
La evaluación es un componente
ineludible de todo proyecto que aspira a ser válido y eficaz.
Obviamente la finalidad de esta evaluación es esencialmente formativa,
lo que significa ha de llevarse a cabo con el propósito firme de
utilizarla para mejorar los resultados y para optimizar el proceso de ejecución.
A fin de proponer una organización adecuada es posible establecer tres
acotaciones de temporalización para las diferentes instancias de validación:
1) Validación
preactiva: aquella que se efectúa
antes de la aplicación del proyecto
2) Validación interactiva
o de explotación: en proceso.
3) Fase postactiva: una
vez finalizada la aplicación.
Con respecto a la validación
preactiva, es aquella que se realiza del proyecto en si mismo,
una vez finalizado el diseño, con vías a su futura aplicación o realización.
La finalidad de esta evaluación consiste en
determinar el grado de adecuación de lo pretendido con lo realmente diseñado.
Validación interactiva: esta instancia
resulta fundamental para realizar la definitiva adaptación del proyecto a la
realidad, incluir elementos no previstos , realizar ampliaciones, verificar las
metodologías propuestas en función de los resultados y de el éxito logrado et
En esta fase sería necesario
- Evaluación
del Sistema Experto: esta fase implica el análisis del SE entendido en su doble dimensión de software
convencional y modelo de conocimiento.
Las
actividades que comprende esta etapa que se repite a partir del prototipo
inicial, en cada fase de revisión y /o ampliación incluyen :
a)
verificación: comprobación de que la
construcción es correcta, lo cual significa que el sistema no tiene errores y
que está cumpliendo las especificaciones para las cuales fue diseñado.
b) validación: análisis de la salida del sistema
para corroborar que es la correcta y que se cumplen las necesidades y los
requisitos del usuario. En el caso del Sistema propuesto, la validación
consiste en la comparación entre el perfil de
vulnerabilidad que devuelve el programa en función de la heurística
propuesta por el experto, y la propia estimación del mismo sobre el mismo caso.
c)
evaluación propiamente
dicha, la cual hace
hincapié en aspectos como ser la robustez,
velocidad, eficiencia,
posibilidades de adaptación e incremento, facilidad de
manejo, etc.
Estas instancias evaluativas debeincluir el aporte de los usuarios es decir los docentes y alumnos los cuales
pueden suministrar información
valiosa respecto de diversos elementos como ser
facilidad y “amigabilidad” de
la interfase, posibles errores o
en el uso etc.
-
Evaluación
del Proyecto: en este caso, el trabajo se orienta a la búsqueda de datos
acerca de la evolución del proceso de implementación.
Los criterios
evaluativos pueden organizarse en las siguientes categorías:
Ø
Basados
en la concepción del proyecto como “práctica tecnológica”
cabe destacar:
·
Análisis de las motivaciones, expectativas y
contribuciones de los principales
actores involucrados, a fin de incorporarlas paulatinamente a la propuesta,
procurando un acercamiento a la realidad social y cultural.
·
Verificación del impacto del proyecto, sobre
todo en lo que refiere a las respuestas de los individuos y grupos frente a
tecnología, a fin de introducir factores de control de manera tal que la
utilización del SE en la tarea preventiva-educativa no introduzca perturbaciones
Ø
Basados
en el modelo preventivo adoptado:
el monitoreo del proyecto implica:
·
Evaluación del SE en el contexto educativo al
cual se aplica, lo cual incluye revisar la adecuación de la propuesta a la edad
de los alumnos y al entorno social, el nivel de comprensión de las situaciones propuestas y su capacidad de
representar el factor de riesgo sobre el que busca indagar, capacidad de las
mismas de inducir a la reflexión etc.
·
Validación del proceso de enseñanza aprendizaje,
el cual estará a cargo del docente mediante
su propia evaluación del diseño curricular en el cual lo ha inserto.
Por ejemplo se factible
la selección de un grupo de
Instituciones comprometidas y de acceso permanente para la implementación y
evaluación de los primeros prototipos, de manera tal de
asegurar información rigurosa que permita la
correcta retroalimentación del sistema.
Los objetivos perseguidos en esta etapa de Evaluación serian :
- Comprender las motivaciones y expectativas de
los posibles usuarios
- Captar el sentido que los individuos y grupos
atribuyen al SE valorando su impacto una vez inserto en el contexto del aula
- Analizar su capacidad de representación de los
contenidos educativos y su utilidad
para estimular el diálogo y la reflexión
- Recoger datos y opiniones relevantes acerca del
funcionamiento y adecuación de la Interfase del Sistema
- Recolectar información acerca de las variadas formas con que los docentes
integran el sistema a sus propuestas curriculares, y su valoración de las
mismas,
Se dispone ya de
una Encuesta elaborada mediante un Cuestionario diseñado en Microsoft Excel que
combina preguntas abiertas y semiabiertas a fin de permitir la libre expresión
de docentes y alumnos, al recopilando al mismo tiempo información importante
acerca del grupo en el que se aplicó el SE y las estrategias utilizadas por el
docente para su integración.
Con respecto a
la participación de los alumnos, la distribución de la parte de la encuesta
destinada a ellos
, se
deja librada a la decisión del docente en función de las posibilidades y
apertura de su curso.
Esta herramienta del material que se entrega a los docentes durante la
capacitación previa a la implementación
del sistema en el aula.
También puede resultar pertinente la utilización de entrevistas
no estructuradas, y finalmente, con el objeto de analizar el funcionamiento del sistema y su
aplicación "sobre la marcha y viendo a los docentes y alumnos en acción”,
resulta igualmente funcional el planteo de Observaciones
Valoración
postactiva: esta evaluación resulta adecuada al finalizar una etapa de
aplicación del proyecto. De este proceso integrativo realizado a partir de la
información acumulada deben surgir
conclusiones y elementos debidamente fundamentados, que sirvan para la
planificación de la fase siguiente, destacando y fortaleciendo los aspectos
positivos , acometiendo la mejora de las deficiencias e incorporando elementos
nuevos que enriquezcan o completen la
propuesta.
En este caso, las sucesivas etapas a las que se hace
referencia surgen de los continuos
Refinamientos que debe experimentar el SE, de acuerdo con la Metodología de
desarrollo de Scott aquí adoptada.
Esta
validación debe responder en principio a criterios de eficacia y eficiencia, es
decir apuntar al análisis y ponderación de éxitos, fracasos, fortalezas y
debilidades, efectos y factores no considerados, y a la optimización del
programa.
Dada
la escasez de otros insumos, la valoración de la
eficiencia descansa sobre todo en el análisis de la adecuación de los perfiles
de vulnerabilidad, buscando al mismo tiempo que dicho indicador probabilístico
pueda ser obtenido explorando el menor número posible de situaciones, lo que
vuelve al programa más ágil y atractivo.
Sobre
estos indicadores descansa
la
“rentabilidad” del proyecto ya que el objetivo de esta etapa evaluativa es la
búsqueda de un adecuado balance entre los recursos empleados y los resultados
logrados.
Asimismo, deberían ser objeto de valoración los demás aspectos indagados como ser el impacto,
la aceptación, las estrategias utilizadas, etc., elementos estos que deben ser
tomados en consideración a la hora de
replanteo y/o extensión que implica el
pasaje de un prototipo hacia el próximo.
