Resultados Piloto

Uno de los objetivos de este proyecto es construir y aplicar un modelo que permita medir la madurez de las capacidades de gestión e implementación de Open Data en las instituciones del Estado.

OD-MM permite evaluar a una institución pública respecto a las mejores prácticas internacionales en el área de Datos Abiertos, incluyendo las perspectivas institucionales y legales, las perspectivas tecnológicas y la relación con la ciudadanía y la empresa. Además propone caminos de mejoramiento en estas materias (roadmaps), es decir, ofrece una orientación de hacia dónde se deben canalizar los recursos financieros y humanos de una organización que necesita mejorar sus capacidades para llevar a cabo iniciativas de Open Data.

El modelo es el producto de un exhaustivo trabajo que consideró las siguientes fuentes de información en su formulación inicial (Abril de 2011 a Enero de 2012):

·      Análisis  de modelos que proporcionan la estructura estándar de un CMM (Capability Maturity Model - Modelo de Madurez y Capacidad)

·      Modelos que muestran ámbitos, y niveles de madurez y capacidad directamente relacionados con Open Data (e.g., basado en los 8 principios).

·      Modelos de propósito específico que proporcionan ámbitos y niveles de madurez y capacidad sobre temas relacionados con Open Data (e.g., gobierno electrónico).

·      Las buenas prácticas (e.g., implementación, medición, evaluación) sobre Open Data identificadas como resultado del levantamiento del estado del arte nacional e internacional (Australia, Brasil, Canadá, Colombia, España, EE.UU. y Reino Unido).

Posteriormente, en Enero de 2012, fue sometido a un piloto de validación en el que participaron siete servicios públicos de tres países latinoamericanos (BCN, MINEDUC y SICEX de Chile; DNP, MHCP e ICFES de Colombia; e ITIGES de El Salvador).

La aplicación del piloto del modelo OD-MM fue gestionado en los 3 países latinoamericanos por la Secretaría General de la Presidencia (SEGPRES) del Gobierno de Chile, el Programa Gobierno en Línea (GEL) del Ministerio de Tecnologías de Información y Comunicaciones (MTIC) del Gobierno de Colombia, y la oficina de Innovación Tecnológica e Informática (ITIGES) del Gobierno de El Salvador. En todos los países la ejecución fue coordinada conjuntamente con el Centro de Gobierno Electrónico del Departamento de Informática de la UTFSM.

El piloto permitió validar el modelo y generar una versión refinada, que incorporó la realimentación de los participantes, la cual además incorpora un roadmap de implementación de Open Data para cada situación particular de cada servicio público evaluado. 

Paralelamente se validó adicionalmente la herramienta Web construida para el levantamiento de información en los diferentes servicios públicos, en el modo de autodiagnóstico (en anexo se presenta el Manual de Usuario de la herramienta Web).

Como trabajo futuro a realizar se propone aplicar el modelo OD-MM en forma masiva a una muestra importante de servicios públicos (al menos un 10%) en los diferentes países de Latinoamérica.

Esta parte del informe resume las principales características del modelo OD-MM, sus objetivos y beneficios esperados, y presenta los resultados de su aplicación a nivel de piloto a un conjunto de 7 servicios públicos latinoamericanos.

A modo de síntesis, se describen a continuación los elementos más relevantes del modelo aplicado y los beneficios reportados por esta iniciativa, además de la metodología utilizada. Mayores detalles se incluyen en los Anexos que contienen la evaluación de cada institución del piloto.

 

Muestra y Metodología del Piloto

Muestra

Para el piloto de validación del modelo propuesto se invitó a una muestra de Instituciones Públicas basado en diversos criterios, tales como:

1.     Instituciones con diferentes niveles de madurez, definidos por sus capacidades en dos ámbitos. Se estima como ámbitos de fácil constatación la capacidad de “Empleo de Tecnologías Semánticas” y capacidad de “Formatos de los Datos”.

2.     Selección de nivel en base a criterios a priori que permitan validar de que el modelo predice adecuadamente la realidad, aunque el modelo incorpore más ámbitos e indicadores adicionales.

 

En base a estos criterios se seleccionaron en Chile, Colombia y El Salvador los servicios de la Tabla 1.


 

Metodología para aplicar el Piloto

Los aspectos principales de la metodología utilizada en la aplicación del piloto en los SSPP, tiene las siguientes características principales:

°        Apoyada con sensibilización directiva.

°        Realizada como un levantamiento guiado.

°        Precedido de talleres de capacitación a distancia.

Se definió una estrategia para el levantamiento de información, que consideró la definición de tres roles requeridos para responder los dominios (ficha descripción SD y Perfil).

Se buscó la opinión y el compromiso de los directores de los servicios involucrados para obtener el compromiso del patrocinio, designando y asignando tiempo de entrenamiento a los coordinadores de los equipos y responsables participantes.

Para facilitar la toma de datos se utiliza una herramienta Web, que permite operar en el modo autoevaluación de cada institución.

Para introducir elementos que le den mayor precisión a la auto-evaluación ésta ha sido apoyada por:

§ Comunicaciones vía email, conferencias por skype, y teleconferencias para describir el modelo y el uso de la herramienta, en el cual participan a lo menos un coordinador por cada país involucrado, que en el caso de Colombia y El Salvador corresponden a los Oficiales de Enlace OEA, y en el caso de Chile al menos un coordinador por cada institución involucrada.

§ Segmentación de ámbitos a evaluar de forma que los participantes dispongan de la información requerida. Se consideraron tres ámbitos: gestión operativa y estratégica, gestión tecnológica y gestión de recursos humanos (Tabla 2).

§ Designación de un coordinador que actúa como responsable de cierre del proceso de auto-evaluación, que asegure la representatividad de la información entregada.

§ Soporte mediante call center y material escrito describiendo la estructura del modelo, y cada uno de sus componentes (variables críticas, dominios y subdominios).

§ El diagnóstico y determinación del roadmap se realiza en forma automática en la herramienta Web. Este roadmap se basa en la recopilación de buenas prácticas internacionales en gobierno abierto, el desarrollo de la madurez organizacional, las pautas del modelo y en el conocimiento experto de los integrantes del equipo de proyecto, apoyándose en plantillas y pautas predefinidas.

 

Como última etapa del piloto, se tiene la recopilación del feedback respecto al modelo y sus posibles mejoras para asegurar la usabilidad de la herramienta (glosario y semántica) en la futura aplicación en forma masiva.

 

Tabla 2. Ámbitos y perfiles participantes en el levantamiento

            
 

Resultados del Piloto

En base al levantamiento realizado durante los meses de Enero y Marzo de 2012, en los cuales los participantes respondieron al cuestionario Web, en su ámbito del conocimiento, se obtuvieron los siguientes resultados.

Capacidades

En la Tabla 3 se muestran los valores de capacidad por Sub-dominio de cada una de las instituciones participantes. Seis de los servicios participantes respondieron los 3 ámbitos (ICFES de Colombia fue la excepción respondiendo sólo un dominio, el Tecnológico).

 

Tabla 3. Capacidades de SDs para los servicios participantes en el Piloto.










 

En amarillo se destacan los valores de capacidad más altos que el promedio por SD. Es así como se puede destacar los casos extremos. Por un lado, se tiene el SD Desarrolladores con un promedio 1.7 y 4 SSPP tienen un nivel de capacidad mayor que ese promedio. Se destaca el caso de la BCN cuya evaluación en este SD es la evaluación más baja como institución. Ningún SSPP está en los niveles 3 o 4 de capacidad, lo cual se ajusta a la realidad observada.

 

En el otro extremo, se tiene aquellos SD (Gestión y Acceso), que tienen una única institución sobre el promedio (BCN). Todas las demás están bajo el promedio. En el caso de Gestión, todos los SSPP están en nivel 1 con la excepción de la BCN que está en nivel 2, y que siendo su evaluación más baja, en el conjunto es la única más alta.

 

Los SDs Participación y Colaboración y Acceso son los únicos SDs que contienen niveles de evaluación entre 1 y 4. En el caso de Participación y Colaboración, tres SSPP obtuvieron nivel 1, uno obtuvo nivel 2 y dos obtuvieron nivel 4. En el caso de Acceso, una única institución obtuvo nivel 1, cuatro de ellas obtuvieron un nivel 2, y sólo una obtuvo nivel 4. Creemos que las variables de este SD (Medios de Participación y Colaboración;  Transparencia participativa; Escucha Activa; y Medición del uso de los Datos-aplicaciones), no fueron bien interpretadas, dado que la dispersión no se ajusta a la realidad observada.

 

En la Tabla 4 se observa el promedio simple de cada Dominio por SSPP. En todos los casos este promedio es siempre mayor o igual que el nivel de capacidad del respectivo dominio en ese SSPP.

 

En el caso de la BCN que es el único SSPP que obtuvo nivel de madurez institucional 2, se observa que sus dominios tienen promedio 2.7 (Perspectiva Institucional y Legal), 3.3 (Perspectiva Tecnológica) y 3.0 (Perspectiva Ciudadana y Empresarial), lo que da un promedio global de 3.0, es decir con un cumplimiento de 100% para el nivel de madurez 3, pero que al aplicar la plantilla de la Figura 2, la institución queda en NM 2.

 

Realizando el mismo análisis para DNP, se observa que todos sus SDs tienen un promedio simple superior o igual a 2. Es decir, 2.0 (Perspectiva Institucional y Legal), 2.3 (Perspectiva Tecnológica) y 2.7 (Perspectiva Ciudadana y Empresarial), siendo que al aplicar la plantilla de cumplimiento de la Figura 2, DNP alcanza un nivel de madurez 1. Sin embargo, según la Tabla 5 tiene un 30% de cumplimiento para el nivel de madurez 3.

Análisis de SDs.

La Tabla 4 indica el valor medio de la capacidad de cada SD en la muestra de SSPP que participaron en el piloto del modelo y la herramienta Web.

Los SD más desarrollados son:

§ Seguridad y Disponibilidad

§ Estrategia, Liderazgo e Institucionalidad

§ Acceso

§ Calidad de los Datos.

 

Este resultado concuerda con el énfasis que hacen los gobiernos en general en disponer de infraestructura TI, dado que todos los SDs del dominio Perspectiva Tecnológica se encuentran más desarrollados que los otros SD.

 

Tabla 4. Capacidad promedio de SDs

 

Los SD menos desarrollados son:

§ Reutilización de los Datos

§ Desarrolladores

§ Gestión.

 

Estos resultados permiten formular la hipótesis de que el esfuerzo tendiente a introducir el concepto de Open Data  en los SSPP no está en línea con la Perspectiva Ciudadana y Empresarial. Se puede agregar que siendo Gestión el SD con menor evaluación de todos los SDs del modelo, los esfuerzos de introducir Open Data en los SSPP no está aparejado con la formalización de los procesos internos, el desarrollo del capital humano requerido y las evaluaciones de desempeño. Esto habitualmente se traduce en ineficiencia en el uso de los recursos financieros y esfuerzo adicional del recurso humano.

 

Otro elemento a destacar es que el valor medio de todos los SDs no alcanza el nivel 3, denominado Capacidades Existentes, que se caracteriza por:

o   Los procedimientos relacionados con el SD han sido definidos, documentados y comunicados.

o   Hay entrenamiento formal para apoyar iniciativas particulares relacionadas con el SD.

o   Los procedimientos no son sofisticados, más bien son la formalización de las prácticas existentes.

o   Es posible monitorear y medir cumplimiento de los procedimientos y tomar acciones cuando el SD aparente no funciona efectivamente.

o   Los estándares y normas establecidos se aplican en toda la organización.


Análisis de Variables

La Tabla 5 indica el valor medio de la capacidad de cada Variable en la muestra de SSPP que participaron en el piloto del modelo y la herramienta Web.

Tabla 5. Capacidad promedio de Variables



 Las Variables más desarrolladas con promedios sobre 3 son: 

    § Gratuidad de los Datos.

    § Disponibilidad de los Datos.

    § Datos Libres.

    § Escucha Activa.

Este resultado concuerda con el cumplimiento de las leyes de Acceso a la Información y de Transparencia que rigen en Chile y en Colombia, no pudiendo proyectarse hacia otros países de latinoamérica por cuanto no todos tienen leyes de acceso a la información y leyes de transparencia.

De las variables que se encuentran con promedios bajo 2, destacan todas las variables del SD Gestión, siendo Capacitación (1.8), Gestión de Proyectos (1.5), y Evaluación del Desempeño (1.2), esta última la más baja de todas.

 

Es notable el caso de las variables Cantidad de Open Data Disponible (1.8), Medición del Accesos a los Datos (1.7), Fomento de la Reutilización (1.8), y Financiamiento de Proyectos RISP (1.3), que son todas del dominio Perspectiva Ciudadana y Empresarial, que es el dominio mas mal evaluado.

 

La variable Empleo de Tecnologías Semánticas (1.7) es la variable peor evaluada del dominio Perspectiva Tecnológica, que es el más desarrollado de los tres dominios.