Siempre me ha llamado la atención la típica estadística que muestra de manera dramática lo mal que esta el sector y con la que suelen comenzar gran cantidad de presentaciones sobre ingeniería del software. Dicha estadística sirve de pieza clave, y magistral introducción, para arrancar el resto de la presentación y posterior propuesta de soluciones. También es curioso que muchas veces no se cita completamente su origen, o se expone superficialmente; lo que importa es el resultado (y no tanto fuente, contexto, año, repercusión, confiabilidad, etc.).
Profundizando en el tema, si bien existen varios estudios o estadísticas de este tipo, sobre el estado de los proyectos software, el más utilizado (sin haber hecho un sondeo riguroso), y el que más se suele ver en muchas presentaciones y artículos, es el informe de Standish Group , llamado Chaos Report . De hecho, dicho informe es conocido como la estadística de referencia más citada en ingeniería software.
Dentro de estos informes Chaos el más famoso es el publicado en 1994, que en muchas ocasiones ha sido utilizado para apoyar la llamada “crisis del software”, y que muestra, de manera resumida, que:
- El 31% de los proyectos se cancelaron.
- El 53% tenían deficiencias.
- El 16% fueron un éxito.
- Y de media los proyectos tienen un 189% de sobre costes.
Pero aunque a priori estos puedan parecer claros y poco discutibles porcentajes, han tenido bastante repercusión, y han suscitado polémicas afirmaciones y curiosidades. Como la de que muchos autores directamente suman los anteriores 31 y 53% concluyendo que el 84% de los proyectos fracasan, creando, como afirma Glass, la sensación de que en software más del 70% de los proyectos fallan (flaco favor a nuestro sector).
O que curiosamente la mayoría de las veces se sigue citando el informe de 1994, si bien Standish Group ha actualizado el informe Chaos periódicamente (1994, 1996, 1998, 2000, etc.); con cambios significativos entre versiones: en el del 2000, por ejemplo, los proyectos cancelados son un 23%, los que tenían deficiencias un 49%, y los proyectos con éxito un 28% (porcentaje sustancialmente mayor al de 1994).
Pero quizás el aspecto más curioso, y polémico, es el relacionado con el citado 189% de sobre coste. Dato que no puede tomarse a la ligera, tiene, y ha tenido, una gran importancia. Se ha usado, por ejemplo, como referencia en informes gubernamentales, para evaluar el rendimiento de los proyectos (si un proyecto esta por debajo del 189% de sobre coste estará mejor que la media) y para apoyar que ha habido una gran mejora en el sector desde 1994.
Y sin embargo el citado 189% de sobre coste ha sido cuestionado en numerosas ocasiones, que han sembrando la duda al respecto, sobre todo por su inconsistencia con otros informes de la época y por el poco conocimiento sobre como se elaboró el informe Chaos (criterios para la selección de proyectos, medición del sobre coste, etc.).
En el estudio realizado por Jørgensen y Moløkken-Østvold en 2006 estos cuentan como casi a la vez que el Stadish Group ofrecía su famoso 189% otros estudios ofrecían un 33% – 34%. E incluso afirman que “we found several reasons to believe that an average cost overrun of 189% is much too high to reflect the situation in 1994.”
También Infoworld cita en su especial sobre los mitos de las tecnologías de la información el “IT Myth 5: Most IT projects fail”. Donde comenta como el fracaso de los proyectos es relativo, muchos proyectos tienen pequeños errores técnicos o caen en sobre costes, pero no alcanzan la categoría de “fracaso”, y sus problemas no afectan al usuario: “If a project is three months late or 5 percent over budget, that may be a disappointment, but it’s not a failure. That’s the case with most IT projects”
Lo más curioso es que informes como este, de un gran valor e importancia, muchas veces, en el “día a día”, se tratan como dogma, sin tomar en cuenta su contexto, circunstancias y repercusión. Eso sin citar cuestiones como ¿son realmente extrapolables estos datos a la realidad de los proyectos de mi contexto (país, sector, etc.)?
Primera vez que me tocó hacer una gestión Ágil en una empresa... año 2001. Desde entonces he trabajado en, o para, más de 90. Y he formado a más de 2000 alumnos.
También soy profe de la Universidad Rey Juan Carlos.
- Más allá del Management 3.0: 12 prácticas (de muchas) que no están en M 3.0 - 25 enero, 2024
- Más allá del Management 3.0: Otros muchos patrones para equipos Ágiles - 18 enero, 2024
- Años 30, Ohio (EE.UU.) y el Agile Product Management - 11 enero, 2024
Pingback: Informe CHAOS: Visión y críticas sobre el éxito de los proyectos software | Javier Garzás
Pingback: Algunos retos de los profesionales del software (1/2) - Javier Garzás, sobre calidad software y otros temas relacionados
Hola Javier, excelente post, de hecho yo mismo he usado en múltiples ocasiones las estadísticas del CHAOS REPORT para argumentar soluciones o estrategias de mejoras, confiando plenamente en las fuentes de dicho reporte, pero me sembraste la duda sobre el mismo. Igual es importante documentarse bien antes de usar algunas fuentes, en especial por el impacto que puedan causar, por ejemplo con un público no técnico, generando temor o histeria colectiva jejeje