Pages Menu
Categories Menu

Posted by on Feb 28, 2010 in procesos | 18 comments

¿CMMI o ISO 15504 SPICE?

Con el crecimiento de las implantaciones de ISO 15504 SPICE, especialmente en España desde que apareció el modelo de AENOR para la evaluación y mejora de la calidad software con ISO 15504, junto con los requerimientos que por parte del Estado español se están pidiendo a las empresas que desarrollan software y que quieran entrar en catálogos y licitaciones públicas, las cuales deben estar certificadas en algún nivel de madurez de ISO 15504 o CMMI, cada vez más me encuentro con la pregunta… ¿qué deberíamos implantar? ¿CMMI o ISO 15504?

Como es obvio la respuesta es… “depende”. Y en este post voy a comentar los que, en mi opinión, son los principales aspectos a considerar en ese “depende” (si alguien tiene algún factor más sería ideal añadirlo a los comentarios del post). Si yo tuviera que decidir (o recomendar) entre implantar CMMI o ISO 15504 tendría en consideración:

–   El mercado objetivo de la empresa que se quiere certificar. Para una empresa que desarrolla software con clientes en EEUU mi recomendación es, sin duda, CMMI; en EEUU la norma ISO 15504 es prácticamente una norma desconocida. Si tenemos interés en que la certificación nos valga para presentarnos a licitaciones y concursos públicos, en España, ambas son igualmente validas.

–   El coste de la certificación. Aquí me baso exclusivamente en mi experiencia profesional, y percepción propia del mercado, de lo que he visto hasta la fecha en proyectos de certificación, donde por lo general la certificación en CMMI es ostensiblemente superior en precio a la certificación en ISO 15504 SPICE, más si añadimos aspectos como que en CMMI se requiere que personal de la empresa a certificar haga el curso oficial de CMMI, lo que aumenta aún más el coste, y que varias personas de la organización participen 100% en la auditoría CMMI, de varios días, lo que aumenta los costes internos, sobre todo en pequeñas empresas.

–   Las otras normas implantadas en la organización. Normas como ISO 27001 (para los sistemas de gestión de la seguridad de la información) o ISO 20000 (para la gestión de los servicios) han tenido una gran demanda en los últimos años. Ambas normas siguen el modelo PDCA, y, obviamente, son más cercanas a la “filosofía” de ISO 15504, por lo que, de disponer de dichas normas, ISO 15504 será más fácil de adoptar por la organización que CMMI.

–   El organismo certificador. Si bien hay varias organizaciones (e incluso empresas) que certifican ISO 15504, uno de los organismos de certificación más rigurosos y prestigiosos es AENOR, acreditado por ENAC, y que emite directamente un certificado si se ha superado cierto nivel ISO 15504. En el caso de CMMI la cosa es más ambigua, como comentábamos en “quien certifica la calidad software en CMMI”, la certificación de haber superado un nivel de CMMI no la emite el SEI (que es el organismo que regula CMMI); el SEI no emite un certificado a las organizaciones evaluadas positivamente, sólo acredita a los auditores (los llamados “lead appraisers” en terminología CMMI), “lead appraisers” que voluntariamente elaboran algo “similar” a una certificación (un diploma), en el que se muestran los datos y resultados de la auditoría, pero que no es un documento oficial.

–   El enfoque de la mejora de la calidad software. Cuando hablamos en este post de CMMI nos estamos refiriendo a CMMI “for development”, que según dice la teoría del modelo, sería aplicable a cualquier proceso de construcción (no sólo software), por lo que en algunos puntos CMMI es bastante genérico. ISO 15504, cuando se aplica a software, normalmente utiliza de respaldo una norma específica de ingeniería del software, la ISO 12207.

–   La madurez de las implantaciones del modelo. Ambos modelos, CMMI e ISO 15504, tienen, prácticamente, la misma antigüedad, son de mitad de los 90… pero las implantaciones de CMMI son muy superiores a las de ISO 15504, por lo que de CMMI hay mucha más información, es más conocido y popular, existe más documentación, traducciones del modelo, guías, herramientas, presentaciones, etc. ISO 15504 e ISO 12207 (la norma que conjuntamente se aplica con ISO 15504 al evaluar desarrollo software) aún están en Inglés y son documentos de pago (hay algunas traducciones – resumen, pero no son oficiales), en CMMI la documentación es gratuita.

Seguro que hay más puntos a tratar en la decisión de si CMMI o ISO 15504 SPICE, pero estos son, en mi experiencia, los más determinantes y que más suelen importar. Y, como comentaba, si alguien tiene algún factor más sería ideal añadirlo a los comentarios del post.

Javier Garzás

Javier Garzás

Ph.D. en informática, Postdoctorado en la Carnegie Mellon (EE.UU) e Ingeniero en Informática.

Primera vez que me tocó hacer una gestión Ágil en una empresa... año 2001. Desde entonces he trabajado en, o para, más de 90. Y he formado a más de 2000 alumnos.

También soy profe de la Universidad Rey Juan Carlos.
Javier Garzás

18 Comments

  1. Hola Javier, ¿mas o menos por cuantos miles de euros puede salir a una empresa mediana certificarse en CMMI a nivel 2 por ejemplo, que creo recordar que es la media, y cuanto podría costarles con la ISO 15504 spice?. A groso modo, comprendo que dar un valor es muy relativo y depende de cada organización, es para comparar con las auditorías de seguridad sin certificación oficial que son en las que me muevo mas comunmente

    gracias, un saludo

  2. Quizás más que yo sería interesante si alguna empresa que emita certificaciones pudiera comentarnos alguna aproximación a los costes

  3. Un comentario al respecto de las certificaciones.

    Ni AENOR ni nadie (ni en España ni en el mundo, por lo que yo sé) está acreditado por ENAC o por la entidad similar miembro de IAF para 15504. Es decir, que no hay certificación oficial y reconocida 15504, salvo para el caso de Spice-for-Space o Automotive-Spice que utilizan esquemas propios y ajenos a ISO.

    Y es cierto que el SEI no emite Certificados de Nivel CMMI, pero sí que recoge los resultados en una BD pública (si se desea, claro) que es el repositorio mundial de entidades evaluadas, y sus resultados. mejor certificación que ésa …

    Y conste que no tengo nada en contra de 15504-Spice, entre otras cosas porque nosotros participamos en su desarrollo, lideramos las pruebas mundiales, etc.
    Pero la triste realidad es que siguen estando bastante verde. La famosa Parte 7 no es norma sino sólo un TR, gran parte del resto son sólo guías o ejemplos, etc, no hay certificadores acreditados, ni reconocimiento mutuo, …

  4. Hola,

    Mikel, yo no soy un entendido en el tema,
    pero AENOR tiene normas TIC acreditadas
    por ENAC (p.e creo que la ISO 27000, nosotros tenemos esta certificación), y
    eso da peso a Aenor como certificadora.

    Aprovecho para
    preguntarte otra cosa Mikel: ¿En ESI teneis algúna acreditación de ENAC?
    ¿y acreditación ENAC para CMMI?

    A mi (personalmente) la certificación en CMMI me parece un
    monopolio, y la veo poco seria. Y lo de salir en una BBDD pública pero
    propietaria no me parece una certificación.
    Ningún órgano internacional
    regula y se responsabiliza de la certificación CMMI, por lo que
    queda en manos totalmente de empresas partner del SEI.

    Un cordial saludo.

  5. David:

    siento no haber abierto esto hace unos días …

    Por supuesto que AENOR está acreditado para una serie de normas ISO, lo que trataba de indicar es que para 15504 no lo está nadie. De hecho, nosotros fuimos los únicos hispanos en el proyecto SPICE, dirigimos las pruebas mundiales del borrador, etc, y diría que con seguridad somos el organismo español que más evaluaciones SPICE ha hecho, con diferencia por lo que sabemos.

    No, no tenemos ninguna acreditación ENAC, ya que trabajamos fundamentalmente con 15504, 20.000, CMMI, EFQM y otras similares para las que no existen. Para la ISO 9000 y 27000 ya hay mucha gente. Por cierto que para la 20.000 tampoco hay nadie acreditado.

    Y lo de que CMMI sea un monopolio está claro, pero de su seriedad no duda mucha gente en el mercado mundial. Te puedo asegurar que el proceso de acreditación es muy serio, y las evaluaciones mucho más (por ejemplo, la típica evaluación CMMI nivel 2 lleva 10 días); también se pierde la acreditación con facilidad, si hay abusos. Una ventaja del monopolio es que el reconocimiento mutuo de las evaluaciones es automático.

    No es el único caso de una norma privada (aunque el SEI sea un organismo público) que tiene mucho más soporte en el mercado e impacto que otra más institucional. Véase ITIL sin ir más lejos, o Automotive-SPICE (que no es 15504), …

    Saludos,

  6. Ya que estoy, y respecto a la pregunta de Juan Antonio Calles …

    A grandes rasgos, y teniendo en cuenta que depende mucho (y quiero decir mucho) del punto de partida de una empresa que quiere llegar a CMMI Nivel 2 o un nivel similar de SPICE, el proceso completo de diagnóstico inicial, plan de mejora, soporte durante la implantación, formación y auditoría le puede costar 30.000 € de gastos externos y unas 1.000-2.000 horas de trabajo durante 12-18 meses -ojo, esto no es una estimación, sino una estadística-

    El Plan Avanza subvenciona para PYME hasta 22.000 €, con la idea de que sea entre el 40-50% del costo.

    Con SPICE es mucho más difícil de decir, ya que como sabes se rtata de un modelo con representación continua y no existen Niveles de Madurez, por tanto cada empresa debe elegir qué perfil de madurez desea (qué procesos y cada uno en qué nivel de capacidad).

    Teóricamente sería posible elegir un sólo proceso y certificarlo a Nivel de Capacidad 1, absurdo pero posible, aunque está totalmente en contra del espíritu de la norma.

    SPICE no tiene por qué ser significativamente más barato que CMMI, siempre que los perfiles sean similares. La Evaluación que define 15504-2 sí es algo más sencilla que la del SCAMPI de CMMI, pero no mucho más sencilla. Algo se ahorraría.

  7. Hola,

    No estoy deacuerdo con que para SPICE no existen niveles de madurez. La empresa para la que trabajo ha logrado un nivel 2 de madurez (no de capacidad).

    Además está la parte 7 de la norma ISO 15504 se centra en los niveles de madurez, de hecho se llama “Assessment of Organizacional Maturity”. Y me consta que a nivel internacional hay otras organizaciones con niveles de madurez.

    Saludos

  8. He prestado más atención a las otras entradas del blog vinculadas a esta y me he encontrado con la respuesta:

    AENOR certifica con el modelo de procesos ISO 12207 del 2008 …

    .. y también me he encontrado con otra entrada donde se habla de la parte 7 de la norma ISO 15504.

    «ISO/IEC 15504 parte 7: La opción ISO para evaluar la calidad por niveles de madurez»

    http://www.javiergarzas.com/2008/12/isoiec-15504-parte-7-la-opcin-iso-para.html

    Perdón por preguntar antes de mirar. Saludos!

  9. Gracias @Mikel por la respuesta, todo muy claro. La verdad que se mueve en los intervalos de dinero que pensaba. Desde luego es una gran iniciativa la de las subvenciones del plan Avanza, y clave para que muchas empresas den el pasito de la certificación.

    Un saludo!

  10. Hola Consultor Independiente.

    Como decía hace unos días, no tengo nada en contra de SPICE ni de la 15504, que tiene ventajas frente a CMMI pero el hecho es que no tiene Niveles de Madurez por filosofía (al principio del proyecto SPICE, 1996 …, hubo grandes discusiones al respecto.

    Cierto que se está evolucionando hacia los Niveles de Madurez, y que existe como bien dices la Parte 7. Sin embargo esta Parte 7 no es más que un Technical Report, no parte de la Norma; y tampoco define Niveles de Madurez, sino que dice cómo se pueden definir, y da un ejemplo.

    Y por fin, cada uno puede certificar lo que quiera (Niveles de Madurez, u otras cosas) siempre que no exista un mecanismo de Acreditación de Certificaciones, como es el caso de SPICE (tristemente).

    Sí que existen Niveles de Madurez en Automotive-SPICE y en S4S, pero aunque se basaron en los borradores de 15504 para su definición divergieron hace mucho tiempo y ahora ya viven su vida independiente (nuevos procesos, nuevos mecanismos de acreditación, nuevo todo).

  11. Muy pero que muy bSolo un aporte pero si acritud. Existe una evaluación por niveles de madurez y e investigado acerca de su estado. Efectivamente se encuentra publicada:

    http://www.iso.org/iso/iso_catalogue/catalogue_tc/catalogue_detail.htm?csnumber=50519

    Aenor certifica la norma ISO 15504 por niveles de madurez, eso me ha quedado claro. Ahora bien, ¿Cúal es exactamente el modelo de procesos que sigue? O lo que es lo mismo, ¿Con que norma ISO 12207 lo realiza? Las dos últimas son la de los años 1995 y 2008.

    saludos!

  12. Hola,

    Más datos…

    Según el «Estudio sobre la certificación de la calidad como medio para impulsar la industria de desarrollo del software en España» (elaborado por INTECO), los precios andan por (cito literalmente):

    – CMMI (acreditación) 13.000 a 30.000 €, unos 450 € p/empleado (nivel 2), unos 110 € p/empleado (nivel 3)

    – ISO/IEC 15504 Unos 5.000 € (5 días)

    Según este informe la certificación CMMI es muy superior a ISO 15504.

    Saludos

  13. Hola,

    @Pilar, con la ISO 12207 del 2008.

    Saludos

  14. Muy interesante el tema que aquí se debate. Sólo destacar algunas afirmaciones en comentarios anteriores que no me quedan claras:

    – «Parte 7 no es más que un Technical Report, no parte de la Norma». Sí es un Tecnical Report pero como su nombre indica es una parte de la norma, que en concreto define los requisitos para realizar una evaluación por niveles de madurez basándose en los niveles de capacidad establecidos en la parte 2 de la norma. ¿Los Tecnical Report no son considerados parte de la norma? ¿Por qué entonces se denomina Parte 7?

    – » …,y tampoco define Niveles de Madurez, sino que dice cómo se pueden definir, y da un ejemplo». No estoy de acuerdo con esto. Concretamente ISO 15504-7 define 6 niveles de madurez, y como no es una norma específica de software, no define los procesos que están asociados a cada nivel. Para cada contexto se elaborará un modelo u otro, por ejemplo para el software existen actualmente 2 modelos, Anexo A de ISO 15504-7 y el modelo de AENOR. ¿Por qué se dice que no define niveles de madurez si realmente establece 6?

    Pilar M, respecto a tu pregunta, creo que leí en un post anterior que el modelo de AENOR hace uso de los procesos de ISO 12207:2008.

    Saludos

  15. Pues que quereis que os diga no conozco a nadie que perdiese su certificación CMMI (salvo porque no quiso renovarla) ni ninguna auditoría CMMI que no se superase, si eso es serio…

  16. Amigo Clark,

    La doble negación nunca ha constituido una prueba. No conozco a nadie, luego no existe; no he encontrado errores en mi programa, luego mi programa es perfecto (luego se demuestra que no es así).

    Da la casualidad de que quienes no superan una evaluación SCAMPI no lo publican nunca, pero eso no quiere decir que no existan. Tampoco lo hacen los que no aprueban la ISO9001.

    Nosotros sí que conocemos casos, pero evidentemente si las empresas interesadas no lo publican nosotros no podemos hacerlo. Y también como decía conocemos casos de SCAMPI Lead Appraiser que han perdido su acreditación.

    Y evidentemente las empresas que desaparecen de la BD de empresas evaluadas en algún nivel de madurez no dejan rastros de que una vez estuvieron allí. El hecho de figurar allí es voluntario, aunque casi todos los que lo consiguen quieren figurar.

    Saludos,

  17. Hola,

    aquí se ha hablado de manera muy precisa sobre las normas, su reconocimiento internacional, etc.

    Atreviéndome a bajar al terreno mundano de lo práctico, me atrevo a decir unas cosas:

    1) La diferencia de «certificados» entre CMMI y 15504 es apabullante, creo recordar que iba por 7 a 1. Eso, que probablemente sea por la mayor antigüedad de CMMI, tiene un claro impacto en la visibilidad de la «certificación».

    2) Aunque formalmente 15504 está muy elaborado, hay menos material de soporte (libros, foros, etc) y consultores/auditores de soporte. Además se debe referenciar el modelo de procesos (12207). Todo esto hace que en la práctica sea algo más complejo de adentrarse en el modelo y sacarle un beneficio efectivo. Evidentemente con trabajo se le saca, pero es más complicado a mi juicio.

    3) El valor de las «certificaciones», aparte de los que creen incondicionalmente en la organización que la otorga, está en los resultados prácticos de su aplicación y en la visión que tienen los usuarios. Lo digo porque he oído a algunas personas ensalzar cualquier cosa que salga de ISO, y denigrar el CMMI porque es privado.

    4) Respecto a esto último, es irónico ver como se defiende la «ISO» como algo público. Está claro que «sacarse» la ISO tiene unos costes, al igual que CMMI. El resultado para las empresas es un coste y unos beneficios obtenidos (productividad, ventas). Nadie trabaja gratis.

    5) Otro corolario del punto 3) es que el material de CMMI es siempre público. Se puede consultar y utilizar sin coste. Si quieres formación, o la «certificación» hay que pagar por los servicios, como pasa con la ISO.

    Finalmente, creo que deberíamos pensar todos en positivo y no intentar usar la descalificación gratuita para promocionar los modelos con los que tenemos experiencia (y por tanto sobre los que ofrecemos servicios). Se puede opinar, yo lo hago, pero mostrando «todas las aristas del cubo» y no sólo las que nos convienen.

  18. La diferencia de “certificados” entre CMMI y 15504 es apabullante, creo recordar que iba por 7 a 1.@Alex:

    Que significa esto de que La diferencia de “certificados” entre CMMI y 15504 es apabullante, creo recordar que iba por 7 a 1.?? es algún estudio?

    Saludos

Trackbacks/Pingbacks

  1. 100 post | Javier Garzás - [...] de los blogs, algún dato más. En lo que llevamos de 2010, el artículo más visto, ha sido ¿CMMI…
  2. ¿ISO/IEC 9000, 15504, 12207, 27001 o 20000? | Javier Garzás - [...] software o a la gestión del servicio. Están también las similitudes y compatibilidades, que si CMMI o ISO, que…
  3. Cinco elementos clave en una buena externalización del desarrollo software (II/II) | Javier Garzás - [...] certificaciones de la calidad de sus procesos software, normalmente el cumplimiento de modelos como CMMI o ISO 15504 (y…

Post a Reply

Tu dirección de correo electrónico no será publicada.

Share This