Dentro de la serie GOTO, comenzada recientemente en este blog, quería dedicar hoy un post a las metodologías de análisis de riesgos; personalmente he trabajado con algunas de ellas -con demasiadas- y, si les digo la verdad, ninguna me convence realmente. Las hay sencillas, las hay complejas (sí, estoy pensando en MAGERIT :), las hay mejores y las hay peores, pero en todas hay aspectos, bajo mi punto de vista, manifiestamente mejorables. Para empezar, y aunque quizás sea lo menos importante… ¿por qué no se ponen de acuerdo en la terminología? ¿Por qué Mosler habla de “bienes” y MAGERIT de “activos”, por poner un ejemplo? ¿Por qué a lo que en unas metodologías se le llama “amenazas” en otras se le llama “riesgos”? Sinceramente, este es un tema únicamente produce confusión… ¿tan difícil es ponernos de acuerdo?
Hablando ya de cosas más serias, una cosa que me toca las narices es que en ninguna metodología (ni fuera de las mismas) me he encontrado un catálogo de amenazas decente. A día de hoy, que a todos se nos llena la boca hablando de seguridad integral, holística, global o como le queramos llamar, aún no he visto un catálogo de amenazas integral de verdad, que cubra todos los posibles problemas de una organización, sin focalizarse en aspectos físicos o lógicos en exclusiva… Creo que hasta que esto no exista, mal vamos a la hora de analizar riesgos desde el punto de vista de la protección del negocio: únicamente haremos análisis parciales, y deberemos realizar tres o cuatro visiones diferentes para hacernos una idea del mapa de riesgos de nuestra organización… Ojo, sé que es fácil criticar sin aportar alternativas y que cerrar un catálogo de este tipo es complejo, pero algún día habrá que hacerlo, ¿no? (yo estoy intentándolo, cuando consiga algo decente lo colgaré aquí… o no :).
Tampoco estoy muy de acuerdo con las medidas del impacto (o como le quieran llamar) que todas las metodologías incorporan; ¿por qué el método cuantitativo mixto, por poner un ejemplo, determina que algo es un desastre si nos causa un daño entre 150.000 y 1.500.000 euros, mientras que las consecuencias valoradas entre 75.000 y 150.000 euros son simplemente “muy serias”? Conozco más de una y de dos empresas para las que un daño de 149.999 euros significaría ya no un desastre, sino una catástrofe. ¿Quién es el señor cuantitativo mixto para decidir qué es para mí un impacto alto, muy alto o un épsilon alto? Bajo mi punto de vista, sería mucho más coherente ponderar estos valores en función del tipo de organización sobre la que se esté realizando el análisis, y no hablar -y calcular- en términos absolutos que, a la hora de la verdad, no representan más que una tabulación estándar del impacto: lo que para Telefónica puede ser una multita insignificante por incumplimiento de la LOPD, a cualquier autónomo le arruinaría la vida.
Los niveles de probabilidad, impacto o riesgo también son un tema discutible de las metodologías de análisis; ahora parece que lo más habitual es ubicar tres niveles (alto, medio y bajo, o 1, 2 y 3, por decir algo) frente a las metodologías que usan cinco. Este tema es muy discutible (¿cuál es la diferencia entre “alto” y “muy alto”?), pero cuando se trata de establecer una cuantificación, siempre he preferido -y esto es opinión personal, por supuesto- utilizar una escala con un número par de estados, para así evitar la tentación de “tirar” todo al punto medio. En cualquier caso, como siempre: ¿por qué no todos hablamos el mismo idioma? Ya sé que cada metodología es de su padre y de su madre, pero si los niveles son siempre iguales, podremos reaprovechar más el trabajo, y no empezar casi de cero si tenemos que cambiar de metodología.
Finalmente, las metodologías que tratan de cuantificar hasta el más mínimo detalle no son, para mí, muy acertadas -en especial cuando hablamos de protección de bienes intangibles-. Un análisis cuantitativo, donde se valore hasta el céntimo cada activo, cada décima de probabilidad, y cada euro de impacto, constituye un modelo matemático muy útil para explicar en la universidad, pero muy poco aplicable en el mundo real. ¿Qué impacto (en euros) tiene para una organización no tener la web levantada durante dos días? Probablemente, sabremos decir si es alto o muy alto, pero al que me diga que tiene un impacto de X euros (siendo X algo coherente), le invito a una cerveza :) Si nos tenemos que inventar -parcialmente- los datos de entrada, cualquier fórmula de cálculo del riesgo quedará muy bien en un Powerpoint, pero tendrá tanta validez como un billete de tres euros.
En resumen, ¿por qué no acordamos una metodología de análisis de riesgos global, que contemple todos los riesgos del negocio -y por tanto que nos sirva más eficaz y eficientemente para protegerlo- y que usemos todos de una forma más o menos igual? ¿Por qué no la flexibilizamos para hacerla operativa en cualquier tipo de organización -como a priori son las normas ISO-? Y si además la hiciéramos sencilla, ya sería la leche.
(N.d.E. Nos vemos, si quieren, el lunes que viene. En nombre del equipo de S2 Grupo, les deseamos una feliz nochevieja y próspero año nuevo a todos.)
Esta vez, los consultores junior no tenemos la culpa del GOTO… uff.. que descanso!
Como junior me metí una dia en el mundo de las metodologias de análisis de riesgos y tienes razón en todo, sobretodo en el tema de las nomenclaturas, que se aclaren ya! Creo que el tema, tanto en nomenclaturas y en la aplicación de fórmulas matemáticas o niveles cualitativos, el tema está en ponerse de acuerdo con el cliente para averiguar que es será más útil para él, ¿no?
Por cierto, ¿ cual es (o son) las metodologías que crees mejores?
Estupenda reflexión Toni, que comparto completamente… ¿cuando empezamos a trabajar en una metodología que refleje lo que comentas? :-)
Javier
Hola Junior :)
IMHO, al final es un tema no tanto de ponerse de acuerdo con el cliente (que lo que quiere -o suele querer- son resultados, sin importarle la metodología), sino de ponerse en su lugar y plantearse qué le va a resultar más útil.
Con respecto a las mejores metodologías, no tengo respuesta; ninguna me parece especialmente buena frente al resto (sí que hay algunas que me parecen malas, pero no lo diré públicamente :).
Si te sirve de algo, los últimos análisis que he realizado se han basado en versiones simplificadas de MAGERIT, y también en ISO 27005; para seguridad física, Mosler es lo menos malo que he encontrado… para gustos, colores :)
Saludos
Toni
Hola Javier
Estamos en ello :) No es fácil, pero iba en serio cuando decía que estoy intentando definir un catálogo de amenazas genérico para cualquier organización, sin particularizar en amenazas TIC, no TIC o no TAC :) Creo que hasta que no tengamos esto, poco podremos avanzar.
A ver si un día quedamos, nos tomamos una cerveza y charramos del tema. Cualquier sugerencia es bienvenida :)
Saludos
T.
Es un tema interesante y abierto al mundo de la investigación. Aunque para los que estudiamos seguridad el concepto del riesgo es algo que lleva poco tiempo entre nosotros, otras disciplinas mucho más maduras llevan años trabajando con él. Mis intentos por encontrar la piedra filosofal de las “metodologías” han intentado siempre ver otros campos y enfoques que pudieran ser particularmente prácticos y útiles en nuestro campo.
Como ya comenté en http://sgsi-iso27001.blogspot.com/2008/10/la-importancia-del-anlisis-del-riesgo.html, FAIR es un enfoque cualitativo que intenta discernir cuales son los factores de riesgo más convenientes a utilizar en cada caso.
De todas formas, abro otra reflexión a colación del post inicial. Si bien es cierto que la metodología de análisis de riesgos es fundamental, hemos de pensar para qué queremos el análisis. Existen muchas metodologías pero encuentro que algunas se centran sobre todo en modelar la organización y establecer un diagnóstico, pero quedan muy lejos de proporcionar resultados que permitan luego “la gestión”. Y ciertamente esta segunda parte es la realmente tiene que resultar lógica al cliente. Toda acción debe tener detrás una justificación y ese razonamiento debe proporcionarlo el análisis de riesgos. Por resumir, para mi una buena metodología de análisis de riesgos es la que establezca la traza inversa desde la medida hacia la amenaza, quiero decir, debe permitir un discurso del tipo “Tengo que aplicar la salvaguarda W sobre el activo X porque si la vulnerabilidad Y se presenta la amenaza Z podrá producir un daño o impacto por las consecuencias en determinados aspectos (jurídicos, económicos, operacionales, de imagen, legales) que afectarán a los procesos de negocio P1,P2,…Pn que han sido valorados por la Organización de determinada manera.
Muy buen articulo y ahora que estoy en pleno proceso de ADR en un cliente, muchas dudas se me han planteado sobre la metodología que usa nuestra empresa que es un método simplificado y cualitativo.
Quedo en deuda para poder plantear mis observaciones sobre esta metodología y dar a ustedes mis comentarios.
Soy un nuevo y reciente seguidor de este sitio.
Saludos.
Hola Javier
Completamente de acuerdo con enfocar el análisis no al análisis “per se”, sino a proporcionar utilidad al cliente; a veces nos olvidamos de esto y elegimos una metodología por un motivo determinado (es estándar ISO, es la que me sé, me parece mejor, así demuestro cuánto sé…) que al cliente poco o nada le ayuda, convirtiendo el análisis en un “tocho” que en el mejor de los casos acaba en la estantería del responsable de seguridad…
Como dices, al hablar de “riesgos” hay que analizar otros campos, y a mí ahí la vista se me vuelve sin remedio hacia la banca (¿cómo se calcula el riesgo de darte o no un préstamo? ¿y el de hacerte un seguro de vida?). De banca/bancaseguros siempre se aprende algo, pero cuando he tratado de ver metodologías de análisis orientadas puramente a seguridad, por ejemplo a seguridad física, me he topado con Mosler, cuantitativo mixto… métodos que, por decirlo finamente, no son los que más me han gustado en mi vida :)
Saludos
Toni
Hola Bmerar
Cualquier comentario es bienvenido :)
Saludos!
T.
Gracias Javier, creo que ya leí tu artículo pero lo repasaré, tengo pendiente leerme la FAIR.
Gracias también Antonio, recordaré tu consejo sobre lo que puede ser útil al cliente, miraré Mosler que no conocía y me quedaré con las ganas de saber cuales son las metodologías que no te parecen tan buenas.
Creo que los tiros van por la metodología oficial. De todas formas, en esto también hay que hacer una distinción entre lo que es el método y las herramientas que existen para poder aplicarlo. Buenos métodos pueden tener malas herramientas.
Al menos ahora, desde la publicación de la norma ISO 27005, ya tenemos una referencia sobre la que poder elaborar una metodología propia. Por mucho que queramos inventar, las fases de cómo analizar y gestionar los riesgos son siempre comunes en todas las metodologías. Lo que suele variar es la manera de estimar valores que es donde está el quid de la cuestión.
Os recomiendo a todos que leáis el capítulo cuatro de este, por otra parte, fantástico libro ‘Managing the human factor in information security’.
Este capítulo, llamado ‘Zen and the art of risk management’ estudia desde un punto de vista bastante realista la útilidad del análisis de riesgos para la gestión de la seguridad.
Yo siempre he pensando que el análisis de riesgos tenía poca utilidad real porque no te podías fiar de números ‘estimados’ para generar nada creíble. De hecho siempre que el resultado no está acorde a lo que uno espera… pues se toca aquí y allí hasta que dá un resultado coherete.
Para mí, eso significaba que, realmente, no necesitaba el análisis de riesgos para tener que hacer artificialmente que diera el resultado que yo quería.
Me entran ganas de gritar “el análisis de riesgos está desnudo”. Y mira por donde me encontré un alma gemela en este pasaje:
Amongst many high-profile speakers at the conference was a professor of risk management, with extensive experience in applying risk management techniques in many high-risk sectors, such as the nuclear industry. The professor outlined a range of well-established techniques that might be adapted to the new field of computer security. Some of these involved complex calculations based on scores, weights and averages. At the end of his presentation, he proceeded to answer questions from the audience. I was particularly struck by one question and answer.
The question from the floor was a simple one: How do you stop a manager from manipulating these figures to get the decision he wants to get?’
The answer was a real eye-opener:
But that’s exactly how this process works. You wouldn’t make a decision on these figures alone. That would be madness. You make your decisions on a much richer set of information and then use these techniques to support your judgment.’
Risk assessment is a decision support tool, not a decision-making device. The techniques employed operate on a vast oversimplification of the richness of the problem space. We reduce complex uncertain problems to simple one-line descriptions. We adopt crude categories, such as high, medium and low to compare the likelihood or impact of a risk. We filter out important detail such as the knowledge and skills of the person who assessed the risk and the level of uncertainty or volatility of a measure. No sane person would make important decisions on such a narrow set of data. The results need to be chewed over and consumed in moderation, as a nutritionist might suggest.
Hola chmeee
El pasaje que citas es duro, ¿eh? :) Eso sí, me parece bastante coherente… voy a localizar el libro que indicas (no lo conocía) y a destriparlo… para seguramente acabar estando de acuerdo con él :)
Saludos y gracias por la referencia!
Toni
Bueno, parece que la Banca tampoco tiene muy ajustados los métodos de cálculo del riesgo dadas las actuales circunstancias. Lo que si hacen es corrección de estimaciones, es decir, comprobar cómo se desvía lo previsto frente a lo producido. Es una manera de mejorar el modelo de predicción.
Además, en el caso que conozco, hay una penalización a los optimistas. Quiero decir que cuando se estima el riesgo operacional, se evaluan las medidas preventivas y si se indica que existe control y luego se recogen pérdidas, eso penaliza al evaluador por valorar mejor la realidad de lo que luego realmente se evidencia… y va a la cuenta de los objetivos del área y del responsable. Así se evitan las tentaciones de pintar las cosas distintas de la realidad y se ajusta mejor el modelo.
Yo estoy leyendo actualmente un par de libros de Psicología sobre la anatomía del miedo y estoy encontrando hechos sorprendentes sobre la manera de procesar la información que tiene nuestro cerebro cuando se trata de afrontar peligros. Vestigios de nuestra evolución que justifican algunas de las cosas que vemos en los procesos de recogidas de datos.
Espero pronto poder explicarlo en un extenso post aunque Schneier ya adelantó algo hace tiempo en uno suyo que podéis leer en castellano en http://www.seguridaddigital.info/index.php?option=com_content&task=view&id=162&Itemid=26
Una de las primeras afirmaciones es que el miedo ( y extrapolable al riesgo) es como un par de vasos comunicados donde uno es la evaluación del sujeto y el otro la situación real que se produce. En la parte subjetiva entran unos factores de percepción como son:
– si es un peligro controlable o no.
– si es previsible o imprevisible.
– si estamos ya protegidos o nos sentimos inseguros.
Estos son los hechos que producen a veces ciertas paradojas como que al tener más seguridad asumimos más riesgos y podemos correr más peligro.
Además, frente al miedo (como frente al riesgo) hay dos estrategias de enfrentamiento: la que va contra el problema y la que va contra la percepción del problema.
Al hilo de la credulidad del análisis de riesgos, uno de sus mayores detractores es Richard Bejtlich, hoy ha publicado en su blog esta noticia: http://taosecurity.blogspot.com/2010/02/thor-vs-clown.html
Por destacar algunos párrafos de una respuesta de Tim Mullen, al que cita, en una respuesta a un firme creyente en los métodos numéricos (c¿abalísticos?):
“when I see that you are actually contributing to ANY level of Critical Infrastructure Protection, it makes me fear for anyone who might be counting on your presumed skillset to actually make intelligent decisions about risk where human safety is at stake.”
“People like you are dangerous and need to be exposed before someone in a position of power actually believes that you know what you are talking about.”
Cuando leo esto no puedo dejar de acordarme del Sr. Mañas, su relación con el CCN y con el Esquema Nacional de Seguridad y su herramienta de análisis de riesgos ofuscados con caritas sonrientes.
Hola, una pregunta, alguién conoce bibliografía sobre el Método Mosler?, quién es o fué Mosler, en qué obrá se público por primera vez su método. Muchas gracias por su ayuda.