Wie Sie Sicherheitsanbieter richtig evaluieren

Mike Manrod kennt als erfahrener CISO den Wert einer guten Evaluierung von Cybersecurity-Anbietern. In einem seiner früheren Jobs hatte der Manager von seinem Vorgänger extrem teure Vaporware in Form einer "innovativen" Beta-Plattform für Identity & Access Management "geerbt". Leider hatte sich besagter Vorgänger eine Analyse des Produkts gespart und sich stattdessen auf die Versprechen des Anbieters verlassen, die dieser nicht ansatzweise einhalten konnte.

Das Thema beschäftigt den CISO allerdings auch bei seinem aktuellen Arbeitgeber, dem US-Bildungsdienstleister Grand Canyon Education: Dort beauftragte er vor kurzem sein Team damit, ein "brillantes" Web-Application-Security-Produkt eines Startups zu evaluieren. Im Rahmen der Tests stellte sich dann heraus, dass es um die "Brillanz" nicht allzu gut bestellt war - die Client-seitige Validierung war kinderleicht zu umgehen. Die Anbieterevaluierung konnte Manrods Unternehmen also vor einem teuren Fehler bewahren.

"Sicherheitsverantwortliche, die unfertige Produkte kaufen, haben die Folgen selbst zu verantworten, wenn keine Evaluierung stattfindet", kommentiert der Manager. "Ein ausgereiftes Evaluierungsprogramm beginnt mit einem klaren Verständnis über das Problem und der zugehörigen Lösungen. Ein unausgereifter Ansatz wäre hingegen, einem Produkt ohne klaren Geschäftsbedarf nachzujagen, das auf einer Konferenz zufällig ins Auge gefallen ist." Ein ausgereiftes Evaluierungsteam kenne und prüfe eine breite Palette von Lösungen und arbeite sich dann Schritt für Schritt zu den Lösungen vor, die die vom Unternehmen definierten Anforderungen erfüllten, ist Manrod überzeugt und ergänzt: "Ausgereifte Unternehmen verlassen sich dabei auch lieber auf Testing, statt den Marketing-Sprüchen der Anbieter unreflektiert Glauben zu schenken."

"Anbieter legen keinen Wert auf Kritik"

Die wichtigsten Merkmale eines ausgereiften Evaluierungsprogramms - standardisierte Bewertungsformate und wiederholbare Prozesse - sind auf Branchenebene so gut wie nicht vorhanden. Für die Kunden bedeutet das, für jede neue Lösung, die Sie in Erwägung ziehen, eigene Checklisten und Spreadsheets entwickeln müssen. Das führe sowohl auf der Käufer- als auch auf Verkäuferseite zu Schwierigkeiten, meint Chenxi Wang, Cybersecurity-Experte und Managing General Partner beim Venture-Capital-Unternehmen Rain Capital, das derzeit 13 Cybersecurity-Startups finanziert. "Es gibt keinen universellen Rahmen, um Sicherheitsanbieter zu evaluieren. Das sorgt für jede Menge repetitive Tasks auf Kundenseite. Ein allgemeingültiges Framework würde auf Anbieterseite auch dabei helfen, zu wissen, welche Prioritäten im Sinne der Kunden zu setzen sind - und wie man diese bestmöglich kommuniziert."

Dass so ein Rahmenwerk derzeit nicht existiert, schreibt Simon Edwards, Gründer des britischen Security-Evaluierungs-Dienstleisters SE Labs, auch dem Widerstand von Anbietern und Testern zu: "Die Anbieter legen keinen Wert auf Kritik, weil das möglicherweise Kunden kostet. Die Tester empfinden einen solchen Standard im Allgemeinen als einschränkend, was ich grundlegend anders sehe. Ein Punkt, der noch hinzukommt: Es ist wirklich schwierig, Sicherheitsprodukte auf Herz und Nieren zu testen, weil es so viele Arten von Lösungen für ein einziges Problem gibt und die Produkte auf vielfältige Weise konfiguriert und eingesetzt werden können."

Geht es nach Edwards, beginnt ein ausgereifter Evaluierungsprozess mit der Abstimmung zwischen Unternehmen und Produkt: "Anti-Virus-Lösungen für Bankautomaten sind eher auf die Compliance ausgerichtet, während die für Arbeitslaptops vor allem Schutz vor Bedrohungen wie Phishing bieten sollen. Das sollte in der Anforderungsphase einer Evaluierung klar herausgestellt werden."

Adrian Sanabria, Director of Product Management beim Supply-Chain-Risk-Management-Anbieter Tenchi Security, geht d'accord und ergänzt, dass diese Analyseebene auch bei der Formulierung der Fragen zur Bestimmung der Anbietertypen helfe: "Das kann wiederum Aufschluss darüber geben kann, wie gut der Anbieter die Bedürfnisse des Unternehmens erfüllt. Sie sollten sich diesbezüglich folgende Fragen stellen: Ist die Software die Lösung für die zuvor identifizierten Probleme? Entlastet sie dabei das Sicherheitsteam oder erfordert sie neue Skills und schafft so zusätzliche Arbeit?"

Sanabria selbst richtet die Evaluierungsanforderungen und die daraus resultierenden KPIs unter anderem am zu erwartenden Aufwand, der Interoperabilität, Integration, Zuverlässigkeit und der Time-to-Value aus.

Sie wollen weitere interessante Beiträge rund um das Thema IT-Sicherheit lesen? Unser kostenloser Newsletter liefert Ihnen alles, was Sicherheitsentscheider und -experten wissen sollten, direkt in Ihre Inbox.

Jetzt CSO-Newsletter sichern

Vorhandene Standards nutzen

Obwohl es keine standardisierten Methoden und Prozesse für die Bewertung von Cybersecurity-Anbietern gibt, verwenden ausgereifte Programme branchenweit anerkannte Standards und Frameworks, um Anforderungen festzulegen und auf dieser Grundlage Tests durchzuführen. Edwards' Unternehmen SE Labs nutzt beispielsweise den Testprotokollstandard AMTSO und sogenanntes "Full Attack Chain Testing" (das über das MITRE ATT&CK-Framework hinausgeht) für Anti-Malware-Lösungen.

"Die frühzeitige Entscheidung für ein Framework ist wichtig, um die geschäftlichen und technischen Ziele aufeinander abzustimmen", weiß CISO Manrod. "Dieser Prozess beginnt nicht erst mit der Auswahl eines Anbieters. Er beginnt mit einer Strategie, die sich auf ein Rahmenwerk wie MITRE ATT&CK stützt. Wenn Sie versuchen, Cyberangriffe zu verhindern, müssen Sie genau ermitteln, was Ihre Umgebung braucht. Das führt Sie zu Ihrer Produktkategorie. Ihre funktionalen Anforderungen werden durch Ihr Angriffs- und Verteidigungssystem definiert und dann auf die genaue Aufgabe abgestimmt, die das Produkt erfüllen soll."

Weitere Frameworks, die ausgereifte Unternehmen bei ihren Evaluierungen unterstützen können, sind beispielsweise NIST CSF, ISO oder SOC 2. Die beiden letztgenannten Standards werden beispielsweise häufig von der Unternehmensberatung Deloitte herangezogen, um Sicherheitsanbieter zu bewerten: "Diese Anfragen kommen in der Regel von risikoscheuen, international agierenden Kunden aus Branchen wie dem Energie- und Finanzsektor", offenbart Sharon Chand, Secure Supply Chain Leader bei der Deloitte Cyber Risk Group. "Frameworks wie diese berücksichtigen verschiedene Sicherheitsbereiche. Diesen Bereichen Bewertungen zuzuordnen, hilft dem Unternehmen dabei, auf die gewünschten Ergebnisse zu fokussieren."

Security-Anbieter auf dem Prüfstand

Ausgereifte Evaluierungsprogramme bieten auch die Möglichkeit, die Stabilität eines Anbieters zu bewerten, unterstreicht IT-Experte Richard Steinnon, der für das "Security Yearbook 2022" satte 2.800 Security-Provider analysiert hat: "Sitzt der Anbieter in einem Land, das zum politischen Brennpunkt wird, könnte es zu Serviceunterbrechungen kommen. Ein Anbieter sollte zudem Wachstum vorweisen können. Sie tun also gut daran, Investorenberichte einzusehen, den Hintergrund der Gründer oder des CEOs zu recherchieren und sich mit Kollegen zum Thema kurz zu schließen."

Eine Anbieter-Attestierung ist ebenfalls Teil eines ausgereiften Evaluierungsprozesses. Ian Poynter, vCISO bei Kalahari Security und in Sachen Cybersecurity-Evaluierung erfahrener Experte, erklärt, worauf bei diesem Teilprozess zu achten ist: "Die Attestierung läuft auf Fragen und Antworten hinaus. Bei einem unserer aktuellen Kunden haben wir mit einer Liste von dreißig Anbietern in diesem Bereich begonnen. Wir haben die Liste auf drei Anbieter eingegrenzt und dann eine lange Liste von Fragen an diese geschickt."

Dabei würde die Art und Weise, wie die Anbieter auf die Fragen antworten, immer auch Rückschlüsse auf den Provider zulassen, meint der Security-Manager: "Wenn die Hälfte der Fragen unbeantwortet bleibt, deutet das darauf hin, dass das Produkt entweder nicht den Standards entspricht oder der Anbieter als Dienstleister nicht ansprechbar ist. Wenn das bei mehreren Anbietern der Fall ist, könnte das darauf hindeuten, dass die Vorstellungen des Käufers nicht mit dem übereinstimmen, was die Produkte leisten können."

Wie Sanabria ergänzt, verfügen ausgereifte Anbieter-Bewertungsprogramme auch über Verfahren, um die Wirksamkeit von Sicherheitsprodukten zu überprüfen. Wie tiefgehend dabei vorgegangen wird, hänge davon ab, wie kritisch der zu erwerbende Security-Service ist: "Wenn es sich um kritische Bereiche handelt, sollten die Tests über funktionale Anforderungen hinaus gehen und etwa auch Red-Team-Testing umfassen."

Laut Manrod haben ausgereifte Unternehmen die genannten Fähigkeiten etwa intern zur Verfügung oder verschaffe sich über Drittanbieter Zugang zu Testing-Fähigkeiten. "Der Schlüssel zu einer ausgereiften Anbieterevaluation liegt darin, unter Ihren Bedingungen mit Ihren tatsächlichen Anwendungsfällen zu testen. Nur so können Sie sicherstellen, dass das Produkt auf Ihre Strategie einzahlt - oder nicht. Das ist sowohl die Kosten als auch den Aufwand wert." (fm)

Dieser Beitrag basiert auf einem Artikel unserer US-Schwesterpublikation CSO Online.