Proč dělat crash testy chytrých zařízení?

Chytrá zařízení bezesporu přinášejí řadu vylepšení a výhod. Ať již jde o chytré telefony, domácnost nebo vozidla. Stáváme se však závislými na algoritmech, kterým plně nerozumíme a neumíme je kontrolovat. Přenecháváme jim rozhodnutí, co jíst, kdy jít k lékaři nebo jak se učit.

Člověk je tvor nedokonalý a chytré algoritmy odvádějí v některých případech lepší práci než lidé. Stáváme se tím ale velmi zranitelní, a to může mít nedozírné následky. Ostatně už dnes je známá řada skandálů týkající se ovlivňování voleb a veřejného mínění.

Nyní se chystáme podobné nástroje využít pro řízení vozidel či celých měst. Jakým způsobem testujeme, zda jsou tato řízení bezpečná? Jsme si jisti, že jsou zabezpečená proti úniku citlivých informací? Jak testujeme, že jejich použití nezpůsobí škody na majetku či zdraví osob?

Zneužití citlivých dat

Alfou a omegou úspěchu chytrých algoritmů jsou vstupní data. Obecně platí, že čím větší datovou sadu má algoritmus k dispozici, tím spolehlivější a přesnější jsou jeho výsledky. Systémy využívající chytré algoritmy se proto snaží vytvářet obsáhlý datový sklad. Pokud je zanedbána bezpečnost, plynou z toho rizika pro soukromí uživatelů ve vztahu B2C, B2B, G2B či G2C a vice versa.

Tento problém lze řešit distribuovanými algoritmy, které umožňují provést trénování přímo na zařízeních uživatelů a přenášejí se pouze parametry modelu. To však ochranu dat řeší pouze částečně. Parametry modelu jsou totiž de facto jejich otiskem. Při znalosti architektury modelu a trénovacích postupů lze reverzním procesem získat z modelu informace o vstupních datech. Byť většinou nelze zpětně extrahovat jednotlivé podrobnosti, můžeme takto získat poměrně přesnou představu o chování daného uživatele.

Škody způsobené chybou algoritmu

Za chytrá řešení platíme daň v podobě (ne)transparentnosti použitých algoritmů. Zpravidla je složité, ne-li nemožné, zjistit, proč se určitý algoritmus zachoval tak, jak se zachoval. Před lety zveřejnil Microsoft na platformě Twitter konverzační systém, který fungoval tak, že se průběžně učil z reakcí uživatelů fráze a témata. Na Twit­teru se však našli škodolibí lidé, kteří naučili systém nadávat a propagovat nacistickou ideologii. Microsoft neměl možnost kontrolovat rozhodnutí systému, a proto nezbylo než ho stáhnout.

Chytré algoritmy rovněž mohou mít zranitelnosti, o kterých jejich autoři nevědí. Například systém na čtení dopravních značek bylo možné pomocí samolepky, které si běžný řidič ani nevšiml, přesvědčit, že maximální povolená rychlost je 80 místo skutečných 30 km/h. Následky v takovém případě mohou být věru horší než jen pokuta za překročení povolené rychlosti. Je tedy vždy třeba citlivě volit mezi výkonem a komfortem systému na jedné straně a bezpečností a udržením kontroly na straně druhé.

Samotný algoritmus je jen střípek skládačky

Vlastní algoritmus je jen nepatrnou součástí chytrého zařízení. V případě zařízení, jako je třeba vozidlo, se bavíme o desítkách algoritmů, které vyhodnocují data ze stovek různých čidel. Takto složitý systém je bezpečný tak, jak je zabezpečena jeho nejslabší část. Kolik výrobců automobilů například fyzicky odděluje palubní infotainment od řídicí jednotky a zabezpečuje komunikaci automobilu s řídicím střediskem proti MITM útoku?

Již před více než deseti lety byly pomocí Stuxnetu napadeny provozní systémy jaderného zařízení, aniž si toho cíl všiml. V současné době jsme například svědky útoků na informační systémy nemocnic, a to je jen viditelná špička ledovce. 

Při implementaci chytrých algoritmů do jakéhokoliv produktu musíme přehodnotit zavedený přístup k průmyslovému designu. Zmínil jsem crash testy chytrých zařízení. Samozřejmě řešit problémy až v okamžiku, kdy crash test ukáže, že zařízení není bezpečné, by bylo příliš drahé. Bezpečnost je potřeba řešit v celém průběhu životního cyklu produktu. Od návrhu přes výrobu a testování až po provoz a bezpečnou likvidaci. Ano, i likvidaci, zejména s ohledem na možné zneužití dat, která byla posbírána během let provozu.

Na co se zaměřit? Naštěstí existují zavedené postupy, jak bezpečnost řešit – od analýzy rizik přes systémový návrh, změnové řízení až po provozní monitoring a řízenou skartaci dat. Pokud kybernetická bezpečnost chytrých zařízení není vaší doménou, obraťte se na TOVEK, případně jiné firmy, které se touto problematikou dlouhodobě zabývají.