Jak rafinovaně filtrovat

Vzhledem k tomu, že v současné době 80 až 95 % veškerých internetových sdělení tvoří spam, phishing a e-mailoví červi, organizace jsou nuceny používat agresivnějších způsobů filtrování docházející pošty než kdykoliv předtím. Jakožto CIO musíte zajistit, aby systém filtrování elektronické pošty ve vaší organizaci neodfiltrovával spolu s plevami také zrno.

Protože ztráta legitimní e-mailové zprávy vás také může stát hodně. Stále více slýchám o obchodních příležitostech zmeškaných jen proto, že došla nečekaná e-mailová zpráva, která skončila v junk mail boxu nebo byla prostě tiše zlikvidována. Odesílatel se pak domníval, že příjemce nemá zájem, a přitom šlo jen o to, že zpráva nedorazila na místo určení. Legitimní pošta se naopak zastavovat nesmí. Takže i když CIO budou agresivně filtrovat, jde o to najít správnou kombinaci nástrojů a technik, které zabrání tomu, aby skutečné zprávy neskončily v koši na spam. Dnes už je sice k dispozici řada možností, podrobnější pohled na ně mě však vede k myšlence, že nakonec se jako nezbytný ukáže digitální podpis. Jedině ten snad dokáže zabránit tomu, aby se e-mail v důsledku zahlcení spamem nezměnil v nepoužitelný komunikační prostředek.

Míry zamítnutí

Existuje několik technických způsobů měření, které CIO může použít k vyhodnocení e-mailových filtrovacích systémů. Dva z nejběžnějších jsou označovány jako míry výskytu falešně negativních a falešně pozitivních případů.

Falešně negativní může být spam, který systém nechal projít, ačkoliv neměl; falešně pozitivní je zpráva, která byla zablokována, ačkoliv je oprávněná.

Bohužel neexistuje v této oblasti příliš mnoho spolehlivých zdrojů, o které se lze opřít. Částečně je tomu tak proto, že tato metrika je odlišná pro každého uživatele daného filtrovacího systému. Uživatel, který umístil svou e-mailovou adresu na populární on-line diskusi, dostane spoustu spamů, a zřejmě i různorodější typy, než někdo, kdo se svou on-line identitou zachází obezřetněji.

V důsledku toho onen první uživatel pravděpodobně zjistí, že skrze jeho filtry proniká větší počet zpráv, a proto bude pociťovat vyšší míru falešně negativních hlášení. Filtrovací systémy se navíc nechovají konzistentně. V jednom případě, o němž vím, jistý vědec z MIT odeslal dvě různé jednořádkové textové zprávy svému spolupracovníkovi v Evropě. Jedna z těchto zpráv skončila ve spamovém koši onoho spolupracovníka, druhá dorazila tam, kam měla. A teď: jak se vypořádat s takovouto nahodilostí?

Na začátku roku 2006 uveřejnila společnost s názvem Pivotal Veracity třiatřicetistránkovou studii o výskytu falešně pozitivních případů v antispamových systémech provozovaných třemi největšími poskytovateli webové pošty. Sama společnost Pivotal Veracity je e-mailová poradenská služba (více o ní si povíme později), což mohlo některé lidi vést k tomu, že k jejím výzkumům přistupovali poněkud skepticky. Metodologie této firmy však byla velmi dobrá a výsledky jsou zajímavé a důležité.

Provádění studie probíhalo následovně. Nejprve si výzkumníci společnosti Pivotal vytvořili internetové e-mailové účty u firem Google, Microsoft a Yahoo. Pak si napsali o e-mailové letáky stovky náhodně vybraných firem, neziskových organizací a vládních agentur. Pak v průběhu následujících šestí týdnů kontrolovali mailboxy a sledovali, zda zprávy od těchto odesílatelů končí mezi doručenými nebo ve spam boxu.

To, co činí tento typ studií obtížným, je skutečnost, že výzkumníci nevěděli, zda oslovené organizace skutečně e-maily posílají. Ve skutečnosti e-maily došly jen od 90 ze stovky organizací, od nichž se očekávaly. Mohlo tomu tak být proto, že ostatních 10 nikdy žádné e-maily neposílalo. Anebo také proto, že příchozí pošta byla posouzena jako natolik nebezpečná, že byla okamžitě vymazána, nikoliv odsunuta do spam boxu. Například někteří poskytovatelé e-mailů automaticky mažou útoky phishingu namířené proti klientům PayPal nebo Citibank.

Tyto útoky vypadají natolik autenticky, že když je uživatelé uvidí ve spamboxu, předpokládají, že antispamový software udělal chybu, a kliknou na ně. Takže poskytovatelé e-mailových služeb už preventivně brání tomu, aby se takové zprávy dostaly byť jen do spam boxu. Je dost dobře možné (s větší či menší mírou pravděpodobnosti), že tento druh agresivního filtrování by mohl vysvětlovat i oněch 10 chybějících letáků.

Společnost Pivotal tedy oněch chybějících 10 procent ignorovala a zjistila následující. E-maily od 54 procent legitimních odesílatelů pošty – skutečných firem, které byly osloveny a požádány o zaslání informací – byly nejméně v několika případech identifikovány jako spam a doručeny do junk mail boxu poskytovatele internetové pošty. To je ohromně vysoká míra výskytu falešně pozitivních případů! Ještě znepokojivější však bylo to, jak tyto počty vypadají při bližším rozboru.

Společnost Pivotal vyhodnotila efektivitu autentizačního systému odesílatelů elektronické pošty, tzv. Sender Policy Framework (SPF). SPF umožňuje organizacím, aby elektro­nicky uveřejňovaly IP adresy svých e-mailových serverů: antispamové systémy mohou pak odmítnout docházející poštu, pokud nepochází ze správného serveru. Citibank například zveřejňuje SPF záznam své domény Citibank.com, který definuje, že e-mail z této domény by měl pocházet z IP adresy začínající 192.193.195 nebo 192.193.210, jinak by tento e-mail měl být zamítnut. Teoreticky tak lze zabránit hackerovi v Jemenu, aby posílal e-maily, které se tváří, jako zpráva od Citibank – alespoň pomocí SPF může e-mailový filtr tento e-mail automaticky odhalit a zamítnout.

Pivotal ale objevil, že SPF nemá žádný vliv na to, zda e-mail bude identifikován jako spam. Zhruba 75 procent společností zařazených do průzkumu používalo SPF, ale neexistoval podstatný rozdíl mezi mírou falešně pozitivních případů u společností posílajících poštu s SPF a těmi, které tak nečinily.

Dalším znepokojivým zjištěním bylo vyhodnocení tzv. akreditačních e-mailových programů, jako jsou ty, které nabízí Truste nebo Bonded Sender. Tyto programy mají pomáhat firmám zlepšovat pravděpodobnost toho, že jejich pošta skutečně bude doručena. Pivotal ale zjistil, že společnosti, které používaly Truste nebo Bonded Sender, ve skutečnosti měly vyšší výskyt falešně pozitivních případů než ty, které tak nečinily – falešně pozitivní případy mělo 57 procent členů Truste a 55 procent uživatelů Bonded Sender, v porovnání s 53 procenty těch, kteří tyto programy nepoužívali.

Za toto hodnocení Bonded Sender a Truste se společnosti Pivotal dostalo jisté kritiky. Například jen 13 ze 100 společností, které Pivotal testovala, byly členy Bonded Sender. Pečeť Bonded Sender také ignoruje Gmail and Yahoo – ctí ji jen Hotmail. I když v tomto případě se může jednat o oprávněné připomínky ke studii, kritika sama jako by potvrzovala, že Bonded Sender a další podobné programy nejsou v dnešním e-mailovém prostředí nikterak ohromujícím způsobem významné. „Akreditace je určena pro ty odesílatele, kteří nemají žádnou pověst,“ říká Deirdre Bairdová, prezidentka Pivotal.

Dnes však většina antispamových systémů opírá své rozhodnutí ne o to, zda je odesílatel akreditován, ale o to, zda má určitou pověst. A pověst toho kterého odesílatele je stanovována podle toho, jak se uživatelé obvykle stavějí ke zprávám od něj. Tj. většina web e-mailových firem má tlačítko, které umožňuje příjemci „ohlásit spam“. Pokud hodně uživa­telů hlásí, že zprávy odesílané určitou společností jsou spam, pak je větší pravděpodobnost, že další zprávy od této firmy budou v budoucnu identifikovány jako spam.

Problém s uplatňováním tohoto filtrovacího přístupu k potírání spamu je ten, že důvody, proč uživatel kliká na ono tlačítko „ohlásit spam“, mohou být velice různé. Zpráva nemusí být vyloženě spam, ale uživatel může kliknout na toto tlačítko, protože prostě chce být odstraněn z mailing listu, na který se předtím nechal zapsat. A protože uživatelé jsou opakovaně napomínáni, aby na spam neodpovídali a neklikali na linky pro „odhlášení se“, je stisknutí tlačítka „ohlásit spam“ vlastně to jediné, co jim zbývá.

Společnost Pivotal se označuje jako Deliverability Service Provider; pracuje s organizacemi, které rozesílají e-mail, na tom, aby tyto zprávy a postupy byly koncipovány na míru, a zvýšila se tak šance, že se e-mail úspěšně dostane na místo určení. Například, jak říká Bairdová, Pivotal může spolupracovat s těmi, kdo navrhují e-mail, na zajištění toho, aby se HTML zprávy skutečně ověřovaly podle standardů specifikovaných institucí World Wide Web Consortium (u e-mailu s HTML, který se neověřuje, je vyšší pravděpodobnost, že bude označen jako spam). K dalším firmám v tomto oboru patří eDiagnostix, EnhanceRate, Piper Software a Return Path.

Jak dál

Ačkoliv je nyní mnoho možností, jak firmy mohou dosáhnout správného filtrování spamů, složitost a obtížnost této problematiky není pro CIO dobrá zpráva. Spam je téměř jistě na vzestupu a nepřátelskost hrozeb, které přicházejí po e-mailu, také určitě poroste. Pokud se ale naše systémy pro filtrování elektronické pošty nezlepší, budeme mít co do činění se zcela reálnou možností, že e-mail jakožto médium bude pro komunikaci ztracen – podobný osud potkal CB rádio v 70. letech. Na rozdíl od CB rádia však firmy i jednotlivci nyní na e-mailu závisejí. Pokaždé, když e-mail ztrácí na efektivnosti, přichází to draho nás všechny.

Obávám se, že jediný způsob, jak uspokojivě vyřešit problém spolehlivosti elektronické pošty, je, aby společnosti při odesílání pošty používaly standard S/MIME a své zprávy digitálně podepisovaly. Jakmile k tomu dojde, antispamové systémy mohou být upraveny tak, aby propouštěly poštu, která je podepsána odesílateli, o nichž je známo, že jsou legitimní.
Spameři mohou obsah svých zpráv přibližovat obsahu zpráv od legitimního odesílatele, jak chtějí, ale digitální podpis padělat nemohou. Takže digitálně podepsaná pošta zřejmě bude naší poslední a nejlepší šancí, jak zachránit e-mail.


---------
Oddělte dobré od špatného

Systémy filtrování elektronické pošty stojí před herkulovským úkolem oddělit špatnou poštu od dobré – a udělat to tak rychle, aby nedocházelo ke zdržování. Počítačoví vědci to označují za „rozpoznávací úlohu“ (recognition task) a konstatují, že filtrování elektronické pošty je jedním z nejnáročnějších takovýchto úkolů, jaké je si možno přestavit. Jeho obtížnost navíc každým dnem roste, protože „padouši“ své zprávy přizpůsobují, aby se co možná nejvíce podobaly normální poště. V případě, že systém propustí špatnou zprávu, může vás to přijít draho. Jediná phishingová zpráva, kterou se podaří propašovat jednomu z vašich klientů, může zkompromitovat vaše interní systémy. Ale dokonce i běžný spam vaše uživatele obtěžuje a navíc může vést k tomu, že zaměstnanci přehlédnou důležité zprávy. Spam je nutno zastavit.

Foto: Wikipedia, licence obrázku GFDL