Frekvenční analýza

Frekvenční analýza je obecný postup, který lze použít během luštění několika různých druhů šifer. Ve frekvenční analýze typicky procházíme šifrový text a snažíme se najít nějaké podobnosti s jazykem, ve kterém je zpráva psaná.

Četnost písmen v českém textu

Jedním ze základních prostředků frekvenční analýzy je četnost znaků v daném jazyku. Pokud analyzujeme dostatečné množství českého textu, můžeme spočítat různé statistické informace, včetně toho, kolikrát se v těchto textech vyskytovala jaká písmena.

Protože jsem onehdá na uložto zakoupil asi pět tisíc česky psaných knih, provedl jsem nad nimi takovou analýzu. V těch pěti tisíc knihách se celkem vyskytovalo 1 404 443 151 písmen. Rozložení písmen (po odstranění diakritiky) ukazuje následující tabulka:

Následující tabulka pak ukazuje relativní četnost písmen:

Tabulka tak říká, že přibližně 9,58 % písmen ve všech knihách bylo písmeno „a“. Odtud můžeme odvodit, že v běžném českém textu bude přibližně 9,58 % písmen právě „a“.

Každá taková statistika bude ukazovat trochu jiné hodnoty, ale to nevadí — nejde ani tak o přesné hodnoty, ty stejně nejde zjistit, stačí přibližné hodnoty.

Odchylka četnosti písmen od četnosti písmen v jazyku

Známe-li očekávané relativní četnosti jednotlivých písmen v daném jazyku, můžeme spočítat odchylku nějakého textu od očekávaných hodnot. Pro příklad si vezměmě dva texty: „fhes dudy fqhup ijhecuc fhejepu eriqxkzu ahkpdysu“ a „proc neni parez stromem protoze obsahuje kruznice“. Na první pohled vidíme, že první text je nějaká hatlamatlatilka, zatímco druhá věta je český text. Spočítáme si odchylku — měla by vyjít tak, že odchylka prvního textu bude zásadně vyšší než druhého.

Nejprve si spočítáme výskyty písmen v jednotlivých textech:

Nyní vypočítáme odchylky. Ty vypočítáme tak, že odečteme relativní četnost písmene v jazyku od relativní četnosti v prvním textu a umocníme na druhou. Tzn., že pro písmeno „a“ a první text bychom odchylku získali jako

$$ (0.0232558 - 0.0958927)^2=0.0052761 $$

a podobně pro všechny ostatní písmena. Pokud myší najedete na buňku s výsledkem, zobrazí se i výraz, tkerým se k výsledku došlo.

Nakonec jsme všechny odchylky sečetly. Správně bychom ještě měli tuto hodnotu vydělit počtem písmen a následně odmocnit, abychom opravdu dostali odchylku. Ale tyto operace už nic nezmění na tom, že druhý text má odchylku výrazně nižší, takže je s mnohem větší pravděpodobností text českého jazyka.

Nejčastější slova jazyka

Občas se může hodit i seznam nejčastějších slov jazyka.