Többféle szervezeti felépítés volt, mivel a második világháború került szóba, én az 1939-től érvényes egyenruhákban és felosztásokban gondolkodom. Az RSHA-t 1939 szeptemberében hozta létre Heinrich Himmler Reichsführer-SS und Chef der Deutschen Polizei, és Heydrich CSSD (Chef der Sicherheitspolizei und des SD), utóbbi lett a vezetője. A Sicherheitspolizei (biztonsági rendőrség, ide tartozott az RSHA V. főosztálya, a Kripo azaz Kriminalpolizei, magyarul bűnügyi rendőrség, és a Gestapo is) mellett egyéb szervezetek is ide sorolódtak (pl. a belső és külső polgári titkosszolgálatok, amik az SD, azaz az SS egyik része alá tartoztak), meg adminisztratív és technikai részlegek is tartoztak hozzá. Az itt dolgozók vagy az SD, vagy a rendőrség tagjaiként voltak itt, ez az intézmény nem az Allgemeine SS-hez tartozott, bár kétségtelenül sok tagja, vezetője tagja, ill. vezetője volt egyúttal az A. SS-nek is.

Lényegében, pongyola megfogalmazásban, mondhatjuk azt, hogy az SS-hez tartozott az egész (és mivel a rendőrség is SS, bizonyos értelemben igazunk is lesz), de ha már megkülönböztetjük az Allgemeine SS-t, akkor azért igaziból ez nem ahhoz tartozott. A koncentrációs táborok őrszemélyzete meg kimondottan a Waffen-SS-hez tartozott (és egyébként a frontról gyakran csoportosították át őket, pl. lábadozó sebesülteket gyakran vezényeltek őrségbe), míg igazgatásilag az SS-Wirtschaftsverwaltungshauptamt alá tartozott.