Thema "Betreff: Anonymisierung der Kennnummer" in CoDe SAS German

Anonymisierung der Kennnummer

Katrin11 — Thu, 25 Jul 2019 07:33:56 GMT

Hallo zusammen,

mein Datensatz sieht folgendermaßen aus:

Kennnummer

2541212354
215454865
1356898
35415sto54545
35415sto54545
35415sto54545
52s4121s21

Diese Variable ist alphanumerisch und kann bis zu 25 Stellen lang sein.

Die Kennnummer soll nun in ein 8-stelliges numerisches Feld umgewandelt werden. Dazu möchte ich die Datensätze von 1 an durchnummerieren. Da die gleiche Kennnummer mehrfach vorkommen kann, sollten diese natürlich die gleiche anonymisierte Kennnummer bekommen.

Das Ergebnis des Beispiels sollte so aussehen:

Kennnummer AnonymeKennnnummer

2541212354                              1
215454865                                2
1356898                                    3
35415sto54545                         4
35415sto54545                         4
35415sto54545                         4
52s4121s21                              5

Vielen Dank für Eure Mühen im Voraus.

Viele Grüße

Katrin

Betreff: Anonymisierung der Kennnummer

Patrick — Thu, 25 Jul 2019 07:58:01 GMT

Sortiere den Datensatz nach Kennnummer.

Dann in einem data step benutze syntax wie:

.....
by kennnummer;
retain anonyme_kennnummer;
if first kennnummer then anonyme_kennnummer+1;
....

Re: Anonymisierung der Kennnummer

andreas_lds — Thu, 25 Jul 2019 07:48:34 GMT

+1 Weil ich den Reply-Button verfehlt habe 😉

Wenn du die Daten nicht sortieren kannst/willst könnte auch dieses Problem mit einem Hash-Objekt oder einem Format gelöst werden.

data annonym;
   set basis;

   length AnonymeKennnnummer naechsteNr 8;
   retain naechsteNr 1;
   drop naechsteNr;

   if _n_ = 1 then do;
      declare hash h();
      h.defineKey('Kennnummer');
      h.defineData('AnonymeKennnnummer');
      h.defineDone();
   end;

   if h.find() ^= 0 then do;
      AnonymeKennnnummer = naechsteNr;
      naechsteNr = naechsteNr + 1;
      h.Add();
   end;
run;

Und, ja, ich würde eher den Vorschlag von @Patrick umsetzen.

Re: Anonymisierung der Kennnummer

Patrick — Thu, 25 Jul 2019 07:56:17 GMT

@andreas_lds

Und hier als eine Variante:

data annonym;
  set basis;
  length AnonymeKennnnummer 8;

  if _n_ = 1 then
    do;
      declare hash h();
      h.defineKey('Kennnummer');
      h.defineData('AnonymeKennnnummer');
      h.defineDone();
    end;

  if h.find() ^= 0 then
    do;
      AnonymeKennnnummer= h.num_items + 1;
      h.Add();
    end;
run;

Betreff: Anonymisierung der Kennnummer

Kurt_Bremser — Thu, 25 Jul 2019 08:00:05 GMT

Oder man baut ein Informat:

data have;
input kennnummer $25.;
datalines;
2541212354
215454865
1356898
35415sto54545
35415sto54545
35415sto54545
52s4121s21
;

proc sort
  data=have
  out=sorted (rename=(kennnummer=start))
  nodupkey
;
by kennnummer;
run;

data cntlin;
set sorted;
retain
  type 'I'
  fmtname 'kennnummer'
;
label = _N_;
run;

proc format cntlin=cntlin;
run;

data want;
set have;
anonym = input(kennnummer,kennnummer.);
run;

proc print data=want noobs;
run;

Ergebnis:

kennnummer       anonym

2541212354          3  
215454865           2  
1356898             1  
35415sto54545       4  
35415sto54545       4  
35415sto54545       4  
52s4121s21          5

Betreff: Anonymisierung der Kennnummer

Christine2 — Thu, 25 Jul 2019 11:17:10 GMT

Hallo Katrin,

musst Du die anonyme Kennnummer nur einmalig vergeben oder öfter?

Wenn Du z.B. heute einen Satz mit Kennnummern bekommst und morgen einen neuen Satz mit Kennnummern bekommst, sollen dann die anonymisierten Kennnummern auch eindeutig sein?

Falls ja bietet es sich an, dass Du Dir die Übersetzungstabelle abspeicherst. Mit deiner Kennnummer kannst Du dann nachschauen, ob Du schon eine Übersetzung kennst und die liefern. Ansonsten zählst Du das Maximum um 1 hoch, trägst es in die Tabelle ein und lieferst das Ergebnis.

Sobald ich meinen Gedanken mal gecoded habe poste ich Dir auch das Beispiel hier.

Schönen Gruß

Christine

Betreff: Anonymisierung der Kennnummer

Christine2 — Thu, 25 Jul 2019 11:29:54 GMT

Beim Versuch das zu implementieren ist mir aufgefallen, dass es doch ein wenig komplizierter wird als im ersten Anlauf gedacht.

Von daher ignorier meinen Einwand falls Du nicht bei jedem Lauf das Gleiche Ergebnis brauchst.

Betreff: Anonymisierung der Kennnummer

Christine2 — Thu, 25 Jul 2019 11:40:13 GMT

Zur Vollständigkeit aber doch noch der Code, leider quick und dirty:

data have;
input kennnummer $25.;
datalines;
2541212354
215454865
1356898
35415sto54545
35415sto54545
35415sto54545
52s4121s21
;

data bekannt;
	length kennnummer $25 anonyme_id 8;
	stop;
run;

proc sort data=have out=have_tmp nodupkey;
	by kennnummer;
run;


proc sql;
	create table fehlen as 
	select a.kennnummer 
	from have_tmp a left join 
		   bekannt b
	on a.kennnummer = b.kennnummer and b.kennnummer = ' ';
quit;

data bekannt(drop= id_max);
	set bekannt (in=a)
			fehlen (in=b);
	retain id_max 0;
	if a then do;
		id_max = anonyme_id;
	end;
	if b then do;
		id_max +1;
		anonyme_id = id_max;
	end;
run;

data Daten_mit_Kennung(drop= rc);
	set have;

	if _N_ = 0 then 
		set bekannt;
	if _N_ = 1 then do;
		declare hash h(dataset:'bekannt');
		rc = h.defineKey('Kennnummer');
		rc = h.defineData('anonyme_id');
		rc = h.defineDone();
	end;

	rc = h.find();
run;

Betreff: Anonymisierung der Kennnummer

Patrick — Thu, 25 Jul 2019 11:53:18 GMT

@Christine2 schrieb:

Beim Versuch das zu implementieren ist mir aufgefallen, dass es doch ein wenig komplizierter wird als im ersten Anlauf gedacht.

Von daher ignorier meinen Einwand falls Du nicht bei jedem Lauf das Gleiche Ergebnis brauchst.

Nicht getestet sollte aber funktionieren fuer mehrfache Laeufe.

%macro uebersetzung(tabelle);
  %if (%eval(%sysfunc(exist(&tabelle, DATA)) eq 0) %then
    %do;
      /* if table does not exist  */
      data &tabelle;
        stop;
        set basis(keep=Kennnummer);
        length AnonymeKennnnummer 8;
        format AnonymeKennnnummer 32.;
      run;

    %end;
%mend;
%uebersetzung(work.AnonymeKennnnummern);

data annonym;

  set basis end=last;

  if _n_ = 1 then
    do;
      if 0 then set work.AnonymeKennnnummern;
      declare hash h(dataset:'work.AnonymeKennnnummern');
      h.defineKey('Kennnummer');
      h.defineData('AnonymeKennnnummer');
      h.defineDone();
    end;

  if h.find() ^= 0 then
    do;
      AnonymeKennnnummer= h.num_items + 1;
      h.Add();
    end;

  if last then
    h.output(dataset:'work.AnonymeKennnnummern');
run;

Betreff: Anonymisierung der Kennnummer

Christine2 — Thu, 25 Jul 2019 12:34:05 GMT

Ich merke immer wieder, dass ich Hashs noch mehr einsetzen sollte als bislang.

Danke

Christine

Betreff: Anonymisierung der Kennnummer

Kurt_Bremser — Thu, 25 Jul 2019 12:44:24 GMT

Maxim 51.

😉

Betreff: Anonymisierung der Kennnummer

Patrick — Thu, 25 Jul 2019 15:33:12 GMT

Mein klarer Favorit ist Maxim 52

Betreff: Anonymisierung der Kennnummer

mfab — Sat, 27 Jul 2019 07:31:34 GMT

Hier stellt sich mir die Frage, inwieweit wirklich "anonymisiert" wird, bzw. werden soll.

Meiner Ansicht nach wird durch die Vergabe einer neuen Nummer lediglich pseudonymisiert.

Interessant wäre auch, wie der neue Wert weiter verwendet werden soll; also ob Lesbarkeit, Plattenplatz beim Speichern, Performance bei weiteren Joins, etc. eine Rolle spielt.

Ggf. reicht ansonsten einfach ein Hash (MD5, SHA256, ...)?!

data want;
set have;
pseudo_kennnummer = sha256(kennnummer);
/* format pseudo_kennnummer $hex64.; */
run;

😉

Betreff: Anonymisierung der Kennnummer

Kurt_Bremser — Sat, 27 Jul 2019 07:55:47 GMT

Die momentan beste und "deppensicherste" Methode ist es (IMO), eine UUID zu verwenden. Das braucht 16 Bytes Speicherplatz und sorgt mit ziemlicher Sicherheit (weil Kennzeichen des generierenden Computers eingearbeitet werden) für weltweite Eindeutigkeit.

Man kann aber auch in einer Zahl mit 8 Byte Timestamps mit Genauigkeit auf Mikrosekunden-Ebene speichern, das haben die Datenbanken vor der Einführung der UUID als Keys verwendet.

Wenn es um Platz geht, kann man aber einfach eine laufende Nummer verwenden, und die Länge der Variablen nach der erwarteten maximalen Anzahl wählen, das ist dann wohl am effizientesten.

Betreff: Anonymisierung der Kennnummer

mfab — Sat, 27 Jul 2019 08:42:52 GMT

Guter Hinweis mit der UUID!

So wie ich verstanden hatte, kommen die Kennnummern auch mehrfach im Dataset vor. Daher war mein Gedankengang, dass man mit einer Hash-Funktion ohne Sortierung in einem Dataset immer die gleiche Ergebnisvariable erhält. Da würde normalerweise auch ein Hash-Objekt ausreichen, allerdings liefert die Hash-Funktion auch bei weiteren Datasets mit der gleichen Kennnummer das gleiche Ergebnis ohne zusätzliche Verarbeitungsschritte.

Wie gesagt, kommt es aus meiner Sicht auf die weitere Verwendung an, welche Methode idealerweise gewählt wird.

Betreff: Anonymisierung der Kennnummer

MarkusPriller — Mon, 29 Jul 2019 07:58:22 GMT

Grundsätzlich muss unterschieden werden zwischen Anonymisierung und Pseudonymisierung.

Für die definitive Anonymisierung wird meistens die Verwendung von Einwegverfahren verwendet.

Auf älteren SAS-Versionen kann z.B. diesbezüglich das MD5-Verfahren verwenden bzw. auf neueren SAS-Versionen z.B. SHA256-Verfahren.

Da die Krypto-Einwegverfahren für denselben Klartextwert (z.B. Kennzahl, Steuernummer usw.) auf allen Systemen immer dasselbe Krypto-Ergebnis liefern, empfehle ich zum Klartextwert ein Passwort als Wert hinzuzufügen.

Das Passwort darf nicht hardcoded bzw. in Klartext im SAS-Code aufscheinen bzw. über das SAS-Programm direkt einsehbar sein und darf auch nicht im SAS-LOG aufscheinen.

Dies kann man z.B. erreichen durch Verwendung von Secure-Protected-Macros bzw. durch Abfrage des Passwortes über ein Eingabefenster zur Laufzeit des SAS-Programmes usw. und durch Deaktivierung und Aktivierung einiger SAS-Systemvariablen für das SAS-Log.

Z.B.:

%macro set_off_option_pw;

%global sav_symbolgen sav_macrogen;

%let sav_symbolgen=%sysfunc(getoption(symbolgen));

%let sav_macrogen=%sysfunc(getoption(macrogen));

options nosymbolgen NOMACROGEN;

%mend set_off_option_pw;

%macro set_on_option_pw;

options &sav_symbolgen &sav_macrogen;

%mend

set_on_option_pw;

/*Beispiel Secure-Macro zum Lesen der Passwörter*/

%macro read_pw()/store secure DES="Lese Passwort";

options nonotes nomlogic nomprint nosymbolgen nosource nosource2;

/*SAS-Code – Passwort kann z.B. aus einer passwortgeschützten SAS-Datei gelesen werden und mit PWENCODE zusätzlich kryptografiert werden usw.*/

%mend;

Für die Anonymisierung kann man z.B. MD5 bzw. besser SHA256 zusammen mit einem Passwort verwenden:

/*PS.: Das Passwort sollte im SAS-Hauptprogramm nicht ungeschützt kodiert sein.

Nachfolgender Code gilt daher nur als Beispiel:

/*proc pwencode in='Passwort1';*/

/*run;*/

%global pw_passwort;

%let pw_passwort = {sas002}6FE4B62647E0E59721B8CAD454D1AD9D;

data want;

length ano_kennnummer $32;

set have;

ano_kennnummer =put(md5(cat("&pw_passwort.",kennnummer)),$hex32.);

run;

🙂