LesezeichenAbonnierenRSS-Feed abonnieren
HendrikE
Calcite | Level 5

Hallo Kollegen,

 

ich möchte ein Modell mit der logistischen Regression auf folgender Datenbasis erstellen:

1 abhängige Variable (Zielmerkmal: reag)

31.500 unabhängige Variablen (viele, viele Einzelmerkmale zu einer Beobachtung)

200.000 Beobachtungen

 

Dafür habe ich folgenden Code verwendet:

proc logistic data=lib.mod_learn descending;
	model 	reag = %do i=1 %to 7; &&list&i.. %end; 
			/selection=stepwise fast slentry=0.05 slstay=0.05;
	ODS OUTPUT ModelBuildingSummary	= LR_S5_mvar;
	ODS OUTPUT ParameterEstimates	= LR_S5_mpara;
run; 
ods output close;

Die 31.500 unabhängigen Variablen werden mittels 7 Makrovariablen übergeben.

 

 

 

Ich erhielt folgende Fehlermeldung:

ERROR: Memory required by the hessian matrix exceeds the largest long integer.
ERROR: The SAS System stopped processing this step because of insufficient memory.
NOTE: There were 200000 observations read from the data set LIB.MOD_LEARN.
NOTE: PROCEDURE LOGISTIC used (Total process time):
      real time           7:55.82
      cpu time            5:52.62

 

Nun kann ich leider gar nichts damit anfangen, daher die Bitte an Euch, mich zu unterstützen:

-- Wie kann ich meinen Code umstellen, damit das Modell durchläuft und die entsprechenden Modellparameter-Dateien ausgegeben werden?

-- Oder wie kann ich Speicher für das Modell freigegeben? Anscheinend scheint dieser ja zu fehlen.

-- Oder welchen Code bzw. welche Methode für die LR würdet Ihr verwenden bei so vielen Merkmalen?

 

Mit weniger unabhängigen Variablen hatte ich nie Probleme ;-).

 

Danke vorab und schönes Wochenende,

Hendrik

2 ANTWORTEN 2
RedDwarf
Calcite | Level 5
Ich würde an Deiner Stelle die Anzahl der Prädiktoren zusammendampfen.

1. Kriterium: Eine von Dir festzulegenden bivariate Korrelation mit dem
Target.
Alle Prädiktoren, die darunter liegen, fliegen raus.

2. Kriterium: Sind die Prädiktoren überhaupt befüllt?
Nur die verwenden, die einen Mindest-Befüllungsgrad haben.

Dieses Vorgehen kann helfen, das Feld der infragekommenden "Kandidaten"
auszudünnen.


##- Please type your reply above this line. Simple formatting, no
attachments. -##

sas-innovate-2024.png

Join us for SAS Innovate April 16-19 at the Aria in Las Vegas. Bring the team and save big with our group pricing for a limited time only.

Pre-conference courses and tutorials are filling up fast and are always a sellout. Register today to reserve your seat.

 

Register now!

Diskussionsstatistiken
  • 2 Antworten
  • 964 Aufrufe
  • 0 Kudos
  • 3 in Unterhaltung