topic Re: Proc GMAP after proc GAM in Statistical Procedures

Proc GMAP after proc GAM

jonathanch — Sun, 10 Aug 2014 17:36:31 GMT

Good afternoon,

I'd like to know how could we use proc GMAP after proc GAM ?

I've looked this ressource:

http://www.sas.com/offices/NA/canada/en/resources/asset/McGahan-Maps.pdf

I didn't manage to execute a corectly program...

Thanks a lot for your help.

Re: Proc GMAP after proc GAM

PGStats — Sun, 10 Aug 2014 19:20:33 GMT

Please post the code you tried with some test data. - PG

Re: Proc GMAP after proc GAM

jonathanch — Mon, 11 Aug 2014 12:21:55 GMT

Ok thanks for advice me.

I'm working on a insurance data. This proc gam is an example with partial variables.

I have:

-geospatial variables such as longitud,lattitud, postal code...

-comportemental variables

-frequency of claims

-cost of claims

-exposure

I downloaded and imported the file FRANCE.shp.

I don't know how can I integrate my geospatial variables in PROC GAM...

I don't manage to make the link between PROC GAM and PROC GMAP.

My code:

%let geospatial=longitud lattitud postal_code;

PROC GAM DATA = ins.test;

MODEL nombre = spline(ageconducteur) &geospatial / dist = Poisson;

OUTPUT OUT=gam p uclm lclm PREDICTED;

RUN; QUIT;

PROC SORT DATA = gam NODUPKEY; BY ageconducteur; RUN; QUIT;

proc print data=gam;run;

DATA gam;

SET gam;

pred_nombre_gam = exp(P_nombre);

KEEP ageconducteur pred_nombre_gam &geospatial;

RUN;

*Import shp map;

proc mapimport out=commune datafile="C:\Users\roger\Documents\PROJET MJG\carto\GEOFLA\COMMUNES\commune.shp";

run;

data commune;

set commune;

cv=strip(CODE_DEPT!!CODE_CANT);

arr=strip(CODE_DEPT!!CODE_ARR);

rename CODE_DEPT=ID INSEE_COM=CODGEO X_CENTROID=X Y_CENTROID=Y;

*annotate;

DATA departement_anno ;

SET dep;

RETAIN xsys ysys "2" size 4 color "white" text "" function='label' when "after";

BY ID SEGMENT ;

IF FIRST.SEGMENT then function = "MOVE" ;

ELSE function = "DRAW" ;

keep id xsys ysys size color function x y text when;

RUN ;

run;

*proc gmap;

proc gmap data=??? map=commune_epci annotate=departement_anno GOUT=MAPCHART ;

id CODGEO;

choro ???/ WOUTLINE=1 levels=5;

run;

Re: Proc GMAP after proc GAM

PGStats — Tue, 12 Aug 2014 02:27:52 GMT

What do you want the choropleth to look like?

To display the predicted values from your model for each dept, say, you would need to create a scoring dataset containing all your model predictors, including the polygon centroids, for each dept and use the SCORE statement in GAM to get the predictions. The dept code could then be used to make the link between your predictions and the map (assuming dept is also present in the shapefile). The centroids would only be used by GAM, not in GMAP.

This is a bit sketchy, I know. I don't have much experience with SAS mapping.

BTW, I don't understand why you would use option NODUPKEY when sorting predictions. That will keep only one record from each age group.

Re: Proc GMAP after proc GAM

jonathanch — Tue, 12 Aug 2014 17:23:55 GMT

Good afternoon,

It's not easy for me...I don't manage in step 2.

Step 3 and 4, correct me if i'm wrong, I red all your sketchy .

A model for each department.

You can see the file .SHP and the table if you want.

https://wxs-telechargement.ign.fr/oikr5jryiph0iwhw36053ptm/telechargement/inspire/GEOFLA_THEME-DEPARTEMENTS_2013_GEOFLA_1-1_SHP_LAMB93_FR-ED131/file/GEOFLA_1-1_SHP_LAMB93_FR-ED131.7z

Or:

My CENTROID1 and CONTRATS (insurance contracts) output:

X Y SEGMENT CODE_CHF CODE_DEPT NAME_DEPT

1	919315	6541572	1	053	01	AIN
2	918646	6540637	1	053	01	AIN
3	919271	6538851	1	053	01	AIN
4	919073	6537700	1	053	01	AIN
5	918313	6534729	1	053	01	AIN
6	917787	6532870	1	053	01	AIN
7	917348	6531205	1	053	01	AIN
8	917003	6529415	1	053	01	AIN
9	916337	6528661	1	053	01	AIN
10	916257	6525769	1	053	01	AIN

ncontrat exposition zone ... ... ageconducteur freq CODE_DEPT

1	217	0.74	A	5	4	31	64	3	D	21	8	1RC	0.00	1	-0.30111	1	37
2	709	0.18	B	7	8	22	100	2	E	26	0	1RC	0.00	1	-1.71480	2	78
3	714	0.48	C	9	0	32	61	12	E	41	13	4BG	687.82	1	-0.73397	3	94
4	852	0.27	F	7	5	39	100	12	E	11	0	2DO	96.64	1	-1.30933	4	86
5	1083	0.51	E	4	0	49	50	12	E	31	13	2DO	70.88	1	-0.67334	5	79

freq=number of claims (dependant variable)

Step 1: I import the file SHP:

proc mapimport out=departement datafile="C:\Users\roger\Documents\PROJET MJG\carto\GEOFLA\DEPARTEMENTS/departement.shp";

run;

Step 2: many to many MERGE by code_dep to get my CONTRATS table with X and Y (longitud,lattitude).

There are eight coordonate (I suppose town hall,prefecture...) by district for example so I don't manage. Proc sql but how? I find always many missing values.

Step 3: PROC GAM thanks to your advice.

PROC GAM DATA = merge_table;

MODEL freq = spline(ageconducteur) spline(Y) spline(x) / dist = Poisson;

SCORE data=centroid1 out=estimate ;

BY code_dep;

RUN; QUIT;

Step 4: proc gmap

I drop X and Y (centroids) then proc gmap:

proc gmap data=centroid1 map=departement annotate=departement_anno GOUT=MAPCHART ;

id code_dept;

choro myestimators_GAM / WOUTLINE=1 levels=5;

run;

If I don't respect the clauses on this website, I'm sorry to the moderator.

Thanks again PG for your help.

Re: Proc GMAP after proc GAM

PGStats — Tue, 12 Aug 2014 21:12:27 GMT

Poursuivons en français, si vous le voulez bien.

L'énoncé BY code_dep; dans l'appel de proc GAM réclame l'ajustement d'un modèle distinct pour chaque département. Ce n'est sans doute pas ce que vous souhaitez.

Vos données de fréquence des réclamations (et d'âge moyen des conducteurs) ont-elles une résolution spatiale plus fine que le département? Si oui, leurs coordonnées sont-elles compatibles avec les X-Y du fichier SHP?

Pour prédire des fréquences il faudra spécifier tous les prédicteurs. Pour l'âge par exemple, vous avez plusieurs choix. Vous pourriez utiliser l'âge moyen des conducteurs ou l'âge moyen de vos clients ou produire une carte pour chaque tranche d'âge, etc. Vous pourriez vouloir une carte distincte pour les hommes et les femmes. Ces choix détermineront le contenu du jeu de données que vous mentionnerez dans la commande SCORE.

Re: Proc GMAP after proc GAM

jonathanch — Tue, 12 Aug 2014 21:56:58 GMT

Ok je tiens compte des différents choix possibles. Pour l'instant je m'entraîne sur une table dont les predicteurs ont des spécificités communes. Comme vous le voyez, je n'est pas vraiment d'experience SAS/MAP.

Cependant oui je peux avoir une résolution spatiale plus fine grâce au fichier commune (commune.SHP)

Ok pour ne pas utiliser BY code_dept pour avoir un seul et même modèle.

Là où je suis bloqué c'est pour affecter X et Y à ma table principale CONTRATS. Les X et Y étant dans le fichier SHP.

Si vous regardez l'extrait des tables (ci-dessus), vous verrez qu'il y a de nombreuses coordonnées par département d'où mon problème.

Avez-vous une idée?

Re: Proc GMAP after proc GAM

PGStats — Wed, 13 Aug 2014 01:58:05 GMT

Le plus précis, à priori, serait de géocoder les adresses à partir du code postal. Certaines ressources sont disponibles à cette fin (voir Europe - Postcode Point Lists, Zipcodes and Geocoders with Type: Postcode Geocoders and Country: France) ainsi que proc geocode. Mais cela est probablement trop précis pour vos besoins.

Autrement, vous pouvez lire la table de données (DBF) qui accompagne le fichier SHP. Par exemple

filename dbDept "&sasforum\datasets\DEPARTEMENT.dbf";

proc dbf db5=dbDept out=deptData; run;

proc print data=deptData(obs=10); id id_GEOFLA; run;

et associer les X_CENTROID et Y_CENTROID qu'elle contient pour chaque département à vos adresses. Le problème supplémentaire que cela pose par rapport aux codes postaux est l'orthographe des noms (de département, de commune, etc) qui peut, comme vous le savez, être très variable.

Re: Proc GMAP after proc GAM

jonathanch — Wed, 13 Aug 2014 14:44:58 GMT

Bonjour,

Voilà le dernier résultat que j'obtiens après un proc GAM:

PROC GAM DATA = affectation;

MODEL nombre = spline(ageconducteur) spline(x) spline(y) / dist = Poisson;

OUTPUT OUT=gam p uclm lclm PREDICTED;

score data=commune_ageco out=estimate;

id code_com;

RUN; QUIT;

proc gmap data=estimate map=commune GOUT=MAPCHART ;

id code_com;

choro P_ageconducteur / levels=4;

run;

Extrait table ESTIMATE:

code_com X Y P_nombre P_ageconducteur P_x P_y LINP_nombre

1	10003	7547	67888	32	0	0.15024	-0.04751	0.033764	-0.015031	-1.89552
2	10017	8045	68207	38	0	0.14884	-0.04257	0.016636	-0.015217	-1.90488

Je n'ai pas une map entière mais uniquement des fragments. Une erreur de ma part ou bien la map de GEOFLA qui n'est pas complète.

Pourtant un professeur a reussi avec les map de GEOFLA: https://www.google.fr/url?sa=t&rct=j&q=&esrc=s&source=web&cd=2&cad=rja&uact=8&ved=0CDEQFjAB&url=http%3A%2F%2Fwww.math.unicaen.fr%2F~kauffman%2Fcours%2Fsas%2Fcartographie%2Fcarto-sas.pdf&ei=9nXrU-bxO-Sh0QWuyIDQDg&usg=AFQjCNEwotm1JtXy8hbfO9ppUjfQBbatug&sig2=fKYONFsOy2kMqPzLYtkXhw&bvm=bv.72938740,d.d2k

Beaucoup de possibilité avec proc gmap mais je pense ne pas tout comprendre, pourtant j'aurais essayé.

Acheter environ 600 euros une carte c'est pas possible

Re: Proc GMAP after proc GAM

PGStats — Wed, 13 Aug 2014 15:46:40 GMT

Bonjour

C'est un bon début! L'allure de la carte donne l'impression qu'elle ne montre que les communes pour lesquelles vous avez des contrats. De quelle façon la table commune_ageco a-t-elle été créée?

J'arrive à produire une carte complète (des départements, illustrant des données aléatoires) à l'aide du programme suivant:

/* Folder &sasforum\datasets contains files DEPARTEMENT.DBF, DEPARTEMENT.SHP and

DEPARTEMENT.SHX */

proc mapimport out=depts datafile="&sasforum\datasets\DEPARTEMENT.SHP"; run;

/* Associate a predicted number (p_nombre) with each Departement */

data test;

set depts; by code_dept;

if first.code_dept;

p_freq = ranpoi(123456, 10);

run;

/* Draw a choropleth of the predicted numbers */

proc gmap map=depts data=test;

id code_dept;

choro p_freq;

run;

quit;

Re: Proc GMAP after proc GAM

jonathanch — Wed, 13 Aug 2014 15:52:34 GMT

Encore plus intéressant SAS XML MAPPING...mais j'y connais rien!

Re: Proc GMAP after proc GAM

jonathanch — Wed, 13 Aug 2014 16:15:48 GMT

Ah oui les coordonnées de la carte sont complètes...

La table commune_ageco contient les X/Y et la variable ageconducteur pour faire fonctionner PROC GAM. C'est cette table qui me pose des problème car j'ai des valeurs manquantes dans cette table..

Re: Proc GMAP after proc GAM

jonathanch — Wed, 13 Aug 2014 16:24:56 GMT

Ok vous prenez la première observation à chaque département dans le fichier departement.shp. Je vais essayer et vous tiens au courant. Thanks!

Re: Proc GMAP after proc GAM

PGStats — Wed, 13 Aug 2014 17:30:37 GMT

Pour le SCORE de proc GAM vous devez produire un dataset de tous les départements (ou communes) avec les X, Y et ageconducteur pour lesquels vous souhaitez obtenir une valeur prédite. Les valeurs manquantes dans les prédicteurs entraîneront des valeurs manquantes dans les valeurs prédites. Je vous conseille d'utiliser le fichier DBF comme base pour constituer le dataset DATA= de l'énoncé SCORE car il vous donne la position des centroides, alors que la première observation d'un fichier SHP ne vous donne que la position d'un point sur la frontière.

Re: Proc GMAP after proc GAM

jonathanch — Wed, 13 Aug 2014 18:14:24 GMT

Bien mieux

Par contre quand je n'utilise pas l'option STATISTIC=freq... j'obtiens "WARNING: Some observations were discarded when charting P_nombre. Only first matching observation was used.". Est-ce très important?

Je voudrais aussi pouvoir déterminer de façon moins arbitraire le nombre de "pattern" (bornes de couleur et leurs nombres). Je me suis dit pourquoi pas utiliser une classification automatique ou encore kmeans method pour extraire le nombre de clusters qui seront bornés..

Cela serait une bonne idée?

Voilà dernière petite question car je vous ai demandé déjà beaucoup. Bonne continuation à vous.

Re: Proc GMAP after proc GAM

jonathanch — Wed, 13 Aug 2014 19:21:59 GMT

PS: "WARNING: Some observations were discarded when charting P_nombre. Only first matching observation was used." ne se produit pas quand je mets en choro l'âge du conducteur moyen.

Re: Proc GMAP after proc GAM

PGStats — Wed, 13 Aug 2014 19:24:25 GMT

Le message d'avertissement signifie que votre dataset contient plusieurs valeurs prédites (p_nombre) pour chaque départenent. L'option STATISTIC= indique comment combiner ces valeurs (FREQ : compter le nombre de valeurs, MEAN: en faire la moyenne, FIRST: prendre la première valeur) . Selon moi, le dataset qui est nommé dans l'énoncé SCORE de proc GAM ne devrait contenir qu'un seul enregistrement pour chaque département et par conséquent ne générer qu'une valeur prédite par département.

Les options DISCRETE, LEVELS, MIDPOINTS et RANGE de l'énoncé CHORO, anisi que l'utiliation d'un format pour la variable illustrée (p_nombre) permettent de contrôler la classification qui est illustrée. C"est le genre de détail qu'il vaut mieux garder pour la fin du processus.

Re: Proc GMAP after proc GAM

jonathanch — Wed, 13 Aug 2014 20:28:02 GMT

J'ai sorti une carte plus haut de la conversation et vous ait exposé une idée, je ne sais pas si vous avez vu.

"Selon moi, la dataset qui est nommé dans l'énoncé SCORE de proc GAM ne devrait contenir qu'un seul enregistrement pour chaque département".

Je pensais que le SCORE était calculé sur les individus (clients) et comme certains clients peuvent habiter dans le même département cela engendre des doublons de code_departement. C'est que j'ai l'impression que cela fait dans mon cas d'où le warning dans le log.

Re: Proc GMAP after proc GAM

PGStats — Wed, 13 Aug 2014 21:30:41 GMT

L'énoncé SCORE permet d'obtenir des prédictions pour un ensemble de données autre que celui qui sert à ajuster le modèle. Comme il vous faut illustrer une et une seule valeur prédite pour chaque département, le dataset passé à SCORE doit comporter une seule observation pour chaque département. Vous pourriez par exemple y fixer ageconducteur=40 pour tous les départements et ainsi illustrer la répartition géographique des prédictions (p_nombre) pour les conducteurs de 40 ans. - PG

Re: Proc GMAP after proc GAM

jonathanch — Wed, 13 Aug 2014 22:18:36 GMT

"L'énoncé SCORE permet d'obtenir des prédictions pour un ensemble de données autre que celui qui sert à ajuster le modèle":

"le dataset passé à SCORE doit comporter une seule observation pour chaque département"

Alors je prends une unique personne de 40 ans dans chaque département avant de lancer proc GAM même s'il y en a plusieurs de 40 ans dans chaque département?

Pas de problème en terme de convergence, les propriétés asymptotiques de mes prédicteurs ne seront pas violées?

Ps: Etes-vous professeur ou formateur? si ce n'est pas le cas vous auriez dû.