PROC OLLAMA过程,用SAS程序本地运行大模型。利用SAS/toolkit写的SAS过程调用llama.cpp的功能在本地运行大模型,输出结果到数据集,目前只有Windows x64版,在SAS 9.4 M8, M9下可以运行,详细步骤请参考 analyserxyz/myrepo1: test
options fullstimer;
libname tmplib "c:\temp";
proc ollama out=tmplib.result;
model "c:\temp\gemma-1.1-7b-it.Q4_K_M.gguf";
params "-no-cnv -ngl 99 -p ""Once upon a time""";
run;
