At the beginning, there were huge potential problems in this bot created based on only employee’s behavior, lack of perspective of work environment which should affect on working performance. This came from some biases, then this bot originally could not replace the employee management task by human. So there should be human interaction during using this incomplete bot at this moment. ... View more

そのような処理をする場合には、SASプログラミングによりとても視認性に優れた、効率的な処理を記述することができるのですが、ここではEnterprise Guideのタスクのみを使用してみます。   ご希望のことを実現するには、最終形として、「変数名」は日付順序の相対的な数値（添え字）で表現、「変数ラベル」に実際の日付を設定とすることで、「変数名」を使用した計算式が日付の絶対値に依存しないような作りにすることができます。以下のようなデータが作れば良いだろうと考えます。     元のデータは、おそらく品名、日付、値が単に縦に並んでいるだけだと思いますので、それを「転置」タスクを駆使することで上記の形に変換するサンプル（使用するSASデータセットとEG（バージョン7.1）のプロジェクトファイル）を添付しますので、参考にしていただければと思います。 処理やデータの前提条件等、考慮しきれてないところもありますのでご了承ください。 「転置」タスクの使い方のTIPSとして参考にしていただくのが良いかと思います。 ... View more

@chie_sas  様、   最初にご質問に「Viyaのメリットを一番利用できる方法」とあったため、何か解決したい大規模処理があるものと想定し、その課題解決のための最良と思われる手段の一つとして、SASプログラミングの選択肢をご紹介しましたが、そうではなく、pythonを前提とし、単純に操作機能の確認ということであれば、使い分けの指針として次のようにとらえると良いと思います。   python+swat+casは、例えば、python+sparkと同じようなことになります。 もともとViyaすわなちpython+swat+casは、python+pandasを置き換えるものではなく、最初のご質問にあるように、python+pandasでは現実的でない大規模処理をより高速に、スケーラブルに行いたいときにご利用いただくと良いものになります。ですので、もし大規模処理をするという前提の場合には、python+swat+casとpython+sparkを比較されると良いと思います。   ですので、python+pandasでパフォーマンスやスケーラビリティに課題がないということであれば、従来通りpython+pandasをお使いただければ良いと思います。そうではなく、python+pandasでは実現が困難な大規模処理を行いたいときには、その課題解決を目的として、python+swat+casをご利用いただくと良いと思います。その際には、pythonプログラミングとはいえ、大きくないデータを想定して作られているpandasとは異なり、大規模データを想定したアーキテクチャのため、swat+cas固有の知識が多少なりとも必要になります。   swat+cas利用時の操作方法全般を知りたい場合には、上でもご紹介しましたが、以下を参照していただくと全体像が分かりやすいと思います。   ■こちらで、SWATを使用した使い方を、最小機能単位で紹介しています。 https://qiita.com/ViyaDev   ■また、すでにお持ちかもしれませんが、網羅的にはこちらの本があります。 https://www.amazon.co.jp/SAS-Viya-Perspective-Kevin-Smith/dp/1629602760   ■CASTable vs. DataFrame vs. SASDataFrame こちらはリファレンスそのものですが、 https://sassoftware.github.io/python-swat/table-vs-dataframe.html ここにもこのように記載されています。 「CASTable objects support much of the pandas.DataFrame API. However, since CAS tables can contain enormous amounts of data that wouldn’t fit into the memory of a single machine, there are some differences in the way the APIs work. 」   ここからもわかるように、大規模データを扱う際には固有の考慮がされたアーキテクチャーになるため、データの操作の仕方にも固有のものが出てくるということになります。   ご検討のご参考になれば幸いです。   ... View more

一つ教えてほしいのですが、chie_sas様は、今回③で実現するに際して、SAS言語を使用することに興味はおありでしょうか？ それともあくまでもpythonのシンタックスで実施したいとお考えでしょうか。   このような質問している背景は以下の通りです。   他のViyaユーザー様の中にも、それまでpythonでデータ加工をしていたが、「分析用データ加工」に特化した場合、pandasがあるものの汎用プログラミング言語を使用するよりも、SASの表形式データ加工専用言語を使用した方が、非常に効率がいいということで、その部分に関しては、pythonではなく、SAS言語を使用しているケースがあります。   よろしくお願いします。   ... View more

ご参考情報です。   SWATの使い方に関しての情報源です。   こちらで、SWATを使用した使い方を紹介しています。 https://qiita.com/ViyaDev   また、すでにお持ちかもしれませんが、もう少し網羅的にはこちらの本があります。 https://www.amazon.co.jp/SAS-Viya-Perspective-Kevin-Smith/dp/1629602760   ご参考になれば幸いです。 ... View more

PROC SORTのパフォーマンスを真面目に考えるには、以下の要素を考えていくことになります。基本的にはデータ（サイズ、ソートキーなど）に依存した設定になります。私も20年前からこの課題に取り組んでいますが、取り扱うデータは常に変わり、また、システムリソースの利用可能状況も常に変わることも多く、この検討に時間を割くことのROIを常に考える必要があります。また、H/Wの進化、たとえば、ディスクのテクノロジーのイノベーション、メモリのスピード向上・価格低下、などにより、H/Wへの投資の方が劇的なROIを得られることも多いため、そういった選択肢も念頭に入れながら、「パフォーマンス・チューニング」のROIの問題として考えることをお勧めします。   データサイズが大きい場合、ソートの処理時間に影響をする主な要素は、中間データである「ユーティリティファイル」のI/Oの時間すなわち、トータルの読み書き量（回数 x 一回のサイズ）です。これをいかに減らすががポイントになります。   １．OSのメモリ管理やファイルシステムの仕組み   現在主流の仮想メモリ管理の仕組みは、アプリケーションからメモリの使用方法をコントロールしようとすると便利なこともありますが、面倒なこともあります。WindowsとLinuxでも異なるところがあるので、少し知っておくと良いと思います。   ファイルシステムに関しては、仮想環境の現代、昔と大きく異なってしまっているので私にはほとんど知見がありませんが、pagesize=オプションのサイズは、そもそものOSのファイルシステムや物理HDDレベルの、pagesizeと共に検討することも重要です。   ２．SASのPROC SORTの内部処理の仕組み   こちらに少し詳細が紹介されています。非表示スライドがあるので閲覧時にはご注意ください。 http://support.sas.com/rnd/papers/sugi30/V9SORT.ppt   PROC SORTの動きは、ものすごくおおざっぱに言うと、 sortsize= オプションに指定した塊ごとに分割して、ソートしてマージして、を何回も繰り返します。その際に使われているのが「ユーティリティ・ファイル」です。つまりその回数が増えるとそれだけ処理時間がかかります。 まるっとメモリだけで処理させるためには、（（ソートキーの長さ）＋（全体のレコード長））X　レコード数、のメモリ量が必要です。なので、ソートキーがレコード長に対して相対的に長いと、想像以上にメモリが必要になります。   ３．それら仕組みを念頭にパフォーマンスをコントロールする方法   fullstimerシステムオプションや、PROC SORTのdetailsオプションが役立ちます。出力の詳細はここでは省きますが、以下のような使い方になります。   4 proc sort data=sashelp.class out=sorted details; 5 by name; 6 run; NOTE: データセットSASHELP.CLASSから19オブザベーションを読み込みました。 mempage=262144 alocsize=34984 isa=262144 osa=262144 xmisa=0 holds=4369 nway=1 sortsize=1073741824 memoryuse=297128.00 keylen=20 reclen=40 dkin=0 inrec=19 outrec=19 yieldobs=0 nruns=1 xcbpage=262144 npages=0 diskuse=0.00 NOTE: データセットWORK.SORTEDは19オブザベーション、5変数です。 NOTE: PROCEDURE SORT処理(合計処理時間): 処理時間 0.08 秒 CPU時間 0.07 秒 nrunsが、上記でいうマージの回数です。これが例えば、1より大きな値になっていると、sortsize=を大きくして処理時間の短縮が期待できます。別の見方をすれば、この回数が変わらない範囲であれば、sortsize=を大きくしても、処理時間はほとんど短くならないということです。   また、上述のようにソートキーが長い場合には、タグソートが有効です。   少しでもご参考になれば幸いです。 ... View more

そのリンク先をそのままそっくり再現しようとすると、"SAS Stored Process"という機能を利用する必要がありますが、University Edition にはその機能は含まれていないので、できません。ここでやっているのは、ダイナミックにSASプログラムをHTTPリクエストでパラメータを渡して実行してd3.jsを使う書式に合わせてHTMLを生成しています。これを単にHTMLファイルを静的に出力してブラウザで利用できればよいということであれば、以下に非常にシンプルなサンプルを記したので参考にしてください。基本的な考え方は、d3.jsを埋め込んだHTMLファイルを作成しているだけなので、d3.jsの使い方＋SASデータセットの値をd3.jsのデータ形式に合わせて出力することで、実現できます。   すみません、このサンプルはBASE SASがあれば動きますが、現在私の手元にはUniversity Editionがないので、Windows版SASを使用しています。University Editionで以下コードを使うためには、htmlファイルの出力先、表示方法や、エンコード（おそらくUTF-8でしたか）を適宜変更していただく必要があると思います。     filename myhtml "c:\temp\d3js\index.html"; data _null_; file myhtml; put '<!DOCTYPE html>' / '<html lang="ja">' / ' <head>' / ' <meta charset="shift-jis">' / ' <title>D3 Test</title>' / ' <script src="http://d3js.org/d3.v3.min.js" charset="shift-jis"></script> ' / ' </head>' / ' <body>' / ' <script type="text/javascript">' / ; run; data _null_; file myhtml mod; set sashelp.class end=last; if _n_=1 then do; put 'var dataset =['; end; if last then do; put '"' name '"];'; end;else do; put '"' name '",'; end; run; data _null_; file myhtml mod; put ' d3.select("body").selectAll("p").data(dataset).enter().append("p").text(function(d) { return d; });' / ' </script>' / ' </body>' / '</html>' / ; run; 参考になれば幸いです。   ... View more