SAS中文论坛

标题: [疑难解惑] 如何提高sas的data step的读取速度 [打印本页]

作者: shiyiming 时间: 2012-1-15 13:41
标题: [疑难解惑] 如何提高sas的data step的读取速度
本人用sas进行些股票的研究。
数据是从大智慧上拷贝的，格式如下：

一只股票一个txt文件，有2036只股票；每只股票记录的天数大概在1500天左右，每天有8个变量（开盘，最高，最低。。。等）

用sas data step 读入，并转化成sas内部的data；例如A600000.sas7data，存放在不是work的一个逻辑区下保存。在读入txt文件的时候用的是data step方法，并用macro，一个股票一个股票的读入。这个阶段还好，实际用一个 %do i = 1 to 2036 %end,很快就可以读好。这样每个data有约1500*8 个记录，同时有2036个这样的data。

问题来了，现在我想把他们join到一个data里边，这样就可以方便的根据时间或者symbol来读取股票数值了。因为单个股票只能进行个例分析，如果想看某一个时间段的股票相对表现，个人认为这样存放data比较方便。

但是这样的话生成的data有（1500*2036）row 8 column的dimensions，我的方法是一个一个的往一个总的data里merge或者join。但是无论用data step还是sql的方法，结果都很差，到最后就是10几秒才能merge一个股票，因为前期merge的data很大了，还要读取，用macro的loop方法每一次都要读取一个股票数据和前边merge好的data，这样的话很慢。

对sasdata的存储大家能给点建议么？谢谢
<a class="postlink" href="http://bbs.pinggu.org/thread-1015417-1-1.html">http://bbs.pinggu.org/thread-1015417-1-1.html</a>

作者: shiyiming 时间: 2012-1-17 23:05
标题: Re: [疑难解惑] 如何提高sas的data step的读取速度
try something like this:
1. read the first one;
2. define a view for the rest one by one, and then append to the first one;

use view but not dataset in the 2nd step could save one reading time for each share.
use append is the key point here.

%macro read;

data one;
* input the first share;
run;
%do i=2 to 2036;
data a_&i/view=a_&i;
*input the &i share here;
run;

proc appand base=one data=a_&i;
run;

%end;

%mend;

%read;

作者: shiyiming 时间: 2012-1-22 01:58
标题: Re: [疑难解惑] 如何提高sas的data step的读取速度
Merge multi table in one step.
It should not exceed 1 minutes.
Good luck.

欢迎光临 SAS中文论坛 (http://www.mysas.net/forum/)