SAS中文论坛

标题: 大数据量滚动回归难题 [打印本页]

作者: shiyiming 时间: 2011-11-7 15:14
标题: 大数据量滚动回归难题
股票高频如5分钟数据，有几万条甚至十几万条数据，对指数数据和股票数据按时间进行回归统计分析，列名如date（日期）,SH000001(上证指数),SH600000（股票代码）,每次回归用100个数据，步长为20，举例说明，第一次回归用第1-100行数据，结果作为其中第80-100行数据的参数，第二次回归用第21-120行数据，结果作为第101-120行数据的参数。
曾经想过一个解决思路，用proc reg ;by;可一次性计算出回归参数，这需要对巨大的数据库进行处理，将现有数据库处理为1-100，21-120，41-140.。。。形式的新数据库，数据库的长度是原来的5倍甚至更多，数据库过大导致计算过程太长，在实际上不可行。
恳请各位大虾，帮我解决这一难题，不胜感激。

作者: shiyiming 时间: 2011-11-9 08:46
标题: Re: 大数据量滚动回归难题
查查proc expand

作者: shiyiming 时间: 2011-11-10 00:05
标题: Re: 大数据量滚动回归难题
how about use lag()? lag1(varname) - lag120(varname)

作者: shiyiming 时间: 2011-11-16 06:53
标题: Re: 大数据量滚动回归难题
In-memory database?

作者: shiyiming 时间: 2011-11-22 06:19
标题: Re: 大数据量滚动回归难题
what do u mean by:
第一次回归用第1-100行数据，结果作为其中第80-100行数据的参数，第二次回归用第21-120行数据，结果作为第101-120行数据的参数。

[quote="bluesky_yang":1qc0qby0]股票高频如5分钟数据，有几万条甚至十几万条数据，对指数数据和股票数据按时间进行回归统计分析，列名如date（日期）,SH000001(上证指数),SH600000（股票代码）,每次回归用100个数据，步长为20，举例说明，第一次回归用第1-100行数据，结果作为其中第80-100行数据的参数，第二次回归用第21-120行数据，结果作为第101-120行数据的参数。
曾经想过一个解决思路，用proc reg ;by;可一次性计算出回归参数，这需要对巨大的数据库进行处理，将现有数据库处理为1-100，21-120，41-140.。。。形式的新数据库，数据库的长度是原来的5倍甚至更多，数据库过大导致计算过程太长，在实际上不可行。
恳请各位大虾，帮我解决这一难题，不胜感激。[/quote:1qc0qby0]

作者: shiyiming 时间: 2011-11-25 12:35
标题: Re: 大数据量滚动回归难题
用一个宏啊，一边回归，一边删。

作者: shiyiming 时间: 2011-11-26 14:40
标题: Re: 大数据量滚动回归难题
木看太明白~
数据和想要的结果详细描述下？

欢迎光临 SAS中文论坛 (https://www.mysas.net/forum/)