大数据量滚动回归难题

shiyiming · 发表于 2011-11-7 15:14:46

股票高频如5分钟数据，有几万条甚至十几万条数据，对指数数据和股票数据按时间进行回归统计分析，列名如date（日期）,SH000001(上证指数),SH600000（股票代码）,每次回归用100个数据，步长为20，举例说明，第一次回归用第1-100行数据，结果作为其中第80-100行数据的参数，第二次回归用第21-120行数据，结果作为第101-120行数据的参数。
曾经想过一个解决思路，用proc reg ;by;可一次性计算出回归参数，这需要对巨大的数据库进行处理，将现有数据库处理为1-100，21-120，41-140.。。。形式的新数据库，数据库的长度是原来的5倍甚至更多，数据库过大导致计算过程太长，在实际上不可行。
恳请各位大虾，帮我解决这一难题，不胜感激。

shiyiming · 发表于 2011-11-9 08:46:36

查查proc expand

shiyiming · 发表于 2011-11-10 00:05:19

how about use lag()? lag1(varname) - lag120(varname)

shiyiming · 发表于 2011-11-16 06:53:42

In-memory database?

shiyiming · 发表于 2011-11-22 06:19:29

what do u mean by:
第一次回归用第1-100行数据，结果作为其中第80-100行数据的参数，第二次回归用第21-120行数据，结果作为第101-120行数据的参数。

[quote="bluesky_yang":1qc0qby0]股票高频如5分钟数据，有几万条甚至十几万条数据，对指数数据和股票数据按时间进行回归统计分析，列名如date（日期）,SH000001(上证指数),SH600000（股票代码）,每次回归用100个数据，步长为20，举例说明，第一次回归用第1-100行数据，结果作为其中第80-100行数据的参数，第二次回归用第21-120行数据，结果作为第101-120行数据的参数。
曾经想过一个解决思路，用proc reg ;by;可一次性计算出回归参数，这需要对巨大的数据库进行处理，将现有数据库处理为1-100，21-120，41-140.。。。形式的新数据库，数据库的长度是原来的5倍甚至更多，数据库过大导致计算过程太长，在实际上不可行。
恳请各位大虾，帮我解决这一难题，不胜感激。[/quote:1qc0qby0]

shiyiming · 发表于 2011-11-25 12:35:11

用一个宏啊，一边回归，一边删。

shiyiming · 发表于 2011-11-26 14:40:04

木看太明白~
数据和想要的结果详细描述下？

		自动登录	找回密码
密码			立即注册

大数据量滚动回归难题

大数据量滚动回归难题

Re: 大数据量滚动回归难题

Re: 大数据量滚动回归难题

Re: 大数据量滚动回归难题

Re: 大数据量滚动回归难题

Re: 大数据量滚动回归难题

Re: 大数据量滚动回归难题