请教大样本的错点剔除
我想要剔除大样本中的错点,这个样本的数据很长很长(上万)。我想使用拉依达准则即三倍标准差准则去除错点,但是又不可能对那么长段数据求均值和方差。我想对每一个点取一个窗口用该准则去错点,但是不可能对每一个窗口去进行一次正态检验。
我看到程序判断滤波法可以去除错点,就是当y(i+1)-y(i)>“某个值”时,y(i+1)可舍去,其中“某个值”的判定标准为=两个点之间的采样间隔× “y可能的最大变化速度”.那这个 “y可能的最大变化速度”到底是如何判定呢?我怎么知道呢?
这种大数据的错点应该怎么剔除呢?
谢谢了!
页:
[1]