시계열 자료의 예측 정확도 측정

예측의 정확도 측정

• 예측은 과거부터 예측하고자 하는 시점까지 얻어진 시계열자료들을 이용하여 이후 시점에서의 그 자료의 값을 알아내는 것
• 이러한 예측값이 얼마나 정확한가를 측정해야함
• 어떤 시계열자료에 대해 몇 가지 방법으로 예측할 경우 어느방법으로 예측한 결과가 가장 적당한가를 알기위해서는 예측값들로 그 예측방법의 정확도를 측정하여 비교해야 함

 

시계열의 예측 오차

1) 예측시점(T)에 대해 n개의 이전 시점들의 시계열자료를 갖고 있다고 할 때, 여기서 예측 시점이란 현재 시점을 뜻하는 것이 아니라 예측하고자 하는 그 시점이다.

 

2) n개의 시계열 자료들로 어떤 예측방법을 사용하여 향후 m개 시점들에 대한 예측값을 얻는다면

3) 이 예측방법에 의하여 예측하고자 하는 시점부터 과거 n개의 자료들을 역으로 계산할 경우

4) 실제로 이미 알고 있는 시계열 자료 { Y(T-(n-1)), ... , Y(T-1), Y(T) } 와 예측모형을 통하여 얻어지는 시계열 {F(T-(n-1)), ... , F(T-1), F(T) } 간의 차이는 그 예측모형에 의하여 얻게되는 오차들이 되며, 이 오차들을 이용하여 예측모형의 정확도를 계산할 수 있다.

 

 

예측 오차 

• 예측오차(error) = 실제값 - 예측값
• 오차들을 가지고 예측모형의 정확도를 측정하며, 실제로 얻어진 시계열 자료값들에 대해서 실제로 계산된 오차들을 잔차(residual)
• 시계열자료에서는 시점 T를 기준으로 m 시점에 걸쳐 시계열의 관찰값 { Y(T+1), ... , Y(T+m) } 이 있을 경우, { Y(T+1) - F(T+1), ... , Y(T+m) - F(T+m) } 도 계산될 수 있을 것이고 이 값들을 예측오차(forecasting error)라고 하며, 잔차를 e로 표현한다.

 

 

 

예측방법의 정확도 측정하는 방법 (잔차를 이용한 평가 기준)

1) Mean Error(ME) : 계산된 잔차들의 단순평균

2) Mean Absolute Error(MAE) : 잔차들의 절댓값들을 평균한 것

3) Mean Sqauared Error(MSE, 평균제곱오차) : 잔차들의 평균을 0이라고 하고(실제로 0에 가까움) 잔차들의 제곱 평균을 구한 것이며, 이때 SSE(잔차제곱합)을 이용함

4) Standard Deviation of Errors(SDE) : 잔차들에 대한 표준편차

5) Mean Percentage Error (MPE) : 잔차들의 실제 자료에 대한 비율 평균

6) Mean Absolute Percentage Error(MAPE) : 잔차의 실제 자료에 대한 비율의 절대값들의 평균

7) Durbin-Waston Statistic : 자기상관이 존재하는가를 판단하는 척도

 

 

• 일반적으로 사용되는 정확도의 척도는 잔차제곱합(SSE) 또는 평균제곱오차(MSE)이며 통계적인 의미나 활용도가 높음
• 정확도를 구하는 방법들 중 어느 방법이 가장 좋은지를 판단할 수 없지만 여러 가지 다른 예측방법으로 예측값들을 얻었을 경우,  그 예측방법들에 대한 여러 가지 정확도들을 구하여 대체적인 비교를 함으로써 주어진 시계열자료에 대해서는 어떤 예측방법이 더 타당한지 알 수 있을 뿐
• 물론 두 가지 예측방법을 비교할 때 정확도를 기준으로 판단하려면 계산된 정확도의 값이 더 작은 것이 더 바람직한 방법이 됨

 

 

 

정확도 측정의 예시

어느 제품의 반품개수 시계열 자료와 특정한 예측방법의 예측값들이 다음과 같다고 할떄, 이 자료의 대한 정확도를 계산하기 위한 과정과 여러 가지 정확도의 값들은 다음과 같다.

 

1) ME= 0.2

2) MAE = 3.6

3) MSE = 16

4) SDE = 4.22

5) MPE = -1.385(%)

6) MAPE = 9.383(%)

 

 

7) D-W : 359 / 160 = 2.24375