10월 052006
 

통계연구의 오류에 관한 짧은 정리 2006-09-20 14:22:46

통계의 오류,

제1종 오류 : a
제2종 오류 : b

에 관해서 생각, 정리해보았습니다. 통계학에 능하신 분의 첨삭을 부탁드립니다.


  전기 충격을 주면 인간 지능이 높아질까?   뭐 이런 말도안되는 의문이 있다고 할 때, 그 수많은, 모든 인간들의 지능을 다 재고 전기충격을 다 주고, 또 지능을 죄다 다 잴 순 없다.  몇 명만 쌤플로 뽑아서 한다. 그걸 가지고 전체를 추정한다. 중심극한정리라는 것에 의해서 (실은 잘 생각 안난다) 이렇게 몇명만 뽑은 샘플(n)의 지능 평균은 샘플수(n)가 적당히 크기만 하면, 그리고 n이 늘어날수록 사실상 모든 인간들의 지능 평균에 근접해진다.

  중요한 건 사람들의 지능 평균이 100이고, 어떤 사람에게 전기 충격을 주고 지능을 쟀을때 105가 나왔다면 이 사람의 지능이 105인건, 전기충격의 효과인 것일까. 아니면 이 사람이 원래 똑똑해서 일까? 연구자들은 그것이 전기충격의 효과라는 것을 통계적으로 증명하고 싶을 것이다.

  결국 통계적으로 할 수 있는 일이란, 보통 아무나 뽑아서 지능을 쟀을 경우에, 지능105가 나올 확률이 얼마나 되는지를 보는 것이다. 고교 때 얼핏 봤던 정규분포곡선을 떠올리면, 평균적으로 아무나 뽑아서 쟀는데 지능 105인 사람이 나올 확률이 5% 미만일 경우에, 우리는, “아 이건 우연이라기보다는 전기충격의 효과라고 보는 편이 거의 옳다”라고 말할 수 있는 것이다.

  제 1종 오류 a 라는게 바로 여기서 나오는데, 사실은 이 사람이 원래 지능이 높아서 105가 나온건데 우리는 그걸 전기충격의 효과를 받은 것이라고 생각하는 오류이다. 물론 그 확률은 매우 낮다. (5%라고 하지만 추출된 사람 수를 생각하면) 제 1종 오류 확률이 높을수록, 거지같고 (과학적으로나 사회적으로나) 위험한 연구가 된다.

  제 2종 오류 b 는 그에 비해 마치 신이 내려주는 것과 같은 예측불허의 오류라고 해야할까. 이건 가령 어떤 사람이 지능이 90으로 매우 낮았는데 전기충격을 받고 100이 되버려서 사실은 전기충격의 효과가 정말 있었는데도, 우리는 측정된 지능 100에 사로잡혀 이 사람을 보고 “전기충격에 영향을 받지 않는구나. 그냥 평범한 사람이구나.” 라고 생각해버리는 오류이다.

  1종오류는 연구자에게 달콤함을 선사하지만 (자기 가설이 맞다는 걸 증명하고, 그러길 원할테니), 매우 위험하다.
  2종오류는 비교적 덜 위험하지만 연구자가 가설을 증명하는 것을 어렵게 만든다.

덧붙여, 통계에서 검증력이라는 개념은  1-b(2종오류) 즉, 실제로 전기충격의 효과가 있는 경우에, 꼭 그런 경우만을 우리도 효과가 있다고 정확히 판정할 확률이다. 뭐랄까 알짜배기값, 연구의 진정한 성공률 같은 것이다.

뭐 이렇게 따지더라도, 어떤 선택을 내리든지 틀릴 확률이 있다는 말을 하면 할 말이 없겠지만요. 에효.



병장 이영기
 첫번째 열망 좋군요.
2006-09-20 14:32:52  

병장 이훈재
 세가지 다, 꽤 폼이 나죠. 우헬헬, 스노비즘.

2006-09-20 14:48:21  

병장 고계영
 이런 생각을 해봅니다.
어떤 실험을 하는데 있어서. 실험에 의하여 변화하는 양. (위의 글에서 말한다면 ‘지능’)
지능을 먼저 측정하여 그 사람이 얼마의 지능을 가지고 있는지 파악하고
(평균값 100이 될 수도 있으며 그 미달, 초과가 될 수도 있을 것입니다.)

그 다음, 실험을 한다면. 이 통계의 오류를 범하지 않을 수 있지 않겠습니까? 라는 짦은 의문…
2006-09-20 14:33:10  

병장 이훈재
 그렇게 하면 일반화가 안 되니까요. 그 사람에게만 효과가 있다고 하면 할말이 없잖아요.

2006-09-20 14:45:16  

병장 고계영
 한 명에게만 실험하는 것이 아니라. 여러명에게 실험을 하며.
실험을 하기전 여러명의 실험전 지능을 측정하고,
실험 후에 지능을 다시 측정하면 되지 않을까요?

지능의 측정이라는 것이 다른 질문으로 같은 결과를 나오는지는 의문이지만.
만약 지능의 측정이 여러가지 방법으로 똑같은 결과를 나올 수 있는 것이라면.
여러 명의 실험 전.후의 변화된 지능의 측정으로 극복가능 할 것이라 생각해 봤습니다..
…안되려나.. 흠.

2006-09-20 14:55:40  

병장 이훈재
 예. 계영씨의 말씀대로,저역시 정확히  모집단에서 표본을 추출해서 그들의 지능을 측정하고 실험후에 다시 지능을 측정하는 경우를 상정하고 생각해본 거에요.

 

2006-09-21 08:50:07  

상병 이승일
 재밌게 읽었습니다.
음 아마도 1종의 오류와 같은 경우는 일상생활에서가 아니라면 거의 일어나지 않을 듯 싶어요.
왜냐면 실험에서 대조군을 ‘평균치’ 로 놓는 경우는 있을 수 없거든요.
전기충격을 가했는데 그 사람 아이큐가 105 였다, 그런데 평균 아이큐는 100이므로, 충격은 아이큐를 높여준다, 라는 추론은 결코 사용 될 염려가 없는 추론 같습니다. 이 경우 대조군이 평균치가 되거든요.

그럴 듯 하게 실험을 하려면,  아이큐테스트를 실시해서, 아이큐가 동일한 사람 100명을 뽑은 후,
이들을 50명 씩 두 그룹으로 나눠서 한쪽에만 전기충격을 가하고 나머지는 가만히 놔두는 조치를 해야겠지요.
그 다음에 아이큐검사를 다시 한다면 이제 어떤 결과가 나오겠지요.

2종 오류는 잘 이해가 안되는군요.
90에서 100으로 올라가면 분명 올라간거니깐 전기충격이 지능에 순기능을 했다고 판단할 근거가 될 수 있을 것 같습니다. 이런 실험을 여러명한테 한다면 말이죠. 단, 아이큐테스트를 두번 연속 보게되면 평균적으로 수치가 올라가는지 안올라가는지에 대한 확실한 정보가 우선 있어야되겠죠.

2006-09-20 15:00:24  

병장 이훈재
 저언투 체에육 때문에 일단 짧게 써봅니다.

제 생각은, 대조군이 인간 전체 평균치라는 게 아니라, 승일씨 말씀처럼, 표본을 추출하여 그 표본의 평균일 경우에도 마찬가지로 적용되지 않을까요? 왜냐하면, 무작위로 표본을 뽑아 아이큐테스트를 통해 아이큐가 100인 사람들만 골라내 (이경우에도 평균은 100) 전기충격을 주는 것은 뭔가 무작위적이지 않다고 생각하거든요. 전기충격의 효과가 있다고 하려면, 추출된 표본 내에서도 사람들의 IQ값은 어느정도 100에 가깝지만 다양할 것이고, 그 사람들에게 전기충격의 효과가 나타나야하니까요.


이따가 또 쓸게요

2006-09-20 15:13:06  

병장 이훈재
 으앙 글이 빨리 빨리 묻히는군요. 좋아요! 대조군을 ‘평균치’로 놓는다는 오해는, 제가 평균만 언급하고 표준편차에 대한 언급을 전혀하지 않았기 때문에 발생한 것일지도 모르겠습니다. 표준정규분포와 관련하여 생각해보면, 제1종오류는 추리통계의 근본적인 문제가 됩니다. 신뢰구간과 관련해서 99%수준이라면 언제나 1%, 95%수준이라면 언제나 5%의 제1종오류확률을 갖게됩니다. 어떤 사람이 표준에서 많이 떨어져 굉장히 희귀한 사람일 경우에, 그 사람이 처치의 효과를 전혀 받지 않았음에도 우리는 (통계적으로) 그에게 효과가 있다고 보는 셈이 되는거죠. (통계 수치 상에 이게 포함돼있다는 의미에서요)

다음 주 중으로 실험연구방법론에 대해서 좀더 자세히 정리해 올려봐야겠습니다.  승일씨가 말씀하신 그럴듯한 실험은 참가자’간’설계인데, 아이큐가 동일한 사람 100명을 뽑아서 두 그룹으로 나누는 것은 과학적으로 그리 좋은 방법이 아닙니다. 간혹 불가피한 경우에 아이큐 90 인 사람 5명, 92인 사람 5명, … 100인 사람 5명 … 110 인 사람 5명.. 이런 식으로 두 그룹의 인위적으로 맞추어 실험을 하기도 하는데, 그것도 최선의 방법은 될 수 없거든요. 사람을 대상으로 실험을 하는 만큼 모집단->표본->통계치->모수치 로 이어지는 추리통계의 과정이 좀더 까다롭습니다.

2종오류 역시 결국 1종오류와 같은 맥락입니다. 우리가 얻은 추리통계치에는 2종오류 때문에, 실제로는 처치효과가 있었음에도 결과값이 표준에 가까워 묻히는 낱개의 수치가 묻히고 있는 것이니까요. 그 개인에게 분명히 처치효과의 순기능이 있었지만, 우리가 얻은 값에는 그 순기능이 포함되지 않는다는 거에요. 이런 취지에서 연구자들이 가설을 검증하는데 방해가 되는 겁니다. 그렇지만 틀린 가설을 옳은 것으로 믿게 할 위험(1종오류)이 아니라 옳은 가설을 옳지않다고 생각할 가능성을 높이는 것이라서 1종오류보다는 덜 위험하다는 생각을 한것이고요.

사실 이런 종류의 통계적 오류에 관해 생각하게 된 계기가 제 글 유전도와 댓글을 보면서, 우리가 보고 있는 추리통계치를  표본이나 집단을 떠나 한 개체에게 어떻게 적용할 수 있을지, 어떤 의미가 있는지 따져보다가,  특별한 인이 통계치 속에 어떻게 묻힐 수 있는지와 관련해서 ,  3학점짜리 통계학 강의의 짧은 기억을 되새겨 정리해본거거든요.

2006-09-21 08:45:25  

병장 이훈재
 아. 2종오류에관한 언급 말미에서 지적하신, 아이큐테스트의 “반복효과”는 굉장히 중요한 문제이며 연구자들이 예민하게 신경써야할 부분을 바로 짚으셨다고 생각합니다.
2006-09-21 08:54:14  

병장 박진우
 이쯤에서 통계학도 김강록이 출동하면 어떨까?

2006-09-20 15:19:22  

병장 고계영
 저도 그 생각했었는데요. 사실 책마을에서 통계학적인 강록씨의 글쓰기는 본 기억이 없는듯 싶습니다.
있었나? 암튼. 통계하는 단어를 보는 순간. 강록씨가 생각나는 것은 어쩔 수 없는듯…
2006-09-20 15:27:28  

상병 김청하
 출동 좀 시켜주세요.

2006-09-20 17:49:05  

병장 고계영
 김청하 출동!…

충동 좀 시켜달라고 하셔서 그만……

2006-09-20 20:45:37  

병장 박형주
 김강록씨는 학부제의 저주를 받았기 때문에 통계학과가 되었습니다.
참고로 그 학부는 정외(이건 정한국)-경제-행정-통계 였다는…
 

 Leave a Reply

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>