실 험 참 가 보 고 서
실 험 명 | 무엇을 보고 평가하는가 |
연구자 | 이하나 |
실시장소 | 위당관B08 |
신청시간 | 3월 27일 14:30~15:00 |
실험방법 | 설문지 작성 |
실험평가 | 실험동의서와 실험관련 설문지를 한꺼번에 나누어주었다. 이 실험을 하면서 느낀 점은 세 가지이다. 하나는 설문환경이 시끄럽고 정리가 안되어 설문에 제대로 집중하기 힘들었다는 점과 다른 하나는 설문의 내용이 주어진 시간에 비해 비교적 많았다는 점, 마지막으로 설문문항이 약간 난해하여 반응에 문제가 있었다는 점이다. 먼저, 대략 15~20명 정도의 인원이 함께 설문에 참가했던 것 같은데, 제 시간에 오지 않고 늦은 참가자들이 꽤 있어서, 실험이 시작 되었는데도 학생들은 계속 들어왔다. 연구자는 늦게 들어온 학생들을 위해 연구 방법과 연구 윤리를 다시 설명해야 했다. 또한 먼저 끝낸 사람이 재빨리 나가는 것도 남겨지는 사람의 반응에 영향을 주는 것 같았다. 진행되는 설문연구들을 살펴보면 일반적으로 많은 경우, 연구자 뿐만 아니라 참가자 역시 정시를 잘 지키지 않는 경향이 있는 것 같다. 그래도 크게 상관이 없다는 인식이 팽배한 것 같다. 올바른 반응치를 얻기 위해서 뿐만 아니라 연구자의 편의를 위해서라도 보다 엄격하게 실험이 관리될 필요가 있지 않을까. 다 끝냈어도 정해진 시간까지 참가자를 남겨두는 것도 한가지 방법이라고 생각한다. 그리고 문항수가 생각보다 많았는데, 주어진 시간에 꼼꼼히 하기에는 힘들었다. 아마도 종업원의 성과에 대한 제시형태 차이–표와 그래프– 에 따른 평가의 변화를 빠르게 측정하고자 했던 것으로 보인다. 반응치의 신뢰도를 높이기 위해서 문항수를 늘렸으리라 본다. 하지만 실제 직무수행평가에서는 이렇게 서둘러 평가하지 않는다는 점에서 문제가 있다고 본다. 한편 설문내용 역시 처음에는 난해했다. 그래프와 표를 해석함에 있어 단순히 해당 종업원의 미래 수행을 간단하게 예측하고 넘어가는 식으로 반응하면 쉽고 빠르게 반응할 수 있는데, 연구자가 사전에 그런 설명을 자세히 하지 않아서, 처음 몇 문항에 반응할 때에는 매우 신중하게 각 종업원의 평균적인 수행점수(돈)를 어림계산하여 평가했기 때문이다. 만약 모든 문항에 이렇게 신중하게 평가했을 겅우 아마도 연구자가 가설로 내세운 유난이 수행이 좋거나 나쁜 “OUTLIER”에 의한 평가의 편향이 나타날 가능성이 적을 것이다. 덧붙여 표와 그래프로 데이터를 제시하면서 평가를 내려보도록 설문하는 방법을 통해, 나는 매우 쉽게 그래프로 제시했을 경우에 왜곡이 더 나타날 것이라는 걸 검증하려고 하는 것이라는 것을 알아차릴 수 있었다. 연구자가 연구주제와 연구방법에 대한 고민을 많이 했을텐데, 이런 연구방법이 연구의 정당성을 떨어뜨리는 방해요소가 될 것 같아 안타깝다. |