설문설문조사 불성실 응답 확인 후 제거하여 신뢰도 높이는 방법

안녕하세요, 설문/인터뷰/좌담회 서비스 제공하는 

그로스헬퍼입니다. 

이번 글에서는 불성실 응답을 걸러 

응답 데이터의 신뢰도를 높이는 방법에 대해 

다뤄보도록 하겠습니다.

적합한 설문 대상자로부터 응답을 받는 방법은 

이전에 다룬 스크리닝 관련 포스팅을 

참고 부탁드립니다.

설문 대상자 스크리닝(Screening) 뜻, 설정하는 방법

불성실 응답 거르는 장치를
해야 하는 이유

 

불성실 응답을 거르는 방법



일곱 가지의 방법이 있는데, 

하나씩 설명드리도록 하겠습니다.

1. 응답 시간 확인 : 

너무 빨리 끝낸 응답은 불성실할 가능성이 높죠. 

짧다는 기준은 주관적이긴 한데, 

심하게 짧은 수준으로 정의하면 됩니다. 

예를 들어, 

대부분 리커트 척도로 구성된 30문항 설문은 

1분 이내 응답은 불성실 응답으로 

간주할 수 있습니다.

응답 시간을 확인할 수 있는 서비스는 

타입폼, 서베이몽키(유료), 퀄트릭스(유료) 

등이 있습니다. 

GTM(Google Tag Manager)를 활용하면 

모든 서비스에서 측정이 가능한데, 

이는 설정이 어렵습니다.

2. 역문항 설계 : 

예를 들어, 아래와 같이 응답하면 

문항을 읽지 않은 불성실 응답이죠 :)

Q1: “나는 혼자 있는 걸 좋아한다.” → 그렇다

Q2: “나는 혼자 있는 것이 싫다.” → 그렇다

이러한 역문항은 텀을 두고 넣습니다. 

ex) 30문항 설문 중 5번, 25번 문항

3. 특정 선지 응답 요구 : 

'이 문항은 4번 응답 부탁드립니다', 

'이 문항은 전혀 그렇지 않다 응답 부탁드립니다' 등 

주변의 문항의 형태와 비슷하게 구성하여 

특정 선지의 응답을 요구하는 방법이 있습니다.

 

현재 진행하고 있는 설문에는 

위와 같이 자연스럽게 넣었습니다.

 



이렇게 객관식 그리드로 진행하는 경우도 많은데, 

5번에 자연스럽게 들어가 있죠. 

이 방법이 효과적인 것 같습니다.

4. 일관성 체크 : 

2번과 비슷한 방법인데, 

유사한 질문을 여러 번 다양한 방식으로 묻고 

일관성을 확인하는 방법입니다. 

이 장치는 너무 많이 해둘 경우, 

응답자가 불편해할 수도 있습니다.

5. 패턴 감지 : 

이는 장치를 해두는 것은 아니고, 

데이터를 분석할 때 일렬 응답 혹은 

패턴 응답을 거르는 방법입니다. 

일렬 응답은 불성실 응답으로 간주할 수 있지만, 

패턴 응답은 애매할 수 있어 

다른 방법을 동원하는 것이 좋습니다.

6. 주관식 응답 품질 확인 : 

주관식을 성실하게 응답하는 것을 통해서도 

확인할 수 있습니다. 

'123', '몰라요' 등의 응답을 한 데이터는 

불성실 응답으로 간주하는 것이죠.

7. 퀴즈 :

위와 같이 상황이나 실험물을 제시하고, 

퀴즈를 내는 방법이 있습니다. 

실제로 진행했던 사례이고, 

정답이 아닌 응답을 한 분이 

10% 정도 있었던 것으로 기억합니다.

이렇게 해서 이번 포스팅에서는 

설문조사를 진행할 때 불성실 응답을 걸러 

신뢰도를 높이는 방법에 대해 다뤄보았습니다.

설문조사 설계/입력/응답/통계 서비스가 필요하시다면 

문의 탭을 통해 편하게 연락 부탁드립니다 :)

이상으로 글 마치도록 하겠습니다.