안녕하세요, 설문/인터뷰/좌담회 서비스 제공하는
그로스헬퍼입니다.
이번 글에서는 불성실 응답을 걸러
응답 데이터의 신뢰도를 높이는 방법에 대해
다뤄보도록 하겠습니다.
적합한 설문 대상자로부터 응답을 받는 방법은
이전에 다룬 스크리닝 관련 포스팅을
참고 부탁드립니다.
설문 대상자 스크리닝(Screening) 뜻, 설정하는 방법
불성실 응답 거르는 장치를
해야 하는 이유
그로스헬퍼에서는
그로스패널이라는 패널 서비스를 통해
설문에 참여하는 모든 분들께 보상을 지급하기에
설문조사 응답 서비스를 의뢰하는 고객분들 중
가끔 이런 질문을 하는 분이 계십니다.
설문 보상을 받으려고 대충 응답하는 사람들이 있지 않나요? |
연구를 하시는 분들은
대부분 직접 응답의 신뢰도를 위해
불성실 응답을 거를 수 있는 장치를
알아서 잘 해주시는데,
기업 고객분들이 주로 이러한 질문을 주십니다.
안타깝게도 그렇습니다.
보상 획득을 위해 대충 응답하는 분들이 계시고,
그렇기 때문에 그로스헬퍼에서는
이를 파악하기 위한 장치를 합니다.
이러한 장치를 통해 불성실 응답 횟수가
3회 기록되면, 더 이상 패널 활동을 할 수 없습니다.
닉네임 러OOO님은 한 번 더 불성실 응답을 하면
더 이상 그로스패널 서비스를 이용할 수 없는 것이죠 :)
물론, 건마다의 불성실 응답 데이터는
결과물에 포함시키지 않고, 보상도 지급되지 않습니다.
그렇다면,
어떻게 불성실 응답을 걸러
신뢰도를 높일 수 있는지 알아보도록 하겠습니다.
불성실 응답을 거르는 방법
일곱 가지의 방법이 있는데,
하나씩 설명드리도록 하겠습니다.
1. 응답 시간 확인 :
너무 빨리 끝낸 응답은 불성실할 가능성이 높죠.
짧다는 기준은 주관적이긴 한데,
심하게 짧은 수준으로 정의하면 됩니다.
예를 들어,
대부분 리커트 척도로 구성된 30문항 설문은
1분 이내 응답은 불성실 응답으로
간주할 수 있습니다.
응답 시간을 확인할 수 있는 서비스는
타입폼, 서베이몽키(유료), 퀄트릭스(유료)
등이 있습니다.
GTM(Google Tag Manager)를 활용하면
모든 서비스에서 측정이 가능한데,
이는 설정이 어렵습니다.
2. 역문항 설계 :
예를 들어, 아래와 같이 응답하면
문항을 읽지 않은 불성실 응답이죠 :)
Q1: “나는 혼자 있는 걸 좋아한다.” → 그렇다
Q2: “나는 혼자 있는 것이 싫다.” → 그렇다
이러한 역문항은 텀을 두고 넣습니다.
ex) 30문항 설문 중 5번, 25번 문항
3. 특정 선지 응답 요구 :
'이 문항은 4번 응답 부탁드립니다',
'이 문항은 전혀 그렇지 않다 응답 부탁드립니다' 등
주변의 문항의 형태와 비슷하게 구성하여
특정 선지의 응답을 요구하는 방법이 있습니다.
현재 진행하고 있는 설문에는
위와 같이 자연스럽게 넣었습니다.
이렇게 객관식 그리드로 진행하는 경우도 많은데,
5번에 자연스럽게 들어가 있죠.
이 방법이 효과적인 것 같습니다.
4. 일관성 체크 :
2번과 비슷한 방법인데,
유사한 질문을 여러 번 다양한 방식으로 묻고
일관성을 확인하는 방법입니다.
이 장치는 너무 많이 해둘 경우,
응답자가 불편해할 수도 있습니다.
5. 패턴 감지 :
이는 장치를 해두는 것은 아니고,
데이터를 분석할 때 일렬 응답 혹은
패턴 응답을 거르는 방법입니다.
일렬 응답은 불성실 응답으로 간주할 수 있지만,
패턴 응답은 애매할 수 있어
다른 방법을 동원하는 것이 좋습니다.
6. 주관식 응답 품질 확인 :
주관식을 성실하게 응답하는 것을 통해서도
확인할 수 있습니다.
'123', '몰라요' 등의 응답을 한 데이터는
불성실 응답으로 간주하는 것이죠.
7. 퀴즈 :
위와 같이 상황이나 실험물을 제시하고,
퀴즈를 내는 방법이 있습니다.
실제로 진행했던 사례이고,
정답이 아닌 응답을 한 분이
10% 정도 있었던 것으로 기억합니다.
이렇게 해서 이번 포스팅에서는
설문조사를 진행할 때 불성실 응답을 걸러
신뢰도를 높이는 방법에 대해 다뤄보았습니다.
설문조사 설계/입력/응답/통계 서비스가 필요하시다면
문의 탭을 통해 편하게 연락 부탁드립니다 :)
이상으로 글 마치도록 하겠습니다.
안녕하세요, 설문/인터뷰/좌담회 서비스 제공하는
그로스헬퍼입니다.
이번 글에서는 불성실 응답을 걸러
응답 데이터의 신뢰도를 높이는 방법에 대해
다뤄보도록 하겠습니다.
적합한 설문 대상자로부터 응답을 받는 방법은
이전에 다룬 스크리닝 관련 포스팅을
참고 부탁드립니다.
설문 대상자 스크리닝(Screening) 뜻, 설정하는 방법
그로스헬퍼에서는
그로스패널이라는 패널 서비스를 통해
설문에 참여하는 모든 분들께 보상을 지급하기에
설문조사 응답 서비스를 의뢰하는 고객분들 중
가끔 이런 질문을 하는 분이 계십니다.
설문 보상을 받으려고
대충 응답하는 사람들이 있지 않나요?
연구를 하시는 분들은
대부분 직접 응답의 신뢰도를 위해
불성실 응답을 거를 수 있는 장치를
알아서 잘 해주시는데,
기업 고객분들이 주로 이러한 질문을 주십니다.
안타깝게도 그렇습니다.
보상 획득을 위해 대충 응답하는 분들이 계시고,
그렇기 때문에 그로스헬퍼에서는
이를 파악하기 위한 장치를 합니다.
이러한 장치를 통해 불성실 응답 횟수가
3회 기록되면, 더 이상 패널 활동을 할 수 없습니다.
닉네임 러OOO님은 한 번 더 불성실 응답을 하면
더 이상 그로스패널 서비스를 이용할 수 없는 것이죠 :)
물론, 건마다의 불성실 응답 데이터는
결과물에 포함시키지 않고, 보상도 지급되지 않습니다.
그렇다면,
어떻게 불성실 응답을 걸러
신뢰도를 높일 수 있는지 알아보도록 하겠습니다.
일곱 가지의 방법이 있는데,
하나씩 설명드리도록 하겠습니다.
1. 응답 시간 확인 :
너무 빨리 끝낸 응답은 불성실할 가능성이 높죠.
짧다는 기준은 주관적이긴 한데,
심하게 짧은 수준으로 정의하면 됩니다.
예를 들어,
대부분 리커트 척도로 구성된 30문항 설문은
1분 이내 응답은 불성실 응답으로
간주할 수 있습니다.
응답 시간을 확인할 수 있는 서비스는
타입폼, 서베이몽키(유료), 퀄트릭스(유료)
등이 있습니다.
GTM(Google Tag Manager)를 활용하면
모든 서비스에서 측정이 가능한데,
이는 설정이 어렵습니다.
2. 역문항 설계 :
예를 들어, 아래와 같이 응답하면
문항을 읽지 않은 불성실 응답이죠 :)
Q1: “나는 혼자 있는 걸 좋아한다.” → 그렇다
Q2: “나는 혼자 있는 것이 싫다.” → 그렇다
이러한 역문항은 텀을 두고 넣습니다.
ex) 30문항 설문 중 5번, 25번 문항
3. 특정 선지 응답 요구 :
'이 문항은 4번 응답 부탁드립니다',
'이 문항은 전혀 그렇지 않다 응답 부탁드립니다' 등
주변의 문항의 형태와 비슷하게 구성하여
특정 선지의 응답을 요구하는 방법이 있습니다.
현재 진행하고 있는 설문에는
위와 같이 자연스럽게 넣었습니다.
이렇게 객관식 그리드로 진행하는 경우도 많은데,
5번에 자연스럽게 들어가 있죠.
이 방법이 효과적인 것 같습니다.
4. 일관성 체크 :
2번과 비슷한 방법인데,
유사한 질문을 여러 번 다양한 방식으로 묻고
일관성을 확인하는 방법입니다.
이 장치는 너무 많이 해둘 경우,
응답자가 불편해할 수도 있습니다.
5. 패턴 감지 :
이는 장치를 해두는 것은 아니고,
데이터를 분석할 때 일렬 응답 혹은
패턴 응답을 거르는 방법입니다.
일렬 응답은 불성실 응답으로 간주할 수 있지만,
패턴 응답은 애매할 수 있어
다른 방법을 동원하는 것이 좋습니다.
6. 주관식 응답 품질 확인 :
주관식을 성실하게 응답하는 것을 통해서도
확인할 수 있습니다.
'123', '몰라요' 등의 응답을 한 데이터는
불성실 응답으로 간주하는 것이죠.
7. 퀴즈 :
위와 같이 상황이나 실험물을 제시하고,
퀴즈를 내는 방법이 있습니다.
실제로 진행했던 사례이고,
정답이 아닌 응답을 한 분이
10% 정도 있었던 것으로 기억합니다.
이렇게 해서 이번 포스팅에서는
설문조사를 진행할 때 불성실 응답을 걸러
신뢰도를 높이는 방법에 대해 다뤄보았습니다.
설문조사 설계/입력/응답/통계 서비스가 필요하시다면
문의 탭을 통해 편하게 연락 부탁드립니다 :)
이상으로 글 마치도록 하겠습니다.