사행산업통합감독위원회(이하 사감위)는 2010년에 이미 사행산업 이용실태조사를 실시한 적이 있습니다. 기준 년도가 2009년이었으니 2012년에 하게 되면 3년 만에 다시 실시를 하게 되는 것이지요. 제가 알기로 중장기 발전 계획안에 이미 포함되어 있는 내용이고 한국의 도박 문제가 3년 동안 어떤 변화가 있었는지 살펴보겠다는 취지에서 실시하는 조사입니다.
그런데 이번 사행산업 이용실태조사는 문제점이 한 두가지가 아닙니다. 가장 문제가 되는 몇 가지만 짚어보자면,
* 태부족인 표본 수
일반인 표본 3,000명, 이용객 4,000 명 대상인데 소위 전국 실태조사라면서
일반인 표본보다 이용객의 표본 수가 더 많은 것도 코미디지만(사행산업체를 표적으로 삼았다는 게 너무 티나잖아!! 제목부터 전국 실태조사가 아님~), 둘을 합해도
7,000 명에 불과하다는 게 더 문제입니다.
일반적으로 역학지표 추정 시 필요한 표본 수 산정 기준은 모집단의 수, 기대유병률(2010 사감위 조사의 문제성 도박 1.7%, 2009년 마사회 조사의 문제성 도박 1.4%), 신뢰 수준(보통 95%), 최대허용오차, 응답율 등의 산출 조건을 고려하여 표본 수를 산정합니다.
도박 중독 분야에서 시행된 국가 차원의 도박중독 유병률 조사의 표본은 인구대비 평균 0.038% 정도 됩니다. 이를 적용하면 우리나라의 경우 최소한 1만 명 이상을 표집해야 합니다. 그래서 2009년 마사회 전국실태조사에서는 2만 명을 표집했던 것이고요. 그래서 현장 전문가들이 2010년 조사 때에도 표본 수를 늘려야 한다고 그렇게 건의했건만 싹 묵살했고 이번에도 역시나 턱없이 모자라는 표본을 추출하겠다고 합니다. 그래놓고 또 전국 실태조사 결과라고 구라치겠지요? 참으로 낯뜨거워서 얼굴을 못 들겠습니다.
* 측정도구 문제
현재 사감위에서 도박 중독을 진단하는 도구로 사용하는 게 바로 CPGI입니다. 말도 많고 탈도 많은 도구라서 사감위를 빼고는 아무도 이 척도를 사용하지 않습니다. 중간에 K-CPGI로 바뀌기까지 했죠. 그래도 유병률 과다 추정 문제가 계속 제기되자 3년에 걸쳐 KGBS라는 변별 척도를 개발했습니다. 작년에 아주 자랑스레 발표를 했죠.
그런데 정작 2012년 실태조사에서는 CPGI를 다시 사용한답니다. 2010년 결과와 비교를 해야 한다나요. 그래서 그럼 KGBS를 main 척도로 하고 CPGI를 sub로 사용하라고 했더니 이미 결정되었기 때문에 변경할 수 없답니다. @.@
근데 웃긴 건 KGBS 개발 당시에 연계 타당성 검증을 위해 CPGI도 자료를 수집했거든요. 그랬더니 CPGI의 cut-off score(기준점)가 문제성 도박의 경우 11점에서 8점으로, 중위험 도박의 경우 5점에서 3점으로 낮아졌다는 사실이 밝혀졌습니다. 이건 사감위에서 정식으로 발표한 보고서에 수록된 내용입니다. 무슨 이야기냐 하면 9점이나 10점으로 측정된 사람은 사실 문제성 도박자가 아닌데 2010년 실태 조사에는 문제성 도박자로 분류가 되었다는 것이죠. 이 말은 곧
도박중독 유병률이 과대 추정되었다는 고백과 다를 바 없습니다.
그러니 2010년에 사용한 CPGI를 2012년 연구에도 사용해서 추이 분석을 하려면 2010년 결과의 기준점을 상향 적용하여 한국의 도박중독 유병률을 재발표해야 합니다. 그렇게 되면 사감위가 공포 마케팅을 한 것이 만천하에 드러나기 때문에 절대로 그렇게 하지 않을 겁니다. 그러면 어떻게 할까요. 당연히 2012년 CPGI의 기준점도 하향 조정된 상태에서 비교할 겁니다. 그렇게 공을 들여 개발한 KGBS의 연구 결과를 스스로 부정하는 꼴이죠. 이런걸 삽질이라고 하지 않으면 뭘 삽질이라고 하겠습니까. 그것도 국민의 세금 들여서 하는 삽질이죠.
* 표본 추출 방법 문제
사감위는 이용객을 대상으로 표본을 추출할 때 사행산업의 매출 규모를 고려하여 추가 배분하겠다고 말합니다. 이건 곧 베팅액이 크면 도박중독 유병률이 높다는 전제하에서 하는 것인데 이 전제는 검증된 것이 아닙니다. 그냥 근거도 없이 제멋대로 하는거에요. 오히려 실태조사는 인구집단 연구이기 때문에 이용자 수를 고려하여 비례배분하거나 Blazczynski & Nower(2002)가 제안한 접근성과 가용성 등의 생태적 환경기준에 따라 전국 장외 및 지점(매표소)의 수를 고려하여 비례배분하는 것이 타당합니다.
하지만 그렇게 되면 수천 개에 이르는 스포츠 토토와 로또 판매점, 복권방이 포함되기 때문에 그렇게 안 하는겁니다. 그저 자료 수집하기 좋고 때리기 좋은 사행산업체만 두들겨 패는 것이죠.
그 밖에도 소소한 문제점까지 다 이야기하면 밤을 새야 하니 이 정도만 하겠습니다.
시작부터 이런데 나중에 결과 나오면 자료 조작해서 얼마나 유병률을 뻥튀기 할런지 참 한심합니다.
덧. 어제(2월 2일) 사감위는 자문단, 감리단, 사행산업체의 전문가들을 모두 불러 모아놓고 공청회를 했습니다. 당연히 제가 위에서 정리한 사안들이 모두 제기되었는데 사감위 담당 사무관의 공식 답변이 무엇인지 아십니까? 조달청에 의뢰하여 갤럽과 이미 계약된 상태이므로 실무적으로 표본 수, 조사 척도의 변경은 불가능하다입니다. 그러니까 이미 이렇게 저렇게 하기로 다 정해놓고 바꿀 수도 없는 상태에서 유관 기관 다 불러모아서 들러리 세웠다는 말이죠. 울트라 그레이트 빅엿을 대놓고 처 먹인 겁니다. 뭐 예상 못한 바도 아닙니다만... 훗..
이 글의 트랙백 주소 :: http://walden3.kr/trackback/2838
이 자료는 (주)하이원에서 운영하는 KLACC의 강성군 선생님, 충남대 심리학과의 김교헌 선생님, 경상대 심리학과의 이민규 선생님, 대구사이버대 미술치료학과의 임지영 선생님이 한국 건강심리학회지(2010, Vol 15, No. 3, 569-581)에 publish한 '도박중독의 측정: KNODS, KCPGI 및 KSOGS의 비교' 논문의 요약 및 나름의 분석입니다.
이 논문을 간단히 요약하면 다음과 같습니다.
* 연구 대상 : 국내 카지노 이용자 1,375명
* 측정 도구
- K-NODS, K-SOGS, K-CPGI
- 도박행동 관련변인
(도박 시작 연령, 하루 최대 판돈, 카지노 출입 월 평균 횟수, 1일 평균 도박 시간, 1회 방문 시 체류 기간)
* 분석 방법 : 내용 분석, 신뢰도 분석, 요인 분석, 상관 분석
* 연구 결과 1. K-SOGS가 도박중독 유병률을 과대추정하는 이유는 돈을 빌리는 출처에 관한 문항이 45%에 달하기 때문2. 측정내용, 신뢰도, 타당도, 분류 일치율의 측면에서 살펴보았을 때 K-CPGI가 심리측정적으로 가장 적절한 도구임
개인적으로 이 논문은 문제라고 생각되는 점이 한 두 가지가 아니라서 comment가 좀 많기 때문에 관심있는 분들만 보시기 바랍니다. 솔직히 김교헌, 이민규 선생님의 이름이 들어간 논문이 이 정도 수준이라니 매우 놀랐습니다.
* 월덴지기의 comment
* 조사 대상의 문제
: 연구자들도 제한점에서도 밝히고 있지만 사행산업 이용객을 대상(도박 중독자가 아니라)으로 한 연구라는 본질적인 한계가 있으며 일반인을 대상으로 하도록 개발된 K-CPGI를 사행산업 이용자인 카지노 이용객에게 적용하는 것 자체가 결과의 해석 및 일반화 가능성에 심각한 제약이 될 것으로 보임.
* 내용 분석의 문제
1) McMillen & Wenzel(2006) 분류 범주의 문제
: 도박 중독 진단의 중요 기준 중 하나인 ‘금단 증상’이 범주에 아예 포함되어 있지 않은 것은 도박 중독을 장애 모형의 관점에서 보지 않겠다는 이론적 전제를 이미 하고 있는 것이므로 이처럼 포괄성이 낮은 분류 범주를 사용하는 것 자체가 문제. 굳이 예를 들자면 1미터 짜리 줄자로 1.2미터 호수의 수심을 측정하겠다고 덤비는 꼴.
2) McMillen & Wenzel(2006) 범주에 대한 문항 할당의 문제
2-1) 내용 분석에서 연구자들이 ‘문제 인식’ 범주로 분류한 K-NODS의 문항은 ‘재정적 문제에 대한 구조요청’이 주 내용이므로 문제 인식이 아니라 ‘금전 문제’ 범주로 분류하는 것이 타당함.
2-2) 금전 문제를 제외한 ‘관계 손상’ '타인의 비난‘ 등 도박 중독의 폐해를 입증하는 중요한 구성 개념을 부정적 결과(개인)라는 단일 범주로만 분류하고 있어 각 척도 고유의 내용 차이를 전혀 반영하지 못하고 있음.
3) 내용 분석 절차의 문제
: 내용 분석을 어떤 연구자가 어떤 과정을 거쳐 실시했는지에 대한 절차 설명이 전혀 없음. 내용 분석은 질적 자료를 양화하는 과정이므로 주관성의 영향을 많이 받는 취약성이 있기 때문에 적절한 자격을 갖춘 전문가가 적절한 과정을 거쳤는지가 중요한데 본 연구에는 이 부분이 누락되어 있음.
4) 내용 분석 결과 해석의 문제
: 연구자들은 내용 분석 결과 세 척도가 내용 측면에서 크게 다르지 않다고 결론을 내렸지만 정작 11개의 범주 중 세 척도에서 모두 발견되는 범주는 단 4개에 불과하여 36%의 내용만 공통되는 것으로 나타남. 게다가 앞서 지적한 것처럼 ‘문제 인식’ 범주로 분류한 K-NODS의 문항을 ‘금전 문제’ 범주로 재분류하면 그나마 3개로 줄어듦.
* 구성 개념 타당도 문제
: 본 연구에서는 K-NODS가 2요인 구조를 이루는 것으로 나타나 K-NODS를 사용한 기존 연구들에서 일관되게 1요인 구조가 산출된 것과 다른 결과인데 이에 대한 설명이 전혀 없음.
* 준거 관련 타당도 문제
: 준거 관련 타당도는 검사 도구에 의한 점수와 어떤 준거와의 상관계수에 의해 검사 도구의 타당성을 검증하는 방법으로 다른 검사 점수가 준거로 사용되는 경우 공존 타당도(concurrent validity)라고 함. 이 때 중요한 것은 기존에 타당성을 입증받은 검사와의 관계를 통해 검증하는 것이므로 본 연구에서 공존 타당도를 검증하려면 5개 도박 행동 관련 변인과 도박 중독 또는 도박 문제의 관계에 대한 타당성이 기존에 입증되어 있어야 함. (그렇지 않으면 연구자가 타당도가 높을 것으로 판단되는 변인을 임의로 선택해 사용할 수 있으므로). 따라서 최소한 카지노 이용객을 대상으로 한 타당도 연구 결과 등 관련 근거가 제시되어야 함. 실제로 다섯 변인 중 ‘도박 시작 연령’ 변인은 세 척도와의 상관이 모두 유의미하지 않았으며 상관이 가장 높은 ‘도박 경험 중 하루 최대 판돈’ 변인과의 상관도 .40에 불과하여 설명량이 16%에 불과한 것으로 나타나 과연 이 준거 변인들이 도박 문제와 밀접한 관계가 있는 변인인지에 대해 의구심을 거둘 수가 없음. 따라서 K-CPGI가 상대적 예측력이 높다는 결과는 아무런 의미가 없는 결과일 수도 있음(이 논문의 가장 큰 문제).
* 분류 일치성 문제
1) 신뢰도, 구성 타당도, 준거 관련 타당도가 높다는 근거로 K-CPGI를 기준으로 분류 일치율을 살펴보았으나 신뢰도가 높다는 것이 타당도가 높다는 것을 담보하지 않으며 구성 개념 타당도와 준거 관련 타당도 모두에서 문제가 발견되었으므로 K-CPGI를 기준으로 분류 일치율을 구하는 것이 부적절함. K-NODS, K-SOGS를 기준으로 한 분류 일치율을 비교해 볼 필요가 있겠음.
2) 본 논문의 결과 말미에서 K-NODS와 K-SOGS의 분류는 문제 도박자 집단에서 거짓 음성(false negative)의 오류가 높다고 주장했으나 표 4에 따르면 K-CPGI에서 문제 도박으로 구분된 사람 중 K-SOGS에서 문제없음으로 분류된 사람의 비율이 4.8%, K-NODS에서 저위험 도박자로 분류된 사람의 비율은 0.8%에 불과하므로 거짓 음성의 오류가 높다는 주장 자체가 잘못된 것임.
이 글의 트랙백 주소 :: http://walden3.kr/trackback/2478