통계 분석 결과가 얼토당토 않게 나왔다는 건 흔히 이야기하는 '별이 뜨지 않은' 경우가 아니라 나와서는 안 되는 결과가 나온 경우를 말합니다.
예를 들어 -값이 나올 수 없는 영역에서 -값이 나왔다든가, 0~1 사이의 값이 나와야 하는 분석에서 2.7이 나왔다든가 하는 경우입니다. +값이 나와야 하는 상황에서 -값이 나오는 식으로 방향이 정반대인 산출 결과가 나오는 것도 포함됩니다.
전혀 예상치 않은 결과가 나왔기 때문에 분석자는 당황하기 마련인데 이럴 때 살펴봐야 하는 내용은 다음과 같은 것들이 있습니다.
1. 원자료 점검
:
위에서 설명한 경우의 90% 이상은 원자료(엄밀히 말하자면 코딩 실수)의 문제 때문에 발생합니다. 통계 분석 과정에서 이런 상황이 발생하는 경우는 의외로 그리 많지 않습니다. 따라서 역채점 문항이 있는지 모르고 정방향으로 채점한 변인(이 경우가 굉장히 많음)이 섞여 있거나 composite variable을 구성하는 과정에서 실수를 했거나 누락값이나 outlier를 처리하는 과정에서 뭔가 실수를 했거나 하는 경우에 위의 상황이 발생합니다.
이를 점검하기 위해서는 sample size가 크지 않은 임상, 상담 연구라면 원자료를 완전히 처음부터 다시 코딩하는 것도 하나의 방법입니다. 점검 과정이 그리 녹록지 않기 때문이죠. 하지만 sample size가 큰 양적 연구라면 재코딩을 하는 것이 큰 부담일테니 통계 분석 flow에 맞춰 하나하나 살펴봐야 합니다. 이 때 일을 줄이기 위해서는 분석 과정을 미리 flow chart로 만들어 놓고 각 분석 단계마다 명령어 파일(SPSS라면 Syntax 파일)을 순서대로 저장해 놔야 합니다. 그러지 않으면 나중에 하나하나 살펴보는데 너무 많은 시간이 걸리게 되니까요. 이런 실수 때문이 아니더라도 통계 분석을 할 때에는 각 단계마다 항상 명령어와 결과물을 잘 정리해놔야 합니다.
2. 선행 연구 재점검
: 통계 분석에 아무런 오류가 없는 경우 생각해 볼 수 있는 하나의 가능성은 연구 가설 설정이 잘못되었을 수 있습니다. 선행 연구에 대한 review가 충분하지 않아서 실제로 -값이 나올 수 있는 관계인데 +값이 나오는 연구 결과만 참고하여 가설을 설정했을 수 있습니다. 시간에 쫓겨 가장 핵심이 되는 선행 연구 중심으로만 연구 가설을 설정하면 그렇게 되기 쉬운데 major journal에서부터 키워드 검색을 통해 최신 연구 동향을 다시 살펴볼 필요가 있습니다.
이 글의 트랙백 주소 :: http://walden3.kr/trackback/4055
제목이 그래서 그렇지 사실 임상심리학 분야에만 국한된 내용은 아니라서 분류는 '임상심리'가 아닌 '심리학 일반' 범주에 넣었습니다.
논문 supervision을 하면서 선생님들이 초기에 가장 힘들어 하는 부분을 간략하게나마 한번 요약해 봤습니다.
* 어떤 종류의 논문을 쓸 것인가 : 논문의 유형 선정
임상심리학 분야의 논문은 난도(?)에 따라 대략 3단계로 분류해 볼 수 있습니다.
1단계 논문
: 제가 'How about 논문'이라고 부르는 유형으로 특정 장애의 심리적 특성이나 실태, 현황을 description을 통해 보여주는 논문입니다. 주로 기술 통계적 기법을 사용하기 때문에 연구 방법론이 어렵다기보다는 기존에 많이 다루지 않은 특이한 장애를 대상으로 하다보니 접근성(accesibility)을 확보하는 것이 핵심이죠. 예를 들자면 성 정체감 장애의 심리적 특성을 보여주는 연구가 이 유형에 속합니다.
2단계 논문
: 제가 'How much 논문'이라고 부르는 유형으로 집단의 차이를 보여주는 연구입니다. 집단 간 차이가 유의미하냐가 중요하기 때문에 카이스퀘어 검증이나 T검증, 변량 분석 등의 통계 기법을 많이 사용합니다. 연구 설계 당시부터 통제 집단을 설정해야 하는 경우가 많고 비교 집단도 2개 이상을 상정하곤 합니다. 예를 들자면 정상 성인 집단, 도박 중독 집단, 알코올 중독 집단의 자극 추구 기질 차이를 알아보고자 하는 연구가 이 단계에 속합니다.
3단계 논문
: 제가 'Why 논문'이라고 부르는 유형으로 상관 관계, 가능하면 인과 관계와 관계의 정도를 설명하고자 시도하는 연구입니다. 간단히 설명하자면 2단계 논문에서 다루는 차이가 왜 나타나는지를 밝히려는 연구가 3단계에 속합니다. 주로 중다 회귀 분석 이상의 고급 통계 기법을 사용하고 공변량 구조 분석을 이용한 모형 검증을 하는 연구도 많습니다. 예를 들자면 '도박 중독은 왜 알코올 중독보다 더 쉽게 재발하는가'에 대한 답을 구하는 연구가 이 단계에 속합니다.
* 논문을 쓰기 위해 어떻게 감을 잡는가
호기심 -> 궁금증 -> 선행 연구 review -> 연구 설계
아주 간략하게 도식화했지만 논문을 쓰기 위해서 가장 중요한 건 호기심입니다. 공부를 하다가 생긴 호기심이건, 현장에서 심리평가나 상담을 하다가 생긴 호기심이건 '대체 뭘까?'하는 호기심의 끈을 일단 붙잡아야 뭐가 되도 됩니다. 개인적으로 호기심이 없다면 제대로 된 논문을 쓰는 건 물 건너 갔다고 보는 편입니다. 호기심이 있어야 흥미가 생기고 흥미가 생겨야 열심히 하지 않겠어요?
호기심이 생겼다고 땡이 아니라 일단 호기심이 생겼으면 그 다음에는 본인에게 호기심을 유발한 현상 또는 사건을 머릿속으로 계속 만지작거리면서 궁금증을 이끌어내야 합니다.
어느 정도 궁금증이 모양을 갖추고 가지를 쳤으면 그 다음에는 기존에 실시했던 선행 연구를 review해야 합니다. 자신은 기상천외한 발상이라고 생각하겠지만 의외로 이미 연구되어 논문으로 발표되었을 가능성도 꽤 크거든요. 그래서 엄한 시간 낭비를 하지 않으려면 내가 궁금해 하는 주제에 대해 꼼꼼하게 디벼보는 작업이 꼭 필요합니다.
선행 연구를 review하면서는 어떤 방향으로 연구를 할까 생각을 정리하고, 그런 생각을 다듬고 난 다음에는 거기에 맞는 연구 설계를 해야 합니다. 실험 연구를 할 지, survey를 할 지, 질적 연구를 위해 인터뷰를 활용할 것인지 등등의 내용은 모두 연구 설계에 따라 결정되는 것이죠.
* 선행 연구를 어떻게 review 하는가
선행 연구를 review하는 방법은 크게 두 가지 정도로 나누어 볼 수 있습니다.
1) Handbook 등을 찾아서 reference를 일별하면서 대가의 논문을 중심으로 review 하는 방법
자신이 연구하려고 하는 주제를 다룬 handbook이 있다면 일단 그 handbook은 반드시 읽어야 합니다. handbook은 일종의 연구 역사서라고 할 수 있으니까요.
handbook을 읽으면서 각 글 꼭지에 달린 references(그 중에서도 최신 연구 중심)를 꼼꼼히 정리해 보면 그 쪽 분야의 연구가 어떤 방향으로 진행되어 왔고 어떤 추세로 진행되어 가는지, 그리고 누가 최고수인지를 자연히 알게 됩니다. 그러면 최고수의 최신 연구를 기준해서 내 연구를 어떻게 설계해야 할 지 아이디어를 얻을 수 있죠.
2) 논문 검색 엔진에서 키워드 검색을 통해(최근 기간으로 범위를 잡아서) 리스트된 논문 중 major journal 위주로 뽑아서 관심 분야의 최근 경향을 파악하는 법
일단 RISS4U, KISS, DBpia, e-article 등의 국내 학술 DB 및 검색 엔진과, PubMed, ScienceDirect, ISICC 등의 국외 학술 DB 및 검색 엔진을 활용하는데 키워드 검색을 통해 1) 최근 5년 안쪽의 논문을 중심으로, 2) SCI, SSCI에 등재된 major journal 위주로 정리하여 관심 주제의 최근 연구 경향을 파악하는 방법도 있습니다.
대부분의 학술 DB는 유료지만 학교, 병원에 소속된 사람이라면 무료로 접근이 가능할 겁니다.
만약 그런 DB를 활용하기가 어렵다면 그 정도로 풍부한 자료는 아니지만 구글에서 제공하는 Scholar.google.com 검색 엔진을 통해서도 원문 PDF를 꽤 많이 구할 수 있습니다.
이 글의 트랙백 주소 :: http://walden3.kr/trackback/2915