교육연구2010/09/19 15:29

실험설계

실험연구란 실험을 통하여 현상들간의 인과 관계를 규명하기 위한 연구 방법론이다. 그러므로 원인변수와 결과변수의 순수한 관계를 혼동시키는 외생변수를 통제(영향을 방지 또는 제거)한 상태에서 연구자가 원인 변수를 조작하여 대상자를 서로 다른 조건에서 무작위로 할당하여 실시하는 연구이다. 실험 연구는 외생변수의 통제, 실험변수의 조작화, 실험대상의 무작위화 등의 세 가지 기준에 의해 순수실험, 유사실험, 원시실험으로 다시 분류한다. 실험설계는 크게 준실험설계(準實驗設計; 유사실험설계)와 진실험설계(眞實驗設計)로 구분되는데, 이들의 하위유형에 대하여 구체적으로 살펴보면 다음과 같다(오만록, 2002). 

실험설계의 조건(maximin-con): 실험 변수의 인과관계를 검증하는 설계

1)인과관계(causal relationship)

I. V.(독립변수)와 D. V.(종속변수)는 correlation이 있다.

I. V.와 D. V.는 time order 가 있다.

I. V.와 D. V.의 관계는 제 3의 변수의 영향이 없어야 한다.

2)특성

조작(manipulation): 실험효과의 극대화

순수실험설계 혹은 유사실험설계에서 연구자에 의해 도입된 중재 혹은 처치이며 연 구자가 종속변수에 미치는 독립변수의 영향을 사정하기위해 강도를 조절하는 것

통제(control):오차변량의 극소화, 외생변수의 control

무작위화(randomization): 오차변량의 극소화, 실험연구에서는 대상자에게 동등한 선택기회를 부여한

상태에서 처치 조건에 할당하는 것이며 이를 무작위 배정이라고도 함

(1)실험효과 변량의 극대화(by manipulation)

조작화 (manipulation, treatment): 연구자가 연구대상자 일부에게 실험적 처치를 가하는 것

실험군 (experimental group): 실험적 처치 혹은 중재를 받는 집단으로 대조군에 대비되는 집단

대조군 (control group): 실험처치를 받지 않는 상태에서 실험에 참여하고 있는 대상자를 말하며 이 집단의 종속변수의 값은 기준선을 제공하므로 이 기준선과 대조하여 실험군 의 처치효과를 측정할 수 있다. 종속변수에 영향을 미칠 수 있다고 판단되는 요인이나 상황이 실험군과 가능한 한 비슷한 대상자들로 구성되며 실험처치 를 제외하고는 연구 중의 모든 조건을 동등하게 유지하는 것을 원칙으로 하 며 일명 통제군이라 함

(2)오차변량의 극소화(by control): 독립 변수를 제외한 모든 변수의 조건을 똑같거나 유사하게 유지  

외생변수의 통제

1)randomization

random assignment(무작위 할당): 모든 연구대상자가 일정한 집단에 할당될 확률이 동일

2)외생변수의 동질성

3)외생변수를 블록 변수(blocking variable)로 연구설계 내에 독립변수로 포함

4)matching(짝짓기법): 순수한 실험설계만을 추출해 내기위한 외생변수의 통제방법 중의 하나로서 대상 자의 특성 중 외생변수로 작용하는 변수가 동일하거나 유사한 자를 짝을 지어 각 기 다른 집단에 배치시키는 방법. 집단들을 전체적으로 비교하는 것을 강화하기 위해 시행

5)통계적인 통제법: 공변량 분석(ANCOVA)

한 개 혹은 그 이상의 공변수를 통제하면서 서로 다른 집단에 대한 한 가지 혹은 그 이상의 처치 효과를 검정하기위한 통계적 분석방법

6)중복 노출: 반복측정 설계(repeated measure design): counter balanced design 

순수 실험

순수실험에서는 외생변수의 통제, 실험변수의 조작화, 실험대상의 무작위화 등 세 가지 조건을 모두 만족하는 상태에서 수행하는 연구 방법론이다. 실험 대상자를 무작위로 실험군이나 대조군에 할당하여 실험군에 속한 대상자에게는 원인변수를 투입하고, 대조군에 할당된 대상자에게는 원인변수를 투입하지 않는 상태에서 두 집단의 결과변수가 어떻게 나타나는지를 측정하거나(무작위 통제군 사후 실험), 소규모 순수실험연구에서 가장 널리 사용되는 것으로, 이는 사전에 실험군과 대조군을 조사하여 두 집단의 동질성을 보장한 후, 대상자를 실험군과 대조군으로 무작위 할당하여, 실험군에는 원인 변수를 투입하고 대조군에게는 원인변수를 투입하지 않으며, 결과변수는 원인변수의 처치 전후로 적어도 두 차례에 걸쳐 측정하게 된다(무작위 통제군 전후 실험). 적어도 하나 이상의 원인 변수를 적절히 조작함으로써 예상되는 체계적 변량을 극대화하고, 통제나 무작위화에 의해 외생변수를 통제하여 오차 변량을 극소화하는 것이 중요하다. 조사 대상자의 표집 방법에는 완전 무작위 방법과 무작위 블록 방법이 있다. 완전무작위방법은 한 개의 원인변수에 대하여 집단이 2개 이상인 경우 대상자를 무작위로 할당하는 방법이며, 분석은 일원변량분석으로 한다. 무작위블록방법은 한 개의 원인변수와 한 개의 결과변수간의 관계를 검증하는 것으로 완전무작위 설계와 다른 점은 원인변수 이외에 하나의 블록을 추가하는 것이다. 이원변량분석으로 분석한다. 

순수 실험연구의 장점과 단점

장점 : 변수들 사이의 인과 관계에 대한 가설을 검정하기 위해 과학자가 이용할 수 있는 가장 강력한 방법 인과적 관계가 추론 될 수 있다

단점 : ① 성별, 키, 지능과 같은 인간의 특성이나 날씨와 같은 환경적 특성의 대다수는 흔히 종속변수나 독립변수에 영향을 미치면서 실험적으로 통제하기 어려운 변수이며 여러 가지를 통제하는데 제한 점이 있다.

② 윤리적인 문제 때문에 조작이 어렵다.

③ 단순히 실행 불가능하기 때문에 실시할 수 없는 경우

④ hawthorne효과와 후광 효과에 유의해야 한다. 이중차단장치 사용이 필수적 

순수 실험설계

a. randomized(equivalent) control group pre-post test design (무작위 대조군 전후설계)

대조군 설정, 실험군과 대조군에 무작위 할당, 사전·사후 조사하는 실험 설계 방법

b. randomized (equivalent) control group post test only design(무작위 대조군 사후설계)

대조군 설정, 실험군과 대조군에 무작위 할당, 사후조사만 하는 실험 설계 방법

사전조사 처치(조작) 사후조사

실험군(무작위 할당)   X   Ye2

대조군(무작위 할당)       Yc2

c. solomon four group design: 실험군이 2, 대조군이 2 인 설계

사전조사 처치(조작) 사후조사

실험군(무작위 할당)   Ye1   X   Ye2

대조군1(무작위 할당)  Yc1       Yc2

대조군2(무작위 할당)        X   Yc2

대조군3(무작위 할당)            Yc2

d. completely randomized design(CR-p 설계)

+p => 3처리수준을 갖는다.

+ 각 개체가 단지 한 수준의 처리를 받도록 개체에 처리 수준을 무작위 배정한다.

e. randomized block design (RB-p 설계): 확률화 (무선) 블록 설계

+ 한 블록 안의 실험 집단에 각 처리가 무선적으로 배치된 실험계획

+ 주 관심은 처리 변인이며 블록 변인은 오차변인을 통제하기 위한 것으로 블록 변인의 수준 간에 차이가 있으리라는 가정 하에 블록 변인의 수준이 결정된다.

f. Latin-square design(라틴 방격 설계)

+ 블록 변수가 2일 때

+ 모든 행과 열에 같은 처리가 단 1회만 나타나는 특징이 있다.

+ 모든I. V.변수의 수준은 동일하다.

g. repeated measures design(반복 측정 설계)

피험자내 설계(within subjects design)

같은 개체 또는 동질적인 개체들은 실험 단위로 하여 여러 처리간의 여러 다른 시점에서의 차이를 비교하는 방법

* 이월 효과 (carry-over effect):한 처리의 효과가 미처 사라지기 전에 다음 처리를 할 때 기존 처리의 영향력이 반영되는 것(처리 간격 충분히, cross-over design 고려)

h. completely randomized factorial design (CRF-pq설계): 완전 확률화 요인 설계

p * q factorial design

+ p, q = > 2의 처리수준을 갖는다.

+ 각 실험 개체는 단지 한 처리 조합에만 노출된다. 

1) 사후검사 통제집단 설계(posttest-only control-group design)

피험자들을 표집하여 두 개의 집단, 즉 실험집단과 통제집단에 무선적으로 배정한 후, 사전검사는 실시하지 않고, 실험집단에는 프로그램(실험처치)을 실시하고, 통제집단에는 프로그램을 실시하지 않는다. 그 다음 두 집단에 사후검사만을 실시하여, 이들 두 집단의 사후검사치의 차로써 프로그램의 효과를 확인하는 방식이다. 이를 도식화하면 다음과 같다. 여기에서 R은 피험자들의 무선 표집(random sampling)되었음을 나타낸다.

R X O

R X O

사후검사 통제집단 설계에서는 무선적 방법으로 실험집단과 통제집단을 나누고, 사전검사를 실시하지 않기 때문에 실험의 내적 타당도를 위협하는 대부분의 요인들을 통제할 수 있고, 사전검사와 실험처치간의 상호작용에 의한 영향도 막을 수 있다. 이 방법은 사전검사가 불필요한 경우, 피험자의 익명이 요구되는 경우, 그리고 사전검사와 실험처치의 상호작용이 예상되는 경우 등에 유용하게 사용할 수 있다.

2) 사전-사후검사 통제집단 설계(pretest-posttest control-group design)

이는 가능한 한 무선적 방법으로 피험자들을 표집하여, 이들을 실험집단과 통제집단에 무선적으로 배정한 후, 이들 두 집단에 사전검사를 실시하고 일정한 기간이 경과한 후 무선적으로 실험집단을 선정하여 그 집단에게는 프로그램(X)을 실시하고, 다른 집단(통제집단)에게는 아무런 프로그램도 실시하지 않은 다음, 다시 두 집단을 대상으로 사후검사를 실시하여, 이들 두 집단의 사전-사후검사치의 차로써 프로그램의 효과를 확인하는 방법이다. 이를 도식화하면 다음과 같다.

R O₁ X O₂

R O₁ X O₂

사전-사후검사 통제집단 설계에서는 실험의 내적 타당도를 위협하는 요인들을 대부분 통제할 수 있다. 이 설계는 피험자들을 실험집단과 통제집단에 무선배치하기 때문에 역사, 성숙, 검사, 도구사용, 피험자 선정과 같은 요인들이 프로그램의 효과에 미치는 영향을 통제할 수 있다. 그러나 이 방법도 사전검사와 사후검사 사이에 개입될 수 있는 피험자 개개인의 특수 사건은 여전히 통제하기 어렵다.

3) 솔로몬 4집단 설계(Solomon four-group design)

이는 사전-사후검사 통제집단 설계의 결함을 보완하기 위해 사전검사를 실시하지 않은 두 개의 집단을 추가한 방법을 말한다. 이 방법은 1949년에 솔로몬(Solomon)이 고안한 것으로서, 이를 도식화하면 다음과 같다.

R O₁ X O₂

R O₁ X O₂

R O1  X O₂

R O1  X O₂

이 방법은 피험자를 네 개의 집단에 무선 배정한 다음, 첫째 집단에는 사전검사를 실시하고 실험처치를 한 후 다시 사후검사를 실시하고, 둘째 집단에는 사전검사를 실시하고 일정한 시간이 흐른 후 실험처치 없이 사후검사를 실시하며, 셋째 집단에는 사전검사 없이 실험처치를 가하고 사후검사만을 실시하고, 넷째 집단에는 사후검사만을 실시한다.

솔로몬 4집단 설계는 그 복잡성이 다소 문제되지만, 실험설계의 타당성을 확보한다는 입장에서 볼 때 가장 이상적인 형태의 실험설계라고 말할 수 있다. 다시 말하면, 실험설계의 타당성에 영향을 미치는 가외변인들을 거의 통제할 수 있고, 그러한 가외변인의 효과가 어느 정도 되느냐 까지를 측정해 낼 수 있다. 그러나 피험자 선정과 처치의 상호작용(selection-treatment interaction)에 따른 문제라든지, 실험배치의 반동효과(reactive effects of experimental arrangement; 실험상황이 자연스런 일상적 상황과 차이가 심해 피험자가 실험에 참여하고 있다는 사실을 인식함으로써 발생하는 여러 영향들)의 문제는 여전히 미해결상태로 남게 되며, 실험과정과 그 결과의 분석이 약간 복잡하다는 단점을 가지고 있다. 따라서 다음과 같은 경우에는 구태여 복잡한 이 방법을 사용할 필요가 없을 것이다. 즉, 사전검사를 실시한 후 오랜 시간이 흐른 다음에 사후검사를 실시할 경우, 사전검사와 사후검사가 서로 다른 경우, 일상적인 과정에서 검사가 실시되기 때문에 피험자들이 지금 특별한 검사를 받고 있다는 생각을 갖지 않는 경우에는 굳이 이 방법을 사용할 필요가 없다. 

4) 요인설계(factorial design)

지금까지 설명한 실험설계에서는 독립변인 하나만을 변화시키고 기타의 모든 상태는 일정하게 유지하는 것을 공통원리로 삼는 것이었다. 그러나 우리 주변에서 일어나는 대부분의 현상은 매우 복잡하므로 그와 같은 통제가 용이하지 않을 경우가 많다. 독립변인 하나의 영향만을 확인하는 경우보다는 두 가지 이상의 독립변인이 상호 작용하여 미치는 영향을 확인하게 되면 훨씬 더 구체적이고 값진 정보를 얻을 수 있을 것이다. 이와 같은 상황에 적용할 수 있는 실험설계가 바로 ‘요인설계’이다.

요인설계에는 다양한 형태가 있는데, 두 개 이상의 독립변인을 포함시킬 수 있으며, 각 독립변인을 두 가지 이상의 수준으로 변화시킬 수 있다. 이 중 가장 간단한 형태의 요인설계는 두 개의 독립변인을 각각 두 가지 수준으로 변화시키는 경우인데, 이를 ‘2×2 요인설계’라고 한다. 이러한 설계에 의한 실험연구에서 얻을 수 있는 정보는 크게 세 가지로 구분할 수 있다. 먼저, 첫 번째 독립변인의 종속변인에 대한 주효과(main effect)를 확인할 수 있다. 그리고 두 번째 독립변인의 종속변인에 대한 주효과를 확인할 수 있다. 끝으로, 이 두 개의 독립변인이 상호 작용하여 종속변인에 미치는 연향인 상호작용효과(interaction effect)를 확인할 수 있다.

유사 실험 설계(Quasi experimental design)

유사 실험은 외생 변수의 통제, 표본의 무작위화, 처치의 조작화 등 세 가지 조건 가운데 하나가 만족하지 않은 경우로, 많은 연구에서 이 연구 방법을 채택하고 있다. 유사실험을 하는 이유로는 외생변수를 모두 통제하는 것이 불가능한 때가 많고, 윤리 도덕상 조작화가 불가능한 경우가 많기 때문이다. 유사실험에서는 무작위화가 철저하지 못하기 때문에 외생 변수가 실험군과 대조군에 일정하게 투입되었다는 가정을 할 수 없어 내적 타당도의 위협을 받을 확률이 높고, 연구 결과를 일반화하려는 외적 타당성의 문제도 존재한다. 그러므로 유사실험에서는 가능한 한 외생변수를 통제할 방법들을 동원하여 순수 실험에 근접하도록 하여야 한다. 유사 실험은 크게 비동등 대조군 사후 설계, 비동등성 대조군 사후 설계, 비동등성 대조군 전후 시차 설계, 모의대조군 전후 설계 등이 있다.

비동등 대조군 사후 설계는 순수실험의 무작위 통제군 사후 실험과 흡사하나 대상자의 무작위 할당이 불가능한 점만 다르다. 이 방법을 적용하는 경우로는 현실 상황에서 이미 실험 조작이 진행되고 있는 집단을 실험군으로 선정하고 실험 조작이 진행되지 않는 또 하나의 집단을 선택하여 대조군으로 선택하는 경우로 무작위 할당의 원리를 따르지 못한 경우와, 또한 실험 조작 이전에 시행해야 하는 사전조사는 실시할 수 없는 여건에 있고, 또 어떤 경우에는 사전조사를 실시할 수는 있지만 사전조사가 시험 효과를 나타낼 우려가 있을 때 사용된다.

비동등성 대조군 사후 설계는 순수실험의 무작위 통제군 전후 실험과 흡사한 것으로서 대상자를 실험군과 대조군에 무작위 할당을 하지 못한 점이 다르다. 이 경우 대상자 선정의 편중, 성숙의 상호작용, 및 제 3 변수의 개입을 확인해야 한다. 성숙의 상호작용으로 인한 오차를 줄이기 위한 방법으로는 짝짓기 방법, ANCOVA, Partial Regression을 쓴다. 한편 제 3 변수의 개입을 확인하기 위해서 사전·사후조사 기간에 중간조사를 실시하여야 한다.

비동등성 대조군 전후 시차 설계는 대조군을 두지만 무작위 할당을 하지 못하고 동시에 사전 조사하지 못하는 경우이다.

모의대조군 전후 설계는 사전 조사는 대조군에서만 시행하고 사후조사는 실험군에서만 시행한다. 대조군이 설정되어 있고 조작화가 가능하며, 대조군 과 실험군은 무작위 할당되지 못하는 방법이다. 

i. Nonequivalent control group pre-post test design(비동등 대조군 전후 설계)

대조군 설정, 무작위 할당 하지 않고 사전 사후 측정 설계

사전조사 처치 사후조사

실험군   Ye1   X   Ye2

대조군   Yc1       Yc2

j. Nonequivalent control group post test only design(비동등 대조군 사후 설계)

    7월              8월

  (대조군)           (실험군)

 Yc1  Yc2        Ye1 X Ye2

k. Nonequivalent control group non-synchronized design(비동등 대조군 전후 시차 설계)

대조군 설정 , 사전 사후 조사, 그러나 대조군과 실험군 조사에 시차를 두는 설계  

l. One group pre-post test design(단일군 전후 설계): 대조군 설정 안 됨, 사전 사후 조사하는 설계  

m. Time -series design(시계열 설계)

대조군 설정, 무작위가 모두 불가능하거나 부적절한 경우 이용된다. 사전 사후에서 반복적인 측정이 있게 된다. (처치 횟수, 측정 횟수 얼마든지 다양할 수 있어서 설계양상  

1) 단일집단 사후검사 설계(one-group posttest-only design)

이는 일회적 사례연구(one- shot case study)라고도 하는데, 이 설계에서는 한 집단의 구성원에게 특정의 프로그램(실험처치)을 먼저 실시한 다음, 그들의 특성을 관찰(평가)하여 프로그램의 효과를 평가한다. 이 방법을 도식화하면 다음과 같다. 여기에서 X는 특정집단에 특정의 프로그램(실험처지)을 실시하는 것을 의미하고, O는 관찰이나 평가를 의미한다.

X O


여기에서는 하나의 집단을 대상으로 독립변인으로서 한 번의 실험처지를 가하고, 그 실험처치가 종속변인에 미친 영향을 사후 측정하여 이들 두 변인간의 단순관계를 확인하는 방식을 취한다. 그러나 이 방법은 조건통제가 전혀 되지 않으며, 결과를 의미 있게 비교할 만한 근거도 거의 갖추고 있지 못하다. 

2) 단일집단 사전-사후검사 설계(one-group pretest-posttest design)

이는 한 집단만을 선정하여, 그들에게 특정의 프로그램을 실시하기 전에 사전검사를 하여 미리 종속변인과 관련된 특성을 확인해 놓은 다음, 그 프로그램을 실시한 후 사후검사를 실시하여, 두 검사결과의 차이를 분석함으로써 프로그램의 효과를 평가하는 방법이다. 이를 도식화하면 다음과 같다.

O₁ X  O₂


위의 O₁은 사전검사를, 그리고 X는 프로그램의 실시를, O₂는 사후검사를 말하는데, 이 설계도 본질적인 실험방안은 못되나, 사전검사치와 사후검사치의 차를 산출하여 실험변인(독립변인) 즉, 프로그램의 효과를 확인한다는 점에서는 진일보한 연구 설계라고 할 수 있다. 그러나 이 방법도 내적․외적 타당성에 관련된 여러 문제점을 내포하고 있기 때문에, 사전검사와 사후검사의 차이가 실험변인의 영향 때문이라고 단정하기 어렵다. 왜냐하면 사전검사와 사후검사 사이에 시간적 간격이 크면 연구 설계의 내적 타당성을 저해하는 ①역사(history; 사전검사와 사후검사 사이에 개입되는 통제 불가능한 외적 사건들), ②성숙(maturation; 시간경과에 따라 발생하는 피험자의 내적 변화들), ③검사(testing; 사전검사를 받은 경험이 사후검사에 영향을 미치는 것) 등의 가외변인(加外變因)들이 개입될 수 있기 때문이다. 또한, 외적 타당성을 위협하는 ①검사와 처치의 상호작용(interaction effect of testing; 사전검사의 영향이 처치효과에 개입하는 것), ②피험자 선정과 처치의 상호작용(selection-treatment interaction; 선정된 피험자집단의 고유한 특성에 따라 처치의 영향이 다르게 나타날 수 있는 효과) 등도 개재될 수 있다. 

3) 이질집단 사후검사 설계(nonequivalent group posttest-only design)

이는 무처치 집단비교 설계(static-group comparison design)라고도 하는데, 이 방법은 두 개의 집단의 피험자들을 대상으로 하되, 한 집단에게는 특정의 프로그램을 실시하고 다른 집단에게는 아무런 프로그램도 실시하지 않고 그대로 두었다가, 이 두 집단에 동일한 사후검사를 실시한 후 그 검사결과를 서로 비교하여 그 차이를 프로그램의 효과로 인정하는 방법이다. 이를 도식화하면 다음과 같다. 여기에서의 점선은 등질화 되지 않은 두 집단임을 나타낸다.

X O

X O

여기서 유의할 것은 두 개의 집단을 무선적으로 나눈 것이 아니라, 이미 존재하는 두 개의 집단을 활용한다는 점이다. 이와 같은 설계의 예로는, TV교육프로그램을 시청한 집단과 그렇지 않은 집단을 서로 비교함으로써 TV교육프로그램의 효과를 알아 볼 때 적용될 수 있다. 그러나 이러한 설계에서 내적 타당성을 가장 심각하게 위협하는 요인이 있는데, 이는 피험자 선정(selection of respondent)과 피험자 탈락(experimental mortality)이다. 먼저, 피험자 선정시 생기는 편파성(bias)으로 인하여 실험집단과 비교집단이 동질적이라는 것을 보장할 수가 없고, 그리고 실험기간 동안 피험자 탈락으로 인하여 실험집단과 통제집단간의 등질화가 더 깨지게 되어 프로그램의 효과에 편파적인 영향이 미치게 된다. 따라서 두 집단에 차이가 있다고 하더라도 그것이 프로그램의 효과 때문인지, 아니면 처음부터 두 집단간에 존재한 차이 때문인지 명확히 밝혀 낼 수 없다. 

4) 시계열 설계(time-series design)

이는 어느 한 개인이나 집단을 대상으로 종속변인을 주기적으로 측정하고, 이러한 측정의 시계열 중간에 프로그램(실험처치)을 실시하여, 그 효과를 종합적으로 검증하는 방법을 말한다. 이는 동일집단 반복측정설계(repeated measure design)의 한 형태이다(임인재, 1987). 이를 도식화하면 다음과 같다.

O₁ O₂ O3 O4 X O5 O6 O7 O8

시계열 설계에서 실험처치가 가해진 후 관찰된 O5가 실험처치의 영향정도를 나타낸다고 할 수 있다. 그러나 시계열 실험설계는 내적 타당성을 저해하는 역사(history)라는 가외변인을 통제하지 못하고 있다는 점에 유념해야 한다. 따라서 실험처치 ‘X’의 영향이 있는 것으로 추리된 경우라도 이 역사 요인이 어떻게 작용하였는가를 면밀히 검토해야만 된다. 또한, 도구사용(instrumentation; 사전검사 또는 사후검사에 사용되는 도구 자체의 성격에 의해 생길 수 있는 효과)요인도 내적 타당성을 위협하는 요소로 작용할 수 있다. 만약 종속변인을 측정하는 데 있어 평가자의 판단이 크게 개재되어 있는 경우라면, 가설을 검증하고 싶은 평가자의 ‘소망’이 변인측정에 작용했을지도 모르기 때문이다. 

5) 이질통제집단 사전-사후검사 설계(nonequivalent control group pretest-posttest design)

이는 실험집단과 통제집단이 존재하지만, 두 집단이 무선적으로 등질화된 것은 아니다. 대개는 학교나 학급과 같이 기존의 집단을 자연 상태 그대로 유지한 채, 적당히 실험집단과 통제집단으로 삼아 연구에 이용하게 된다. 이를 도식화하면 다음과 같다. 여기에서도 점선은 등질화 되지 않은 두 집단임을 나타낸다.

O1 X O2

O1 X O2

이와 같은 설계는 특히 현장연구에서 많이 이용된다. 이때 사후검사의 결과가 사전검사의 결과보다 높게 나타났더라도, 이를 해석할 때는 우선 그 타당성을 따져 봐야 한다. 이 경우에 실험의 내적 타당성을 가장 위협하는 요인은 피험자 선정과 성숙의 상호작용(selection-maturation interaction; 앞에서 설명한 피험자 선정과 성숙 요인의 독특한 배합에 의해서 생길 수 있는 효과)이다. 또한, 실험집단과 통제집단을 등질화 시키지 못하였으므로, 실험집단의 피험자들이 통제집단의 피험자들에 비하여 현저하게 높은 잠재적 성장가능성을 지니고 있었기 때문에 프로그램 ‘X’의 효과 이상으로 더 좋은 결과를 나타냈을지도 모른다. 따라서 조건통제를 제대로 할 수 없는 준실험설계를 이용하는 평가자들은 실험에 앞서 미리 실험결과와 적대가설을 생각해 보면서, 예상되는 비판에 대한 대책을 세워 둘 필요가 있다. 

지금까지 논의한 준실험설계와 진실험설계의 유형과 내적․외적 타당성을 저해하는 요인 간의 관련성을 정리하면 [표 1]과 같다.

[표 1] 준실험설계와 진실험설계의 유형별 타당성 요인 검토

타당성의

저해요인

설계유형

내적 타당성

외적 타당성

1.

2.

3.

4.

5.

6.

7.

8.

1.

2.

3.

4.

<준실험설계>

 

 

 

 

 

 

 

 

 

 

 

 

① 단일집단 사후검사 설계

X O

­

­

 

 

 

­

­

 

 

­

 

 

②단일집단 사전-사후검사 설계

O₁XO₂

­

­

­

­

?

+

+

­

­

­

?

 

③ 이질집단 사후검사 설계

X O

………………

O

+

?

+

+

+

­

­

­

 

­

 

 

④ 시계열 설계

O₁O₂O3O4XO5O6O7O8

­

+

+

?

+

+

+

+

­

?

?

 

⑤이질통제집단 사전-사후 설계

O₁XO₂

………………

O₁ O₂

+

+

+

+

?

+

+

­

­

?

?

 

<진실험설계>

 

 

 

 

 

 

 

 

 

 

 

 

① 사후검사 통제집단 설계

RXO

R O

+

+

+

+

+

+

+

+

+

?

?

 

②사전-사후검사 통제집단 설계

RO₁XO₂

RO₁ O₂

+

+

+

+

+

+

+

+

­

?

?

 

③ 솔로몬 4집단 설계

RO₁XO₂

RO₁ O₂

R XO₂

R O₂

+

+

+

+

+

+

+

+

+

?

?

 

*표에서 +는 해당요인이 통제됨, ­는 해당요인의 통제가 불가능함

?는 해당요인의 통제가 안 될 가능성을 시사 함, 빈칸은 해당요인과 관련이 없음을 뜻함 

원시 실험  

내적 타당성과 외적 타당성의 모든 요인을 거의 통제하지 못하고 시도하는 것으로 즉, 무작위 할당, 철저한 조작화 및 대조군 설정이 안 된 설계이다. 원시 실험에는 단일군 사후 설계 방법과 단일군 전후 설계 방법 등이 있는데, 단일군 사후 설계는 단 한 개의 집단에게 실험 조작을 실시하고 그 결과가 어떤지를 보는 것으로서 인과관계를 설명할 수 없다는 단점이 있다. 단일군 전후 설계는 대조군 없이 실험군만 있고 무작위 할당이란 절차도 거치지 않으며, 조작도 철저히 이루어지기 어려운 경우에 사용된다.


저작자 표시

'교육연구' 카테고리의 다른 글

학위논문계획서  (0) 2010/11/04
교육연구 활동의 절차  (0) 2010/11/04
학윈논문체제  (0) 2010/11/04
교육연구방법론(손충기 저)  (0) 2010/11/03
실험설계  (0) 2010/09/19
통계분석을 위한 기초지식  (0) 2010/07/21
Posted by 기대해도

댓글을 달아 주세요


티스토리 툴바