4. 타당성 , 신뢰성 [R통계]

높은 타당성 을 가진 연구는 실제로 의도한 내용을 정확하게 측정하지만, 높은 타당성을 유지하면서도 반복적인 상황에서도 안정적인 결과를 제공하려면 높은 신뢰성이 필요하다.

Ⅰ. 타당성

타당성(Validity)은 연구에서 측정 도구나 방법이 실제로 측정하고자 하는 것을 얼마나 정확하게 측정하는지를 의미한다.

1. 내용 타당성(Content Validity):
   • 개념:
     내용 타당성은 측정 도구가 연구 주제나 목적에 맞게 모든 중요한 내용을 포함하고 있는지를 평가한다.
   • 예시:
     예를 들어, 학생들의 수학 능력을 평가하는 시험이 있다면, 이 시험이 단순히 덧셈과 뺄셈 문제만 포함하고 있는지 아니면 곱셈, 나눗셈, 기하학 등 다양한 수학적 개념을 모두 포함하고 있는지를 점검하는 것이 내용 타당성을 평가하는 과정이다.
2. 기준 관련 타당성(Criterion-related Validity):
   • 개념:
     기준 관련 타당성은 특정 기준(또는 외부 척도)과의 상관 관계를 통해 측정 도구의 유효성을 평가한다.
   • 종류 및 예시:
     • 동시 타당성(Concurrent Validity): 현재 시점에서의 기준과 비교하여 평가. 예를 들어, 새로운 우울증 테스트가 기존에 검증된 우울증 테스트와 높은 상관 관계를 보인다면 동시 타당성이 높다고 할 수 있다.
     • 예측 타당성(Predictive Validity): 미래의 기준과 비교하여 평가. 예를 들어, 대학 입학 시험 점수가 졸업 후 직업 성취도를 잘 예측한다면 그 시험은 높은 예측 타당성을 가진다.
3. 구조적 타당성(Construct Validity):
   • 개념:
     구조적 타당성은 측정 도구가 실제로 이론적 구성 개념을 잘 반영하고 있는지를 평가한다.
   • 예시:
     ‘자아 존중감’을 측정하려는 설문지가 실제로 자아 존중감을 반영하는 문항들로 구성되어 있는지 확인하는 것이 구조적 타당성을 검토하는 과정이다. 이를 위해 다양한 통계 분석 기법 (예: 요인 분석)이 사용될 수 있다.
4. 생태학적 타당성(Ecological Validity):
   • 개념: 생태학적 타당성은 연구 결과가 현실 세계에서도 동일하게 적용될 수 있는지를 의미한다.
   • 예시: 실험실 환경에서 수행한 기억력 테스트 결과가 일상 생활에서도 동일한 기억력 패턴을 보여주는지를 확인하면 생태학적 타당성이 높다고 할 수 있다.

Ⅱ. 신뢰성

신뢰성(Reliability)은 연구에서 측정 도구나 방법이 일관되게 결과를 도출하는지를 의미한다. 즉, 동일한 조건에서 반복적으로 측정했을 때 유사한 결과가 나오는 정도를 평가한다.

1. 내적 일관성(Internal Consistency):
   • 개념:
     내적 일관성은 측정 도구의 문항들이 동일한 개념을 얼마나 잘 반영하고 있는지를 평가한다.
   • 예시:
     설문지가 10개의 문항으로 구성되어 있고, 이 문항들이 모두 ‘자아 존중감’을 측정하는 것이라면, 각 문항 간의 상관 관계가 높아야 내적 일관성이 높다고 할 수 있다. 이를 평가하기 위해 Cronbach’s α 계수가 자주 사용된다.
2. 재검사 신뢰성(Test-Retest Reliability):
   • 개념:
     재검사 신뢰성은 동일한 대상에게 동일한 측정 도구를 일정 시간 간격을 두고 반복해서 적용했을 때, 결과가 얼마나 일치하는지를 평가한다.
   • 예시:
     어떤 심리 테스트를 두 달 간격으로 같은 사람에게 두 번 실시했을 때, 두 번의 점수가 비슷하다면 그 테스트의 재검사 신뢰성이 높다고 할 수 있다.
3. 대안형 신뢰성(Parallel-Forms Reliability):
   • 개념:
     대안형 신뢰성은 동일한 개념을 측정하기 위해 고안된 두 가지 다른 형태의 측정 도구 간의 일관성을 평가한다.
   • 예시:
     수학 능력을 평가하는 A형 시험지와 B형 시험지가 있을 때, 두 시험지로 같은 학생들을 평가했을 때 나온 점수가 비슷하다면 대안형 신뢰성이 높다고 할 수 있다.
4. 평가자 간 신뢰성(Inter-Rater Reliability):
   • 개념:
     평가자 간 신뢰성은 서로 다른 평가자들이 동일한 대상을 독립적으로 평가했을 때, 그 결과가 얼마나 일치하는지를 의미한다.
   • 예시:
     여러 명의 심리학자가 같은 환자의 상담 세션 녹화를 보고 각각 우울증 수준을 평가했을 때, 이들의 평점이 비슷하다면 평가자 간 신뢰성이 높다고 할 수 있다.
5. 분할 반응 신뢰성(Split-Half Reliability):
   • 개념:
     분할 반응 신뢰성은 한 번의 테스트에서 얻어진 데이터를 절반으로 나누어 각 절반의 점수 사이에 상관 관계를 구하여 전체 테스트의 일관성을 평가하는 방법이다.
   • 예시:
     20문항으로 구성된 인지능력 테스트에서 첫 10문항과 마지막 10문항으로 나누어 각 부분 점수 사이에 높은 상관 관계가 있다면 분할 반응 신뢰성이 높다고 할 수 있다.