과학적 근거

한 세기의 연구 계보

지능을 과학적으로 측정하려는 시도는 1904년 스피어만이 일반지능요인 g를 통계적으로 규명하면서 시작됐습니다. 1940년대에 커텔이 지능을 유동지능과 결정지능으로 구분했고, 1993년에는 캐럴이 수백 개 데이터 세트를 재분석해 3층 위계 모형을 세웠습니다. 이 흐름을 종합한 모형이 CHC입니다. 오늘날 주요 인지능력 검사들이 공통 기반으로 삼는 표준 분류 체계이자, 심리측정학이 한 세기에 걸쳐 도달한 합의에 가장 가까운 틀입니다.

MOSAIC-48이 사용하는 과제 형식도 같은 검증의 계보 위에 있습니다. 숫자와 순서를 기억하는 과제는 19세기 말부터 기억 연구의 표준 도구였습니다. 행렬추론은 1930년대 이후 문화적 영향을 최소화한 추론 측정의 대표 형식으로 자리 잡았고, 색-단어 간섭 과제(1935)는 주의 통제 연구에서 가장 오래 재현돼 온 패러다임 중 하나입니다. 다만 MOSAIC-48은 원 과제처럼 반응 시간으로 간섭량을 재지 않고, 지시받은 차원(잉크 색인지 글자 뜻인지)을 제대로 골랐는지, 곧 정확도로 채점합니다. 계보는 같지만 측정 방식은 다릅니다. MOSAIC-48의 설계는 이렇게 수십 년, 길게는 백 년 넘게 검증돼 온 이론과 과제 형식 위에 서 있습니다.

이 이론과 과제 형식은 과거의 유산에 머물러 있지 않습니다. 2020년대에도 CHC 광범위 능력 구조를 대규모 표본으로 다시 검증하는 연구가 이어집니다. 공개 문항 은행의 타당도, 비감독 온라인 검사의 자료 품질도 함께 따져 보고 있고, 주의통제를 어떻게 재야 하는지는 다시 정리되는 중입니다. 지금도 검증 중입니다.

측정 모형

그 계보를 이어받은 MOSAIC-48은 지능을 단일 점수로 환원하지 않고, 위계적 인지능력 이론(CHC 모형)이 제안하는 광범위 능력 수준에서 8개 영역을 측정합니다. 유동추론·공간지능·양적추론·작업기억·처리속도는 CHC의 광범위 능력과 대체로 맞물립니다. 언어추론은 조금 더 조심해서 읽어야 합니다. 어휘력이나 일반지식(결정지능 Gc)을 묻지 않고 명제논리와 논증 분석, 곧 언어를 매개로 한 추론을 재기 때문에 Gc에 그대로 대응한다고 말하기는 어렵습니다. 결정지능에 해당하는 어휘·일반지식 문항은 문항 은행에 아예 없고, 그만큼 8개 영역이 CHC의 광범위 능력 전체를 덮지는 못합니다. 학습효율과 주의통제는 사정이 조금 다릅니다. 최근 연구에서 학습·통제 복합 능력의 중심성이 보고돼 왔고, 이를 반영해 두 영역을 더했습니다.

대규모 온라인 연구들은 개인차를 일반요인 하나로 설명하는 모형보다, 추론·단기기억·언어 능력처럼 여러 구성요소로 분해하는 모형 쪽에 힘을 실어 줍니다. 그래서 결과도 복합 인지지수 하나로 끝내지 않고 8축 프로필과 함께 내놓습니다.

문항 설계

여덟 영역의 문항은 전부 새로 만들었습니다. 공개 인지검사 연구(ICAR)의 문항 유형 분류, 통계적 수리력 검사(Berlin Numeracy Test)의 확률·빈도 형식, 인지반영검사(CRT)의 직관-검증 구조를 참고했지만, 기존 문항을 그대로 가져오지 않고 속성 조합 규칙으로 생성했습니다.

도형 문항은 모양·개수·채움·회전·표식의 조합과 변화 규칙으로 정의합니다. 오답은 무작위로 뽑지 않습니다. 규칙을 하나만 적용하거나, 회전 방향을 반대로 해석하거나, 개수 변화를 놓치는 식의 예측 가능한 사고 오류에서 만듭니다. 오답마다 오류 코드를 붙이고 문항을 가로지르는 공통 분류로 묶어 두어, 같은 오류가 여러 문항에서 반복되면 결과의 반응 경향으로 잡아냅니다.

어떤 능력을 재는 문항인지 미리 드러나지 않도록 추론·언어·수리 문항은 섞어서 출제합니다. 진행 방식 자체가 다른 작업기억(제시 후 소거)·처리속도(제한시간)·학습효율(학습-지연 재적용) 과제는 별도 세션으로 배치했습니다.

점수 산출

응답을 점수로 바꿀 때 복잡한 블랙박스 가중치는 두지 않습니다. 대신 누구나 따라가며 검증할 수 있는 계산만 씁니다. 영역 원점수는 난도 가중 정답률(쉬움 1.0, 보통 1.5, 어려움 2.0)로 구하고, 내부 기준 분포를 가정해 z점수로 변환한 뒤 100±15 표준점수 외형으로 표시합니다. 이때 z는 ±2.0에서 잘리므로 영역 점수와 종합 지수는 모두 70에서 130 사이로만 표시되고, 백분위도 상위 2%에서 98% 사이로만 나옵니다.

복합 인지지수는 8개 영역 z점수의 평균에 재표준화 계수 1.25를 곱한 일반요인 근사치입니다. 여러 영역을 평균 내면 그만큼 분산이 줄어드는데, 영역 간 상관을 r≈0.6으로 가정할 때 그 축소분을 되돌리는 값이 1.25입니다. 상관계수를 신뢰도로 되돌리는 심리측정학의 감쇠 보정과는 다른 계산입니다. 영역 간 편차가 클수록 추정 범위는 넓게 잡히고, 백분위는 표준정규분포를 가정해 계산합니다.

작업기억 문항 중 자극이 떠 있는 동안 탭이 가려져 노출이 끊긴 문항은 채점에서 뺍니다. 자극을 볼 기회 자체가 없었기 때문이고, 채점의 분모와 분자만이 아니라 결과에 표시되는 정답률과 세부능력 집계에서도 뺍니다. 다만 빼 주는 문항 수에는 상한이 있어서, 그보다 많이 끊긴 세션은 전부 정상 채점합니다. 어느 쪽이든 노출이 끊긴 문항이 있었다면 결과에 신뢰도 주의를 표시합니다.

응답 시간을 점수에 직접 반영하는 영역은 처리속도 하나입니다. 정확도 z점수에 속도 z점수의 0.3배를 더해 구하고, 속도는 문항의 제한시간 대비 실제 소요 시간의 비율로 잽니다. 그 기준 분포(제한시간의 60%를 중앙값으로 둔 값)는 파일럿 이전의 가정치이고, 속도 성분이 점수를 움직이는 폭은 위아래로 9점을 넘지 않습니다. 속도가 기준과 같으면 정확도만으로 채점한 값과 같아집니다. 제한시간을 다 쓰고도 답하지 못한 문항은 정확도에서는 오답으로, 속도에서는 제한시간을 전부 쓴 것으로 셉니다.

시간 기록을 믿기 어려운 문항은 보수적으로 셉니다. 탭이 0.5초 이하로 잠깐 가려진 문항은 기록된 시간을 그대로 쓰고, 오래 가려졌거나 중단 후 재개된 문항은 표본에서 빼는 대신 제한시간을 전부 쓴 것으로 봅니다. 표본을 망가뜨리는 쪽이 유리해지지 않게 하기 위해서입니다. 그렇게 센 문항이 처리속도 문항의 절반을 넘으면 속도는 그대로 반영하되 결과에 신뢰도 주의를 표시합니다. 나머지 일곱 영역에서는 응답 시간이 점수에 들어가지 않습니다.

보조 지표는 정확성·인지 효율성·처리 안정성 세 가지이고, 그중 응답 시간을 쓰는 것은 뒤의 둘입니다. 정확성은 핵심 5개 영역(유동추론·공간지능·양적추론·언어추론·작업기억)의 정답 여부만으로 계산합니다.

영역 점수마다 그 점수가 얼마나 흔들리는 값인지를 문항 수와 난도 구성에서 계산해 함께 둡니다. 영역 간 차이가 그 측정 오차 범위 안이면 프로필 유형이나 강약 순서를 단정하지 않고, 두 영역을 나란히 강점 후보로 표시합니다.

규준 표본이 충분히 쌓인 뒤에야 문항반응이론(2모수 IRT)으로 문항의 난도와 변별도를 추정하고, 실제 분포에 기반한 표준화 점수로 전환할 수 있습니다.

같은 8개 영역을 영역당 12문항으로 더 촘촘히 재는 96문항 폼도 함께 둡니다. 다만 이 폼의 규준은 아직 파일럿 이전이라 48문항 폼의 잠정 규준을 그대로 빌려 쓰고 있으며, 파일럿 표본이 모이면 교체합니다.

신뢰도와 한계

한 가지는 분명히 해 두겠습니다. 본 검사는 연구 문헌의 측정 원리를 바탕으로 자체 개발한 검사이지, 표준화·규준화를 거친 공인 검사가 아닙니다. 점수도 내부 기준 분포에 근거한 추정값입니다. 의료적·임상적 진단이나 교육·채용 등 선발 목적으로는 사용할 수 없습니다.

비감독 온라인 환경이라는 제약도 있습니다. 기기 성능과 화면 크기, 검사를 치르는 환경이 결과에 영향을 줄 수 있습니다. 색 지각을 요구하는 일부 주의통제 문항은 색각 이상이 있는 분에게 불리할 수 있고, 특히 적록색약이라면 정답을 가려내기 어려운 문항이 있습니다. 검사 중에는 응답 시간과 화면 가림 여부를 함께 기록합니다. 비정상적으로 빠른 응답, 여러 차례의 중단과 재개, 문항이 떠 있는 동안 화면을 오래 벗어난 흔적, 제한시간이 있는 처리속도 문항을 거의 전부 시간 안에 끝내지 못한 경우, 노출이 끊긴 작업기억 문항이 하나라도 있는 경우, 처리속도 문항의 절반 넘게 시간 기록을 믿을 수 없어 제한시간을 전부 쓴 것으로 센 경우, 즉시 회상과 지연 회상 사이 간격이 30분을 넘은 경우에는 결과에 신뢰도 주의를 표시합니다.