어용론적 이해의 측정

「일본어는 된다」는데도 막히는 능력을, 숫자로 만든다

PRD ／ 2026-08-15 ／ 자매 문서: 돌려말하기 읽기(연습 도구)

누구의	일본에서 일하는 외국인 230만 명과 이들을 고용하는 34만 사업소. 그리고 훈련을 만드는 쪽. 「왜 그만두는지」를 아무도 재지 않는다
어떤 과제를	어용론적 능력은 JLPT로 측정되지 않는다. 측정되지 않으니 훈련해도 효과를 보일 수 없고, 학습자도 자기 위치를 알 수 없다
어떻게 해결	모어화자의 답변 분포를 기준으로, 정답률과 반응시간으로 잰다. 문항은 관습성 축으로 짠다

01Problem

일본에서 일하는 외국인은 230만 2,587명, 고용하는 사업소는 34만 2,087개소다(후생노동성 「외국인고용상황 신고상황」 2024년 10월말). 그런데 이들이 왜 그만두는지에 대한 공적 통계는 존재하지 않는다. 일본 전체의 이직 이유는 매년 『고용동향조사』로 조사되는데, 그 조사에는 국적 구분이 없다.

일본어능력시험은 어휘·문법·독해·청해를 잰다. 「検討させていただきます」가 거절인지 아는가는 재지 않는다. 그런데 직장에서 손해를 보는 것은 이쪽이다. N1 보유자가 「前向きに考えます」를 진전으로 받아들여 일주일을 잃는 일이 시험 바깥에서 일어나고 있다.

이 공백은 두 방향으로 작용한다. 배우는 쪽은 자기가 얼마나 못하는지 모른 채 실전에 나선다. 만드는 쪽은 훈련 도구를 만들어도 효과를 증명할 수 없다 — 「어쩐지 알게 됐다」 이상을 말할 수 없어 대외적 설명이 성립하지 않는다.

그리고 측정 방법은 이미 학술적으로 확립되어 있다. 어용론적 이해의 측정에서는, 대화를 읽거나 들은 뒤 화자의 함의를 다지선다로 답하게 하고 정답률과 반응시간을 함께 보는 것이 표준이다. 나아가 관습성이 낮은 표현일수록 정답률이 낮고 이해에 시간이 걸린다는 것이 반복 보고되어 있다. 방법은 있는데 학습자가 쓸 수 있는 형태가 되어 있지 않다.

실제로 시험해보면 차이가 나온다. 관서 거주 10년 이상·일본 대학원 졸업·일본 기업 3년차인 당사자 1명이 10문항을 푼 결과는 정답률 50%, 그중 관습성이 낮은 문항은 33%(평균 10.5초), 관습적인 문항은 57%(평균 6.2초)였다. ※ n=1 시행이며 잠정 답에 대한 값이다.

02Goals / Non-Goals

학습자가 자기 위치를 숫자로 안다／지표: 정답률과 반응시간(관습성별로 집계)
훈련의 효과를 제3자에게 보일 수 있다／지표: 사전·사후의 정답률과 반응시간 차(동일 피험자)
어느 유형이 약한지 알 수 있다／지표: 문항별 오답률·소요시간
측정 절차를 공개해 추시할 수 있다／지표: 문항·기준 분포·절차의 공개

Non-Goals

어휘·문법·청해의 측정 — JLPT 등의 영역. 여기서는 다루지 않는다
자격시험화／채용·인사평가에의 이용 — 선발에 쓰이는 순간 수험자는 정직하게 답하지 않게 되고 측정이 무너진다
유일한 정답의 주장 — 모어화자의 판단도 갈린다. 갈리는 방식 자체를 정보로 다룬다

03User Stories

훈련 도구를 만드는 사람이, 그 훈련에 효과가 있었는지를 사전·사후 차로 보일 수 있다.
이점「효과가 있었던 것 같다」가 아니라 숫자로 설명할 수 있다／현재효과를 보일 수단이 없어 대외 설명이 성립하지 않는다
일본에서 일하는 외국인 인재가, 자신이 어느 장면 유형에서 틀리는지를 안다.
이점막연한 불안이 대처 가능한 약점으로 바뀐다／현재못한다는 것을 알아차릴 기회가 실전의 실패뿐이다

04Proposed Solution

장면과 발언을 제시하고 그 의미를 고르게 하는 짧은 테스트다. 정답률과 반응시간을 기록하고 학습 전후로 비교한다. 문항은 관습성(관습적인 표현인가 아닌가)으로 분류한다. 모어화자에게도 같은 문항을 풀게 하고, 그 답변 분포를 기준으로 삼는다.

문항 뱅크 — 발화행위와 관습성으로 태그를 붙이고, 동형의 별도 세트를 사전용·사후용으로 준비 〈US1・US2〉
모어화자 답변 수집 — 학습자와 같은 화면에서 정답을 내지 않고 답변만 모은다. 속성(연령대·직장 경험)도 기록 〈전체〉
수험과 기록 — 선택식으로 짧게 끝낸다. 선택지와 반응시간을 1건씩 기록 〈US2〉
집계 — 관습성별 정답률·평균시간, 문항별 오답률을 내어 연습 쪽 중점으로 넘긴다 〈US1〉
절차의 공개 — 문항·분포·절차를 공개해 제3자가 추시할 수 있는 상태로 〈US1〉

※ 핵심은 2다. 모어화자의 답변 분포가 없으면 이 측정은 성립하지 않으며, 이 분포는 모은 자만이 가질 수 있다. 수집은 전용 시스템을 만들지 않고, 학습자용 화면에 「모어화자로서 답하기」 모드를 두어 해결한다.

— 이하 별지 —

05근거·상세

측정 방법의 학술적 뒷받침 — 어용론적 「이해」의 측정

다지선다가 표준이다. 함의(implicature)의 이해는 대화를 읽거나 들은 뒤 화자의 의도를 다지선다로 답하게 하는 방식으로 측정되어 왔다. 최근에는 정답률과 반응시간 양쪽을 기록하는 형태로 확장되어 있다(Taguchi 2005 외).
관습성이 난이도를 가른다. 관습성이 낮은 함의(간접적 의견 등)는 관습적인 간접적 거절보다 정답률이 낮고 이해 속도도 느리다(Bouton 1994／Taguchi). 일본어에서도, 상급 학습자를 대상으로 한 어용론적 청해 테스트에서 관습적인 간접발화행위 쪽이 이해하기 쉽고 반응시간도 짧다는 것이 확인되어 있다(張 2017·日本語教育 167호).
그래서 문항은 관습성으로 태그를 붙인다. 자의적인 난이도 구분이 아니라, 기존 연구가 예측하는 축을 그대로 쓴다.

DCT(담화완성테스트)와의 차이 — 왜 다지선다여도 되는가

어용론 측정에서 자주 참조되는 DCT는 장면을 제시하고 「당신이라면 뭐라고 말하겠는가」를 쓰게 하는 방법이며, 재고 있는 것은 산출이다. 본서가 재는 것은 이해이며 다른 능력이다.

이 구별은 실무상으로도 중요하다. Yamashita(1996)는 6종의 수집법을 통계적으로 비교해 선택식 DCT만은 신뢰성·타당성을 확인할 수 없었다고 보고한다. Kawamura & Sato(1996)도 「쓸지 알 수 없는 선택지에서 고르게 하기보다, 자신이라면 뭐라고 말할지 생각하게 하는 편이 신뢰할 수 있다」고 말한다.

이들은 모두 「산출을 선택식으로 묻는 것」에 대한 비판이며, 이해의 측정에는 해당하지 않는다. 작문력을 선택식으로 재면 부자연스럽지만, 독해를 선택식으로 재는 것은 통상적이다. 본서는 후자에 위치한다.

덧붙여 DCT에는, 답란 아래에 상대의 다음 대사(리조인더)를 두면 답이 그쪽에 끌려간다는 알려진 문제가 있다. 이해를 묻는 방식에는 이 구조가 없다.

출처: 나고야대학(데이터 수집 방법론의 검토)／Yamashita 1996／Kawamura & Sato 1996／Rose 1994

왜 기존 시험으로 대체할 수 없는가

JLPT는 어휘·문법·독해·청해를 재는 설계이며, 발화행위의 해석은 측정 대상에 포함되지 않는다. 한편 BJT는 「상대와의 관계성이나 상황에 따른 적절한 표현의 구분」을 명시적으로 내걸고 있어, 이 축을 「기존 시험이 다루지 않는다」고 쓰는 것은 잘못이다. 다만 공개 샘플이 묻는 것은 「사장에게 어떻게 인사합니까」와 같은 산출의 선택과 청취한 사실의 확인이 중심이며, 함의 자체의 해석을 묻는 문항은 한정적이다. JSST는 회화력을, CQI는 문화적응 적성을 잰다.

즉 기존 시험은 산출·지식·적성을 누르고 있으며, 비어 있는 것은 받는 쪽의 함의 이해다. 이 문서가 재는 것은 거기에 한한다.

경제산업성 「고도외국인재연구회 보고서」(2024-07-26)는 외국인재의 직장 불만으로 「암묵의 양해를 이해할 수 없다」를 30항목 중 12위·15.8%로 들고, 대책으로 「커뮤니케이션의 로우컨텍스트화」를 내건다. 그러나 같은 보고서 본문에 측정·가시화·진단·KPI라는 말은 없으며, 어느 직장이 얼마나 고맥락인지 아는 수단은 제시되어 있지 않다. 갈리는 방식을 내는 것은 그 수단의 후보가 된다.

한편 어용론적 능력의 연구는 축적이 있지만, 연구를 위한 측정이지 학습자가 자기 위치를 알기 위한 도구가 되어 있지는 않다. 이 사이가 비어 있다.

실장 방침(High-Level Tech Consideration)

문항은 선택식으로 한다. 자유기술은 의미공식으로의 분류가 필요해져 자동 채점을 할 수 없다.
채점은 모어화자 답변 분포와의 일치도로 한다. 단일 정답이 아니므로 부분 점수의 설계가 필요하다.
사전·사후로 동형의 별도 세트를 쓴다. 동일 문항이면 문항의 기억이 향상으로 보인다.
모어화자 데이터는 속성(연령대·업종·지역)과 함께 보존한다. 분포의 편향을 나중에 평가할 수 있게 한다.

06Open Questions / Risks

Open Questions (5건)

모어화자는 몇 명 필요한가（→ 분포가 안정되는 인원을 모르면 정답 기준 자체가 흔들린다）
피험자를 어떻게 모을 것인가（→ 모으지 못하면 사전·사후 비교가 성립하지 않아 G2가 통째로 무너진다. 당분간은 「모어화자로서 답하기」 모드의 URL을 배포하는 형태를 상정）
몇 회의 연습으로 차이가 날 것으로 보는가（→ 예상이 어긋나면 「효과 없음」으로 보인다. 측정 간격 설계에 영향）
정답이 갈리는 것을 어떻게 다룰 것인가（→ 분포가 넓은 문항을 제외할지, 갈린다는 것 자체를 제시할지에 따라 성격이 달라진다）
연습 도구와 측정을 동일 인물이 설계해도 되는가（→ 자기 훈련을 자기 잣대로 재게 된다. 제3자의 문항이 필요할지도 모른다）

Risks (6건·PMBOK 형식／교재 외 보강)

#	리스크	원인 → 사건 → 영향	대응
R1	표본 부족	모어화자·피험자가 모이지 않음 → 분포도 차이도 안 나옴 → 측정이 성립하지 않음	완화: 최소 구성(모어화자 5~10명·학습자 10명)으로 먼저 한 바퀴
R2	정답 기준의 편향	특정 연령·업종에 치우침 → 일부의 상식을 정답으로 삼음 → 잘못된 기준을 퍼뜨림	완화: 속성을 기록하고 편향을 명시한 뒤 공개
R3	문항의 기억	사전·사후가 동일 문항 → 기억으로 정답 → 향상으로 보임	회피: 동형의 별도 세트를 준비
R4	선발에의 전용	채용·인사에 쓰임 → 수험자가 정직하게 답하지 않음 → 측정이 무너짐	회피: Non-Goals에 명기하고 개인 결과를 제3자에게 넘기지 않는 설계로
R5	자작자연	훈련과 측정을 동일 인물이 설계 → 훈련에 유리한 문항이 됨 → 효과 주장이 신용받지 못함	완화: 문항과 정답 기준을 공개해 추시 가능하게(G4)
R6	방식에 대한 오해	「선택식은 신뢰성이 없다」는 지적 → 산출에 대한 비판이 이해의 측정에 적용됨 → 방법째 부정됨	회피: 산출(DCT)과 이해는 별개임을 본서와 화면 양쪽에 명기

이 PRD의 약점

① 사람을 모을 필요가 있다. 본서 전체가 모어화자와 피험자의 존재를 전제로 하고 있으며, 그 부분만은 혼자 완결되지 않는다. 최소 구성이어도 20명 규모가 필요하다.

② 「테스트 점수가 오른다＝실전에서 곤란하지 않게 된다」는 증명되지 않았다. 측정할 수 있는 것은 어용론적 이해이지 직장에서의 결과가 아니다. 양자의 관계는 본서의 범위 밖이다.

③ 현재의 「답」은 작성자의 판단이다. 시행에서, 작성자가 「그대로의 의미」로 둔 문항(거래처의 「一度持ち帰らせてください」)에서 당사자와 판단이 갈렸다. 작성자가 틀렸을 가능성이 실제로 있다는 뜻이며, 구성요소 2(모어화자 답변 수집)를 먼저 끝내지 않는 한 이 측정은 자기 생각을 기준으로 삼고 있는 셈이 된다.