[최준형의 AI 취업전략] AI면접에 적용된 V4 기술 대비법은?

잡코리아 2020-10-08 18:50 조회수8,429

AI 면접(역량검사)의 평가요소 중 채용에 활용되고 있는 두 솔루션(인에어, 뷰인터HR)이 영상 질의응답에서 활용하고 있는 V4 기술에 대해 알아보려고 한다. AI 솔루션이 지원자를 어떻게 분석하는지 살펴보면, 영상 질의응답이 어떤 부분에 주목하는지 알 수 있어 AI 면접(역량검사)에 대한 막연한 두려움을 없앨 수 있다.

V4는 V로 시작하는 4가지 분석 기술을 의미한다. Visual(표정 분석 기술), Voice(음성 분석 기술), Verbal(언어 분석 기술), Vital(안면 분석 기술)의 4가지 분석 기술을 하나씩 자세히 살펴보자.

Visual - 표정 분석 기술

먼저, Visual(표정 분석 기술)은 영상 정보를 인식하고 처리할 수 있는 기술로, 인간의 시각 기능을 모방해 표정변화, 감정 표현, 안구 움직임, 얼굴 움직임 등을 포착해 면접 영상의 특징을 분석한다. 지원자의 얼굴에 68개의 포인트를 배치하고 각 점의 움직임에 따라 표정의 변화를 측정한다. 그중에서도 특히 화면별 표정 및 주요 감정에 대한 분석과 시선 처리, 화면에서의 얼굴 이동 및 회전 변화량 등을 측정한다.

인에어 솔루션은 기쁨, 슬픔, 분노, 역겨움, 두려움, 긴장의 6가지 항목으로 지원자의 감정을 파악하고 있으며, 뷰인터HR은 화, 공포, 혐오, 즐거움, 슬픔, 놀람, 무표정의 7가지 키워드로 이를 분석한다. 표정은 기본적으로 밝고 긍정적인 것이 좋지만, 상황에 적합한 표정을 지어야 하는 경우도 있기 때문에 무조건 밝은 표정이 평가에 도움이 된다고 볼 수는 없다. 따라서 카메라에 적응해 자연스러운 표정을 연습할 필요가 있다. 다양한 AI 솔루션을 활용해 표정 연습을 해보는 것도 도움이 된다.

두 솔루션 모두 시선 처리와 머리의 움직임도 측정된다. 때문에 시선이 여러 곳으로 분산되지 않고 머리의 움직임도 큰 변화 없이 안정적이면 평가에 도움이 된다.

Voice - 음성 분석 기술

두 번째로 Voice(음성 분석 기술)에 대해 알아보자. 음성 분석 기술은 지원자의 음성 정보를 인식할 수 있는 기술로 인간의 청각 기능을 모방해 음색, 음높이, 크기 변화, 속도, 휴지 변화, 발음 등을 분석한다. 두 솔루션 모두 비슷한 기준에서 음성을 분석하고 있다. 분석에서 중요한 포인트는 정확한 발음, 일정한 음성 높낮이와 크기로 말하는 것이다. 또한, 자신의 목소리가 컴퓨터에 제대로 인식되는지 확인하는 것도 중요하다. 마이크에 내 목소리가 정확하게 입력이 되는지, 크기는 적당한지 등을 미리 확인하고 주변 소음이 들어가지 않도록 주의해야 한다.

Verbal - 언어 분석 기술

세 번째로 Verbal(언어 분석 기술)은 지원자의 응답 내용을 분석하는 기술이다. 인간의 언어기능을 모방한 STT(Speech to Text) 기술로 단어 의미와 어휘 사용량 등을 파악하는 기술을 말한다. STT는 음성 내용을 문자로 전환해주는 기술로 구글·네이버·카카오 등에서 음성검색과 AI 스피커 등에 활용하는 기술이다. 쉽게 말해 지원자의 답변 내용을 글로 받아 적고 그 내용을 분석해 지원자의 성향과 직무의 적합성을 파악하는 것이다.

그런데 STT 기술은 최근 AI 면접에서 몇 가지 논란을 낳았다. 그중 하나는 질문과 전혀 상관없는 영화 대사를 외워 연기했더니 AI 면접을 무사히 통과했다는 것이다. 이것은 아직 AI 면접에 STT 기술이 완벽하게 적용되지 않았다는 것을 보여주는 사례다. 가끔 집에서 AI 스피커가 말을 알아듣지 못하고 엉뚱한 대답을 하는 오인식이 AI 면접 솔루션에서도 충분히 발생할 수 있는 것이다. 아직은 기술적인 한계로 인해 말하는 내용보다는 영상 분석을 중심으로 평가를 진행한다고 알려져 있다.

인에어와 뷰인터HR은 STT 기술을 활용한다고 홍보하지만, 최근 언론에서 이들이 음성의 내용을 평가하는 것은 아니라고 보도하는 것도 이와 연관된 것으로 보인다. 하지만 STT 기술은 면접 내용을 분석하는 가장 중요한 기술이기 때문에 STT 기술이 적극적으로 평가에 반영되는 것은 시간문제다. 그리고 아직은 비중이 작다고 하지만 간과하지 않아야 할 부분은 최근 솔루션 업데이트에서 내용분석의 비중이 높아졌다는 점이다. 게다가 지원자의 영상을 AI만 보는 것이 아니라 채용담당자와 면접관도 볼 수 있도록 구성되어 있기 때문에 질문 내용과 관계없는 답변은 하지 않아야 한다.

Verbal(언어 분석 기술)을 살펴보면 음성을 문자로 변환하는 과정은 새롭지만, 문자의 내용을 파악하는 것은 왠지 AI 자소서분석기와 비슷하다는 생각이 들었을 것이다. AI 자소서분석기의 키워드 분석에 관한 내용이 AI 면접에서도 활용되고 있다는 점을 고려하여 면접 내용을 준비한다면 큰 도움이 될 것이다.

Vital - 안면 분석 기술

마지막으로 Vital(안면 분석 기술)에 대해 알아보자. 이는 생리적 데이터를 측정하는 기술로 영상 정보 처리 기술을 응용해 얼굴 근육과 색상의 미세한 변화를 탐지해 맥박 정보를 측정한다. 맥박과 혈류량의 변화를 통해서 지원자의 정서와 감정 변화를 확인하고 답변의 신뢰도를 평가하는 데 활용하는 것이다. 인에어에서는 Vital(안면 분석 기술)을 평가에 활용하고 있지만 뷰인터HR은 해당 기술을 활용하고 있지 않다. 따라서 인에어 솔루션을 활용해 채용을 진행하는 기업 지원자는 카메라 면접 연습을 통해 답변 중에 당황하지 않도록 준비해야 한다. 가능한 한 솔직하게 답변해서 답변의 신뢰도 평가까지 함께 대비한다면 AI 면접에 도움이 될 것이다.

지금까지 살펴본 V4 기술을 표로 정리하면 다음과 같다.

기업이 V4 기술을 바탕으로 지원자의 면접 응답 내용을 분석해 평가에 적용하고 있기 때문에 AI 면접 연습을 할 때 분석 내용을 참고해 준비하면 도움이 된다. 하지만 한 번에 모든 것을 준비하려다 보면 심적·물리적 부담으로 제대로 준비에 몰입하기 어렵다. 따라서 먼저 AI 솔루션을 활용한 모의 면접으로 자신을 테스트해서 부족한 점 위주로 보완하며 연습하면 도움이 될 것이다. 자신이 부족하다고 생각하는 부분보다 AI가 부족하다고 평가하는 부분을 보완하는 것이 좋은 평가를 받는 지름길이다. 이 부분은 기존 면접의 평가 기준과 크게 다르지 않기 때문에 해당 기술을 바탕으로 면접을 준비한다면, 기존 면접을 준비하는 구직자도 도움을 받을 수 있다.

출처 ㅣ ㈜다온컴퍼니

필자 ㅣ ㈜다온컴퍼니 최준형