최근 언택트 채용에 대한 관심이 증가하면서 AI면접(역량검사)을 채용에 도입하는 기업이 폭발적으로 증가하고 있다. 여러 가지 AI면접 솔루션들이 출시돼 구직자들을 혼란스럽게 하지만 AI면접 솔루션이 지원자의 영상을 어떻게 평가하는지 이해하면 도움이 된다. 따라서 이번 시간에는 AI면접 솔루션 중 채용에 활용되고 있는 두 솔루션(인에어·뷰인터HR)이 영상질의응답에서 활용하고 있는 V4 기술에 대해 알아보려고 한다. AI 솔루션이 지원자를 어떻게 분석하는지를 살펴보면 영상질의응답이 어떤 부분에 주목하는지 알 수 있어 AI면접에 대한 막연한 두려움을 없앨 수 있다.

V4는 V로 시작하는 4가지 분석 기술을 의미한다. Visual(표정 분석 기술), Voice(음성 분석 기술), Verbal(언어 분석 기술), Vital(안면 분석 기술) 4가지인데, 하나씩 자세히 살펴보자.

Visual(표정 분석 기술)

먼저, 표정 분석 기술은 영상 정보를 인식하고 처리할 수 있는 기술로 인간의 시각 기능을 모방해 표정 변화, 감정표현, 안구 움직임, 얼굴 움직임 등을 분석해 지원자 면접 영상의 특징을 분석한다. 지원자의 얼굴에 68개의 포인트를 배치하고 각 점의 움직임에 따라 표정의 변화를 측정한다. 특히 화면별 표정 및 주요 감정에 대한 분석과 시선 처리, 화면에서의 얼굴 이동 및 회전 변화량 등을 측정한다.

인에어 솔루션의 경우에는 기쁨, 슬픔, 분노, 역겨움, 두려움, 긴장 6가지 항목으로 지원자의 감정을 파악하고 있다. 뷰인터HR의 경우에는 화, 공포, 혐오, 즐거움, 슬픔, 놀람, 무표정과 같이 7가지 키워드로 분석해 준다. 표정은 기본적으로 밝고 긍정적인 것이 좋지만, 상황에 적합한 표정을 지어야 하는 경우도 있기 때문에 무조건 밝은 표정이 평가에 도움이 된다고 볼 수는 없다. 따라서 카메라에 적응해 자연스러운 표정을 연습할 필요가 있고 다양한 AI 솔루션을 활용해 표정 연습을 해보는 것도 도움이 된다.

두 솔루션 모두 시선의 처리와 머리의 움직임도 측정이 되기 때문에 기본적으로 시선이 여러 곳으로 분산되지 않고 머리의 움직임도 큰 변화 없이 안정적이면 평가에 도움이 된다.

Voice(음성 분석 기술)

두 번째로 음성 분석 기술은 지원자의 음성정보를 인식할 수 있는 기술로 인간의 청각 기능을 모방해 음색, 음높이, 크기 변화, 속도, 휴지 변화, 발음 등을 분석하고 있다. 두 솔루션 모두 비슷한 기준에서 음성을 분석한다. 분석에서 중요한 포인트는 정확한 발음과 일정한 음성 높낮이·크기로 말하는 것이다. 또한 내 목소리가 컴퓨터에 제대로 인식되는지 확인하는 것도 중요하다. 마이크에 내 목소리가 정확하게 입력되는지 크기는 적당한지 미리 확인하고 주변 소음이 들어가지 않도록 주의해야 한다.

Verbal(언어 분석 기술)

세 번째로 언어 분석 기술은 지원자의 응답 내용을 분석하는 기술이다. 인간의 언어기능을 모방한 STT(Speech to Text) 기술로 단어 의미를 파악하고 어휘 사용량 등을 파악한다. STT는 음성 내용을 문자로 전환해 주는 기술로 구글이나 네이버, 카카오 등에서 음성검색·AI스피커 등에 활용하고 있는 기술이다. 쉽게 말해 지원자의 답변 내용을 글로 받아 적고 그 내용을 분석해 지원자의 성향과 직무의 적합성을 파악하는 데 활용한다.

그런데 STT 기술은 최근 AI 면접에서 몇 가지 논란을 낳았다. AI 면접에 임하는 태도는 진지하게 했지만 질문과 전혀 상관없는 영화 대사를 외워 연기했더니 AI 면접을 무사히 통과했다는 것이다. 이것은 아직 AI 면접에 STT 기술이 완벽하게 적용되지 못한다는 것을 보여주는 사례다. 가끔 집에서 AI 스피커가 말을 알아듣지 못하고 엉뚱한 대답을 하는 오인식이 AI 면접 솔루션에서도 충분히 발생할 수 있다. 아직 기술적인 한계로 말하는 내용보다는 영상분석을 중심으로 평가를 진행하는 것으로 알려져 있다.

인에어와 뷰인터HR은 STT 기술을 활용한다고 홍보하지만 최근 언론에서 음성의 내용을 평가하는 것은 아니라고 보도하는 것도 이와 연관된 것으로 보인다. 하지만 STT 기술이 면접 내용을 분석하는 가장 중요한 기술이기 때문에 STT 기술이 적극적으로 평가에 반영되는 것은 시간문제다. 그리고 아직 비중이 작다고 하지만 간과하지 말아야 할 부분은 최근 솔루션 업데이트에서 내용분석의 비중이 높아졌다는 것이다.

그리고 지원자의 영상을 AI만 보는 것이 아니라 채용담당자와 면접관이 볼 수 있도록 구성돼 있기 때문에 질문 내용과 관계없는 답변은 하지 말아야 한다. 언어 분석 기술을 살펴보면 음성을 문자로 변환하는 과정은 새롭지만 문자의 내용을 파악하는 것은 AI자소서분석기와 비슷하다는 생각이 들 것이다. AI자소서분석기의 키워드 분석에 관한 내용이 AI 면접에서도 적용되고 있다는 점을 감안해 면접을 준비한다면 큰 도움이 될 것이다.

Vital(안면 분석 기술)

마지막으로 안면 분석 기술에 대해 알아보자. 생리적 데이터를 측정하는 기술로 영상 정보 처리 기술을 응용해 얼굴의 근육, 색상의 미세한 변화를 탐지해 맥박 정보를 측정한다. 맥박과 혈류량의 변화를 통해서 지원자의 정서와 감정변화를 확인하고 답변의 신뢰도를 평가하는 데 활용한다. 인에어에서는 이 기술을 평가에 활용하고 있지만 뷰인터HR은 해당 기술을 활용하고 있지 않다. 따라서 인에어 솔루션을 활용해 채용을 진행하는 기업 지원자는 카메라와 면접연습을 통해 답변 중 당황하지 않도록 준비해야 하며, 가능한 한 솔직하게 답변해서 답변의 신뢰도 평가에도 함께 대비한다면 AI 면접에 도움이 된다.

이렇게 V4 기술을 바탕으로 지원자의 면접 응답 내용을 분석해 평가에 적용하고 있기 때문에 AI 면접을 연습할 때 분석내용을 참고해 준비하면 도움이 된다. 하지만 한 번에 모든 것을 하려다 보면 심적·물리적 부담으로 제대로 준비에 몰입하기 어렵다. 따라서 먼저, AI 솔루션을 활용한 모의면접으로 자신을 테스트해서 부족한 점을 보완하는 방식으로 연습하는 게 좋다. 자신이 부족하다고 생각하는 부분보다 AI가 부족하다고 평가하는 부분을 보완하는 것이 좋은 평가를 받을 수 있는 지름길이다.

출처 ㅣ전역닷컴

필자 ㅣ㈜다온컴퍼니 최준형 

필자 약력

現) ㈜다온컴퍼니(전역닷컴) 대표
- 『언택트 채용 AI 취업 전략』 도서 출간
- 국가보훈처 제대군인정책자문위원
- (사)한국취업진로협회 상임이사
前) 예비역 소령 정훈장교(UAE파병 등)
- ㈜트레버스 인사총괄 본부장

‘최준형의 전역학교’ 시리즈는 매주 화요일에 찾아옵니다.
외부필자의 원고는 잡코리아의 편집 방향과 다를 수 있습니다.

잡코리아 임동규 에디터 ldk0126@

시리즈 이어보기
> [최준형의 전역학교] 카메라 OK! 마이크 OK! 주변 정리 OK! 면접, 시작할까요?
> [최준형의 전역학교] 상투적 표현 “안돼요” 나만의 경험 “좋아요”