써머스플랫폼은 다양한 e커머스 마켓 데이터를 종합적으로 수집하고, 이를 바탕으로 한 빅데이터 분석 사업을 전개하고 있다. 가격 비교 사이트인 ‘에누리닷컴’으로 더욱 친숙한 써머스플랫폼은 2021년 기준으로 1300만 개의 표준상품 데이터 및 10억 개에 달하는 상품 데이터 등, 압도적으로 많은 양의 e커머스 데이터를 보유하고 있다. 2022년 5월에는 LG CNS와 데이터 서비스 사업 강화를 위한 MOU를 체결하며 데이터를 활용한 시너지 창출에 본격적으로 나섰다. 써머스플랫폼에서 e커머스 데이터의 분석 및 관리를 담당하고 있는 세 명의 개발자에게 더 자세한 이야기를 들어보자.
SUMMERCE PLATFORM
데이터AI센터 강훈민 센터장
DATA1팀 장민재 수석
DATA1팀 조완기 선임
안녕하세요, 세 분 소개 부탁드립니다.
강훈민 안녕하세요. 써머스플랫폼 데이터AI센터장을 맡은 강훈민입니다. 약 15년간 제조, 금융, 엔터를 포함한 다양한 산업군에서 데이터분석가로 일해 왔으며, 써머스플랫폼에 합류한 지는 6년 정도 되었습니다.
장민재 안녕하세요. 써머스플랫폼 DATA1팀에서 근무하고 있는 장민재 수석입니다. 개발 경력은 올해 18년 차로, 2014년 써머스플랫폼에 입사해 에누리 사이트의 프론트 개발을 시작으로 현재는 상품 빅데이터 수집 및 정제 플랫폼 개발을 담당합니다.
조완기 반갑습니다. 써머스플랫폼 DATA1팀에 입사한 지 이제 막 2개월이 된 신입 개발자 조완기입니다. 아직 어디를 가도 막내인 주니어 개발자입니다. 여기서도 물론 막내이고요. (웃음) 업무 배우랴, 인사하랴 정신없는 나날을 보내고 있습니다.
데이터AI센터는 어떻게 구성되어 있나요?
강훈민 데이터AI센터는 데이터애널리스트, 데이터사이언티스트, 데이터엔지니어의 세 가지 직무로 나누어져 있으며, 모두가 각자의 직무에 맞게 자율적이고 주도적으로 업무를 수행하고 있습니다. 데이터애널리스트는 데이터분석가로서 주로 DBA(데이터베이스 관리) 및 EDA(탐색적 데이터 분석) 관련 업무를 진행합니다. PG, MARIA, Mongo, SQL-Server와 같은 DB 지식을 바탕으로 Python, R의 ML기술을 활용한 개발 업무라고 할 수 있습니다. 데이터사이언티스트는 EDA 및 CDA(추론 통계적 데이터 분석), 자동화 모델 개발을 수행하는 직무로, Python, R의 ML, 딥러닝 기술과 관련된 업무를 수행합니다. 마지막으로 데이터엔지니어는 데이터기술자로서 과거에는 대용량 클러스터 운영에 초점을 맞춰 업무를 수행했으나, 현재는 기술 기반이 바뀌어 일반적으로 우리가 개발이라 부르는 백엔드, 프론트엔드 관련 업무를 담당합니다.
Interview 01
데이터에 기반해 생각하고, 데이터로 표현하는 사람들
데이터AI센터는 어떤 일을 하는 곳인가요?
강훈민 써머스플랫폼의 데이터AI센터는 가격비교 사이트인 ‘에누리’에 AI 기술을 적용하고, 그룹사인 코리아센터 계열사들이 시너지를 낼 수 있도록 돕는 부서입니다. 데이터AI센터는 에누리의 상품 분류, 상품 매칭, 어뷰징 탐지와 같은 업무를 자동화하고, 스마트 택배 앱의 운영 및 닐슨, 한국은행에 대한 e-Commerce Trend 데이터를 공급 및 지원합니다. 또한, ‘가격을 구독하는 서비스’라는 에누리 서비스의 모토를 실현하고자 개인화 개발에도 본격적으로 착수했고, 장기적인 과제로써 코리아센터 그룹 전체의 상품 구매 데이터를 통합해 시너지를 내는 방안을 고민하고 있습니다.
DATA1팀도 소개해 주세요.
장민재 DATA1팀은 국내 모든 쇼핑몰의 상품 데이터를 수집하고 정제하는 업무를 진행하는 부서입니다. 팀장님을 중심으로 상품 데이터를 수집하면 나머지 팀원들은 해당 상품 정보를 여러 방면으로 가공 및 정제해 가격 비교 서비스 단계로 넘기는 업무를 수행합니다. 저는 팀에서 Group Matching과 MCSS(Merchandise Control Supporting System)를 구축하는 프로젝트를 맡고 있는데, Group Matching이란 쇼핑몰에서 상품의 정보를 수집해 오면 여기에 내부 규칙을 적용해 동일한 상품들을 그룹화한 후 가격 비교가 가능하도록 매칭하는 것을 말하며, MCSS는 이렇게 매칭된 상품별 최저가 정보를 쇼핑몰에 제공하는 시스템입니다.
조완기 DATA1팀은 가격 비교라는 서비스가 잘 유지될 수 있도록 보이지 않는 곳에서 열심히 일하는 숨은 영웅들이 모인 팀이라고 생각합니다. 저는 쇼핑몰에서 수집된 10억 건 이상의 상품 데이터 가운데 가격 비교가 되지 않은 상품들을 알맞은 카테고리로 이동시키고, 새로 가격 비교되어야 할 상품인지 판단하고 매칭시키는 백엔드 시스템의 개발 및 유지보수 업무를 담당하고 있습니다.
각 직무에서 필요한 역량이 궁금해요.
강훈민 데이터AI센터라는 부서명과 각 소속 직무의 앞 글자에 모두 데이터라는 단어가 들어간 것처럼, 데이터AI센터에서는 데이터 기반의 의사결정을 매우 중요하게 생각합니다. 데이터를 기반으로 사고하기 때문에 기획 업무와 비슷하기도 합니다. 데이터 기반의 사고란, 말로 일하는 것이 아니라 데이터로 일하는 것을 뜻하며, 일하는 것 자체가 보고서가 되듯이 일하는 것입니다. 부서 내에서는 이를 보통 구조적 사고, 코드 기반의 업무라고 지칭합니다.
데이터분석가에게 있어 가장 중요한 능력은 논리적 사고력입니다. 논리적 사고를 바탕으로 세상에 있는 수많은 데이터 중 중요한 데이터가 무엇인지 판단하고 이를 이용해 새로운 정보를 이끌어 낼 수 있어야 하기 때문입니다. 데이터사이언티스트에게 있어 가장 중요한 능력은 과학적/공학적 사고력입니다. 과학적 사고력은 과학 지식을 활용할 줄 아는 능력으로, 쉽게 말하면 ‘논문을 제품으로 만들 수 있는 능력’이라고도 할 수 있습니다. 아무리 데이터 분석에 관심이 많다고 한들 그 지식을 현실에 대입시키지 못한다면 이는 그 지식을 아는 것이라고 말할 수 없을 것입니다. 배우는 것에 그치지 않고 과학적 지식과 사고를 통해 문서화된 지식을 제품으로 만들어 낼 수 있어야 합니다. 데이터엔지니어에게 가장 중요한 능력은 프로그램적 사고력입니다. 사람들마다 코딩의 정의는 다르겠지만 저는 ‘코딩이란, 생각하는 것을 프로그램 언어로 표현할 수 있는 능력’이라고 생각합니다. 이 과정에서 문제 해결을 위한 절차적 사고를 할 수 있는 능력이 바로 프로그램적 사고력이며, 좋은 코드는 같은 일을 하는 데 시간 복잡도와 공간 복잡도가 모두 낮은 것을 의미합니다. 데이터엔지니어는 이러한 능력을 바탕으로 정의된 데이터를 가장 효과적으로 처리해 낼 수 있어야 합니다.
장민재 DATA1팀 역시 빅데이터를 다루는 업무를 수행하므로 데이터에 대한 지식이 필수적입니다. IT 관련 학과를 전공하거나, 정보처리기사 자격증 취득을 통해 개발과 관련한 기초 지식을 탄탄하게 다져야 합니다. 업무에서는 기본 언어로 JAVA를 사용하고 있으며, Spring boot batch로 개발을 진행합니다. 또한, eclipse, database로의 접근을 위해 Oracle SQL Developer를 사용하고 있으며, 형상 관리를 위해 GitHub 및 Jenkins도 사용하고 있습니다. 상기 프로그램들을 익숙하게 다룰 수 있다면 좋을 것 같습니다.
Interview 02
프로젝트의 목표를 정확히 이해하고 Top-down 방식으로 업무를 계획해야
가격 비교 시스템 개발의 어려운 점은 무엇인가요?
조완기 상품과 관련한 데이터 양이 방대해 한 줄의 코딩에 속도, 메모리 사용량 등 고려해야 할 사항이 많다는 것이 어려운 점인 것 같습니다. 최소한의 트래픽으로 최대한 많은 데이터를 가져와 자료 구조에 담고 데이터를 활용할 수 있도록 해야 하는데, 아직 경험이 부족해 팀 선배님들에게 노하우를 배우는 중입니다.
장민재 한마디 덧붙이자면, 나무보다는 숲을 보는 습관을 들이는 것이 중요합니다. 프로젝트의 목표가 무엇인지 정확하게 파악하고, 목표를 달성하기 위해서는 어떤 단계와 기능이 필요한지 탑다운(Top-down) 방식으로 생각해야 하며, 여러 상품 정보들이 어디에서 어떻게 활용될 것인지 전체적인 흐름을 파악한 뒤 디테일한 로직을 수립해 나가는 것이 좋습니다.
DATA1팀에 근무하는 동안 기억에 남는 일은 무엇인가요?
장민재 그룹 매칭 프로젝트를 담당했을 때가 기억납니다. 2세대 JSP가 배치 역할을 하고 있었는데, 아무래도 WAS에 종속적이다 보니 배치로서 제대로 된 역할을 하지 못했습니다. 문제의 심각성을 인지하고, 전체 배치를 Spring boot batch로 컨버팅하고, 대용량 파일을 핸들링하기 위해 RDB가 아닌, Redis를 도입했습니다. 결과적으로 데이터 액세스 지연 시간을 줄이고 처리량을 높일 수 있었던, 아주 성공적인 프로젝트였습니다.
조완기 입사 후 처음으로 기획팀에서 PRD를 받고 요구사항에 맞게 로직을 추가했던 일이 기억에 남습니다. 모든 것이 처음이었기 때문에 모르는 것을 누구에게 물어봐야 하는지도 몰랐고 어떤 방식으로 질문해야 하나 안절부절못했지만, 결국 잘 해결하고 QA까지 통과하며 성공적으로 마무리 지을 수 있었습니다. 첫 업무를 성공적으로 마쳤을 때 느꼈던 그 뿌듯함이 지금까지 생생합니다.
DATA1팀의 업무 목표와 이를 달성하기 위해 팀원들이 노력해야 하는 점을 말씀해주세요.
장민재 DATA1팀의 업무 목표를 두 단어로 표현하면 ‘안정성’과 ‘새로움’이라고 할 수 있습니다. 백엔드 데이터를 핸들링하는 업무의 특성상, 데이터가 안정적으로 적재될 수 있도록 일상 업무를 꼼꼼하게 진행하는 것도 중요하지만, 항상 새로운 기술의 도입을 염두에 두고 자기 계발을 위해 노력하는 것도 중요합니다.
조완기 10억 건이 넘는 상품 데이터를 빠르고 정확하게 수집하고 정제해, 가격 비교 서비스가 잘 운영되도록 하는 것이 궁극적인 목표입니다. 이를 위해서는 각 업무 단계를 담당하고 있는 팀원들 간의 원활한 의사소통이 가장 중요하다고 생각합니다. 신입인 저는 하루 빨리 업무에 적응하는 것을 최우선 순위에 두고 노력하고 있습니다.
Interview 03
다양한 복지제도를 통해 워라밸 실현
써머스플랫폼에 입사한 과정이 궁금합니다.
강훈민 어려서부터 컴퓨터에 관심이 많아 초등학교 저학년 때 정보처리기능사를 취득했고, 각종 웹 관련 경진대회와 전산 올림피아드에서 입상하기도 했습니다. 하지만 늘 저보다 잘하는 친구들이 있었기에 프로그래밍에 큰 재능이 있다고 느끼지 못했고, 일반 인문계 고교에 진학했습니다. 대학에서는 경영학을 전공했고요.
그렇지만 역시 적성이 따로 있었던 것인지 대학 졸업 후 S전자, S은행, N사에서 데이터 분석 관련 업무로 사회생활을 시작했습니다. 대기업에서는 결과물의 가치보다는 누가 만들었는지에 더 많은 관심이 쏠리다 보니, 비전공자로서 한계가 많더군요. 커리어에 대한 고민이 깊어 가던 때, 써머스플랫폼과 인연이 닿았고, 입사해 지금까지 오랜 시간을 함께하고 있습니다.
장민재 저는 컴퓨터공학을 전공했습니다. 학부 졸업 과제로 WAP(왑)이라는 프로토콜로 과제를 준비하며 웹 개발에 큰 흥미를 느끼게 되었습니다. 졸업 후 2년 정도 일본 커뮤니티 사이트 개발 기업에 다니며 웹 개발 업무를 수행했고, 이후 8년 동안 한 SI 기업에서 근무하다가 써머스플랫폼에 입사해 근무하고 있습니다.
조완기 저의 전공은 AI소프트웨어입니다. 학과 수업 과제를 통해 백엔드 개발자로 진로를 결정했습니다. 학교 도서관의 도서 대출 서비스와 비슷한 서비스를 개발하는 과제였는데, 당시 고객의 니즈를 분석하고 이에 기반해 설계와 개발을 하는 과정이 무척 재미있게 느껴졌습니다. 써머스플랫폼은 저의 첫 직장으로, 써머스플랫폼이 운영하는 에누리닷컴이 매월 1,500만 명의 사용자를 보유하고 있으며, 1,500여 개의 쇼핑몰에 10억 개 이상의 상품 정보를 제공한다는 사실을 알고 지원하게 되었습니다.
팀의 근무 분위기와 업무 강도는 어떤가요?
강훈민 저는 센터장으로서 부서원들이 자율성과 주도성을 가지고 업무를 수행하는 분위기를 만들기 위해 노력합니다. 구성원들이 주체적으로 본인의 업무를 결정하도록 하고, 이를 통해 높은 업무 성취감과 개발자로서 성장할 기회를 주는 것이지요. 또한, 업무 관련 회의를 하거나 의견을 낼 때는 내용을 문서로 공유하여, 타 직무와의 협업이 용이하도록 합니다.
장민재 매우 자율적인 분위기입니다. 개인 스스로 WBS를 산정하고 있으며, 학습이 필요하다고 생각하면 충분한 학습 시간을 가진 후 개발을 진행하는 경우도 있습니다. 많은 일을 하는 것에 가치를 두기보다 한 건을 처리하더라도 꼼꼼하게 하는 것을 더 중요하게 생각합니다. 야근은 별로 없지만, 코딩에 탄력을 받았을 때는 퇴근 시간을 훌쩍 넘기며 자발적인(?) 야근을 할 때도 있습니다.
조완기 이제 입사한 지 막 3개월이 되어 가는데, 현재까지는 야근이라고 할 정도의 잔업은 없었습니다. 근무 분위기는 정말 좋다고 생각하는데요. 자율 복장, 넉넉한 휴식 시간, 자유로운 휴가 신청, 출퇴근 시간 준수(a.k.a. 칼퇴근), 눈치 주지 않는 팀원들까지! 이러한 것들이 모여 팀의 분위기를 좋게 만드는 것 같습니다.
복지제도 중 가장 좋다고 생각하는 것 한 가지와 그 이유를 말씀해 주세요.
장민재 한 달에 한 번 매월 셋째 주 금요일에 ‘누리데이’를 실시하는데요. 2시간 일찍 퇴근해 워라밸을 ‘누리’는 날입니다. 개인적으로 캠핑을 무척 좋아하는데, 시차 출근제와 같이 사용해 2시에 퇴근하면 거의 3일 동안 온전히 캠핑을 즐길 수 있어 상당히 만족스럽습니다.
조완기 직원들의 휴식을 위해 만든 널찍한 카페테리아가 마음에 듭니다. 업무를 하다가 잘 안 풀려 머리가 아플 때면 잠시 카페테리아에서 카페인을 충전하거나, 편안히 휴식을 취합니다. 머리를 맑게 하고 업무에 복귀하면 안 되던 업무도 잘 되더라고요.
Interview 04
데이터의 진화로 더 많은 기회를 기대할 수 있는 직업
신입직원 채용 면접에서 자주 하시는 질문은 무엇인가요?
강훈민 git이나 포트폴리오와 같은 지원자의 작업물을 소개해 달라고 하고, 그와 관련된 질문을 합니다. 자율성은 실력과 신뢰에서 나오는 것이라고 생각하는데, 이 두 가지를 확인하기에 가장 적합한 방법인 것 같습니다. 개발자를 꿈꾸는 분이라면 본인만의 포트폴리오를 잘 구성해 두길 바랍니다.
같은 직무를 희망하는 후배들에게 콘텐츠를 하나 추천해 주세요.
장민재 영화 ‘위플래쉬’를 추천하고 싶습니다. 좋아하는 것에 대한 열정이 무엇인지 보여주며, 하나의 음악을 완성하기 위해 얼마나 큰 노력이 필요한지 알려주는 영화라고 생각합니다. 개발 직무와 닮은 점이 많다는 생각이 드네요.
조완기 저는 온라인 강의 플랫폼인 인프런에서 시청할 수 있는 ‘김영한의 스프링 핵심 원리 - 기본편’을 추천하고 싶습니다. 스프링에 대한 가장 기본적인 내용을 쉽게 설명하고 있는 강의이거든요. 면접을 준비하고 계신 분이라면 Github의 ‘기술 면접’이 연습에 많은 도움이 될 것입니다.
마지막으로 같은 분야에 관심 있는 취업준비생들에게 조언과 응원의 말씀 부탁드립니다.
강훈민 인류는 기록을 시작하면서 비로소 문명을 건설했고, 이것이 이어져 오늘날과 같은 발전된 세상을 이루었습니다. 데이터 사업은 단순히 컴퓨터에 저장된 글이 아닙니다. 데이터는 인류의 DNA를 전자적으로 구현한 우리 자신입니다. 이러한 데이터는 아직 인류에게 종속되어 있지만, 곧 인간의 증식 속도보다도 빠른 속도로 증가할 것입니다. 데이터가 증가하는 속도만큼 우리의 할 일도 끝이 없으리라 생각합니다.
장민재 프로그래머는 현실 세계에 있는 요구 사항을 도출, 분석해 프로그래밍으로 표현하는 일입니다. 열정을 갖고 프로그래밍을 즐기실 수 있는 분이라면 개발직만큼 좋은 직무가 없는 것 같아요. 긍지를 갖고 준비해 보세요! 파이팅!
조완기 IT개발자는 미래에 더욱 유망한 직무라고 생각합니다. 컴퓨터 언어도 말 그대로 하나의 ‘언어’입니다. 외국어를 잘하기 위해서는 직접 듣고 말해 보는 것이 중요하듯이 프로그래밍을 잘하기 위해서도 눈으로 보기보다 직접 사용하면서 익숙해지는 것이 중요합니다. 키보드에 손을 올리고 직접 구현해 보길 바랍니다.
