주요업무

? 5개의 제품, 4개의 스쿼드로 이루어진 데이터들을 마트화하는 작업

 - 지금까지 비즈니스 쪽 지표를 먼저 작업했고 제품 쪽에 마트화가 남아있습니다.

  - 각양각색의 인사제도들을 운영하기 위해 여러 회사에서 사용 중인 마트를 구축함으로  

    써, 더 쉽게 데이터를 확인하고 제품과 제품을 횡으로 연결하여 새로운 인사이트를 발굴

    할 수 있습니다.

? 데이터 거버넌스를 구축하는 작업

  - 인사 데이터는 매우 민감한 정보이다 보니, 현재는 승인을 득한 극소수의 인원만 데이터

     를 열람하고 있습니다. 문제는 민감하지 않거나 충분히 비식별화된 데이터까지도 살펴 

     보는 데 어려움이 있다는 점입니다. 그리고 이 상황은 새로운 인사이트를 얻는 데 큰 제

     약이 됩니다.

   - 이 문제를 해결하기 위해서는 데이터 거버넌스가 필요합니다. 볼 수 있는 데이터와 볼 

     수 없는 데이터를 명확하게 구분하여 자신 있게 데이터를 살피고, 볼 수 없는 데이터는 

    카탈로그 등을 통해 형상을 공유하여 추후 필요한 시점에 승인을 득하여 데이터를 열람

    할 수 있도록 하는 것이 목표입니다.

? 크루들이 스스로 분석할 수 있는 환경을 구축

  - 크루들이 데이터를 살펴보고 더 나아가 분석하고자 하는 상황이 되었지만, 이를 꼭 데이

     터 팀을 통해서만 확인해야 한다면 팀의 규모와 관계없이 병목 문제는 피해 갈 수 없습

     니다.

  - 이 문제를 해결하기 위해서는 크루들이 직접 데이터를 분석할 수 있는 환경을 만들어나

    가야합니다. 인프라적으로 분석을 수행할 서버를 구축하거나 운영을 위한 모니터링 등 

    인프라적인 요소들도 있겠지만, 데이터 거버넌스나 데이터 프로파일, 데이터 탐색 등 기

    술 외적으로 준비해야 할 것들 역시 많습니다. 데이터 품질을 높이고 관리하는 작업은 파

    이프라인을 운영하는 동안 계속 필요하고, 제품화된 데이터를 운영하는 것 역시 신경 써 

    야 합니다.

자격요건

? 이런 경험을 가진 분이 필요합니다.

  - 데이터 엔지니어 경력 2년 이상 혹은 그에 준하는 이해도가 있는 분

  - Spark 및 기타 빅데이터 프레임워크 사용 경험이 있는 분

  - 데이터마트에 대한 니즈를 발굴하고, 이를 해소하는 파이프라인 및 마트를 구축한 경험 

    이 있으신 분

  - 작더라도 실제 운영 중인 서비스의 데이터 인프라 및 운영의 A-Z 경험 및 설계 경험자 

? 이런 경험을 가진 분이라면 더 좋습니다.

  - 
AWS, GCP 등 클라우드 환경에서 데이터 인프라 설계 및 운용

  - MLOps 운영 경험이 있으신 분

  - 개선되고 성장하는 레몬베이스의 프로덕트 및 서비스에 맞추어 확장 가능한 데이터 아

    키텍처 구성 경험이 있으신 분

  - 고객들을 대상으로 하는 데이터 제품 및 플랫폼 운영 경험이 있으신 분

  - 구성원의 데이터 리터러시를 올리기 위한 활동 경험이 있으신 분

? 현재 활용하고 있거나 도입 예정인 스택 (Stack)

 - 인프라 관리: AWS(IAM, VPC, EC2), Terraform, Kafka, Docker, MariaDB

 - 파이프라인 관리: Databricks, Spark(pyspark)

 - 코드 관리: Github

 - 오케스트레이션: Databricks(Workflow), Airflow or Prefect

 - 모니터링: AWS CloudWatch + AWS SNS + Slack

 - 데이터 품질 관리: Great Expectations

 - CI/CD: Github Action

 - 데이터 디스커버리: Datahub

혜택 및 복지

지원방법