인터뷰

취향을 이어주고 안전한 번개장터를 만드는 일

[인터뷰] 번개장터 데이터 랩의 JH

2024. 03. 28 (목) 17:11 | 최종 업데이트 2024. 03. 28 (목) 17:14
'번개장터'는 모바일 앱 최초로 만들어진 중고거래 플랫폼인데요. 이들의 거래는 일반적인 중고거래와는 좀 다릅니다. 명품은 물론이고 품절된 한정판 스니커즈, 유니크한 수집품까지. 번개장터를 찾은 사람들은 자기가 좋아하는 것을 사고 좋아했던 것을 팔고 있죠. '취향을 잇는 거래'를 표방하는 번개장터의 정체성 그대로가 발현된 셈인데요. 

번개장터의 데이터 랩에서 더욱 세밀하고 정확한 개인화 추천 기능으로 기술을 고도화해낸 역할이 크다고 합니다. 심지어 번개장터의 데이터 랩은 직접 개발한 머신러닝 모델로 직접 서비스까지 만드는 경우도 많아서 실무 경험 제대로 쌓으며 성장할 수 있다고 해요. 데이터 랩의 JH님을 만나 팀에 합류하기 위해서 갖춰야 할 '자세', 어떤 것이 있을지 물어봤습니다. 

안녕하세요 JH, 자기 소개 부탁드립니다:)

안녕하세요, 데이터 랩의 JH 입니다. 저는 2년 전에 번개장터에 합류했고, 데이터 관련 개발 업무를 맡고 있어요. 이전에는 추천 시스템, 암호 화폐 트레이딩 플랫폼에서 근무했습니다


번개장터 데이터 랩은 어떤 일을 담당하는지 궁금합니다. 

회사마다 데이터 팀의 역할의 차이가 있는 것 같아요. 저희 랩은 개발 본부 소속이기도 해서, 데이터 기반 서비스를 개발하는 부분에 좀 더 비중을 두고 있죠. 

근래에 진행했던 프로젝트를 몇 가지 이야기 드리면, 개인화 상품 추천, 상품 브랜드 자동 추출, 연관 검색어 개발 등이 있습니다. 물론 데이터 랩 혼자 개발하는 건 아니고, 다른 랩의 개발자 분들과 Product Manager 분들과 협업하고 있어요.


중고거래에서 매우 중요한 과제들을 담당하고 계시네요! 해결하기 어려운 문제를 풀어가는 만큼, 업무를 진행할 때 어려운 점이 있을까요?

머신러닝/AI를 이용하는 서비스들이 대부분 겪는 문제일거라 생각하는데, 모델 개발에도 노력이 굉장히 많이 들어가지만 실제 서비스에 런칭할 때는 그보다 몇 배 더 많은 노력과 트러블이 발생한다는 점일까요. 특히나 중고거래의 특성 때문에 문제 자체가 너무 어려워 지는 경우도 많고요. 

브랜드 태깅을 예로 들면, 일반 커머스는 상품을 올리는 셀러들에게 브랜드 정보를 잘 입력하도록 어느 정도 가이드를 할 수 있고 그 정보 또한 신뢰도가 꽤 높습니다. 반면에, 저희 같은 경우는 사용자가 상품을 등록 할 때 브랜드를 추가적으로 입력 하라고 하기가 어렵고, 만약 입력을 한다고 하더라도 실제 상품과는 다른 브랜드를 입력할 가능성이 높죠. 그래서 여러가지 대안을 고민하다 결국 사용자의 상품 등록은 현재 그대로 유지한 채로, 등록 이후에 브랜드를 자동으로 추출해서 그 정보를 이용하는 방안으로 결정하고 관련 개발을 진행하고 있어요. 

개발 초기에는 예측을 벗어나게 추출 되는 브랜드들이 많이 있었는데, 여러 개선을 거치면서 다행히 현재는 잘 동작하는 버전이 서비스에 반영되어 있죠. 이렇게 사용자에게 불편함을 주지 않기 위해서 개발 난이도를 스스로 높이는 일이 종종 발생하고 있어요.

취향을 이어주는 추천 시스템 (자료 = 번개장터)

번개장터 데이터 랩만의 특별한 문화나 특징이 있다면 소개해주세요.

데이터 랩은 동료의 전문성을 존중하고 적극적으로 협업하는 것을 중요한 개발 문화로 여기고, 자발적인 연구, 실용적인 개발을 추구합니다. 기본적이고 당연한 것들이긴 한데, 기본을 지키는 것이 매우 중요하다고 생각해요. 

머신러닝/AI 분야는 매일 새로운 기술이나 알고리즘이 나오고, 주제도 자연어 처리부터 이미지 인식까지 매우 넓기 때문에 꾸준히 연구를 해야 그 트렌드를 따라갈 수 있어요. 

번개장터 서비스에 필요한 기술들 중 자신이 관심이 있는 분야에 대해서는 전문가가 될 수 있도록 연구하는 것을 권장하고, 실제 개발을 담당할 수 있는 문화를 지향하고 있죠. 

실용적인 개발은 연구한 기술을 실제 서비스로 연결하도록 노력하는 문화인데요. 기술에 대한 연구를 잘 하는 것도 중요하지만, 연구한 것을 실제 서비스로 연결하여 그 가치를 몇 배로 높일 수 있도록 합니다. 연구할 때도 항상 이런 부분을 염두에 두고 있어요. 특히, 번개장터는 서비스가 매우 빠르게 변화하고 발전하고 있기 때문에, 마찬가지로 연구한 결과물을 빠르게 적용해보고 그 실용성을 판단하는데 아주 좋은 환경이죠.


데이터 랩의 직무는 어떻게 구성이 되어있을까요?

직무적으로는 데이터 사이언스와 데이터 엔지니어링으로 구분되어 있습니다.


데이터 사이언스와 데이터 엔지니어링은 실제로 어떤 일과 기술스택을 바탕으로 업무하나요?

데이터 사이언티스트는 데이터 분석과 서비스에 필요한 머신러닝 모델 개발이 주요 업무입니다. 로그 데이터를 다루는 경우가 많기 때문에, 대용량 분석이 가능한 데이터 분석 인프라(AWS Redshift, Athena)에서 Python 과 SQL을 이용해요. 머신러닝 모델링은 우선 문제를 잘 정의하는 것부터 시작하여, 적절한 해결 방법을 찾고 연구하여 적용하는데요. Python 을 주로 사용하고 문제마다 적절한 머신러닝 알고리즘을 사용합니다. 딥러닝 프레임워크로는 주로 Tensorflow, PyTorch 를 사용하고 있어요. 

데이터 엔지니어는 머신러닝 모델을 실제 서비스에 적용하는 업무와 데이터 관련 인프라의 관리와 개발 업무를 하고 있어요. 머신러닝 모델이 개발되었어도 실제 서비스에 적용 할 때는 최적화와 안정성 확보가 되어야 서비스가 가능하기 때문에 관련된 부분을 책임지고 있죠. API 개발에는 Spring Boot(Kotlin), FastAPI(Python) 를 주로 사용하고, 빅데이터 처리에는 Spark(Scala)를 활용해요. 번개장터의 인프라는 AWS 에서 운영되기 때문에 관련 서비스인 EMR, SageMaker, MWAA 를 적극적으로 이용합니다. 또한 로그 수집 시스템과 분석 시스템에 대한 인프라 설계와 개발 등의 업무도 담당하고 있죠.

번개장터 로깅 시스템

추천 아키텍처

최근 많은 기업에서 데이터 직무의 채용을 늘리고 있는 것 같습니다. 타 기업과는 다른 번개장터 데이터 직무 만의 특징이 있을까요?

데이터 기반 서비스를 하는 대부분의 회사는 데이터 분석, 머신러닝 모델링, 서비스 개발을 하기 때문에 업무에 큰 차이는 없을 것 같아요. 하지만 번개장터의 데이터 랩은 직접 개발한 머신러닝 모델을 직접 서비스까지 만드는 경우가 많은데요. 이렇게 하는 이유는 서비스 변화에 빠르게 대응하기 위해서이기도하지만, 더 좋은 머신러닝 모델을 만들기 위해서죠. 

사용자로부터 가까워야 머신러닝 모델의 성능을 더 빠르게 파악할 수 있고, 개선한 모델을 다시 서비스로 내보내는데 지연이 없게 됩니다. 중고거래도 상품이 다양하고 그 순환이 빠른만큼 이용 행태도 매우 빠르게 변하는데, 개발이 이를 따라가지 못하면 안된다고 보고 있어요.


자세한 설명해주셔서 감사해요. :) 데이터 랩은 어떤 인재 분들과 함께하고 싶으세요?

앞에서도 기본적인 것이 중요하다고 말씀드렸는데, 기본이 잘 갖춰져 있고, 문제 해결 능력이 뛰어난 인재 분을 영입하려고 해요. 머신러닝 모델과 관련된 개발은 처음 접하는 문제가 대부분인데요. 새로운 문제를 접하였을 때 그 해결 가능성을 빠르게 파악하고 관련 연구를 진행하여 개발까지 이어갈 수 있어야 하죠. 

안 되는 문제는 안 된다고 빠르게 포기하는 직관도 필요하고요. 이런 부분은 기초적인 컴퓨터 공학, 수학, 통계의 역량이 많이 필요한 것 같아요. 머신러닝 알고리즘 한 두개를 더 아는 것보다는 한가지 문제라도 깊게, 오랫동안 고민하면서 해결해본 경험이 있으신 분이 좋습니다.


데이터 분야의 인재 분들이 번개장터 데이터팀에 합류하게되면 어떤 것을 얻을 수 있을까요? 

번개장터는 아직도 더 큰 발전을 목표로 하는 비전이 확고한 스타트업이고, 이를 가장 가까이에서 경험해볼 수 있어요. 아마 데이터 랩에 지원하시는 분은 데이터를 좋아하는 분일텐데, 번개장터에서 근무하시게 되면 중고 거래의 모든 데이터를 다룰 수 있고, 이걸 가지고 해볼 수 있는 건 다 해볼 수 있을 것이라고 보장합니다. 


▶번개장터는 지금 채용중◀
저작권은 번개장터에 있으며, 무단 배포를 금지합니다.