인류 역사상 그 어느 때보다 문과생들의 고민이 깊은 때가 바로 지금 아닐까? 코딩, 개발자, AI, 챗GPT 기타 등등 온갖 기술 용어로 점철된 뉴스, 채용 공고를 보다 보면, 절로 한숨이 나온다. 지금이라도 코딩을 배워야 하나, 그때 컴퓨터공학을 전공했어야 했는데, 아니 그런데 나는 수학이 싫은 걸, 온갖 의식의 흐름대로 생각을 이어 나가다 보면 결국 결론은 치킨집인가…음?
그런데 여기, 문과생들의 눈과 귀를 번쩍 뜨게 할 직업이 새롭게 떠오르고 있으니, 이른바 프롬프트 엔지니어다. 요즘 잘나간다는 AI 회사들이 비싼 몸값으로 모셔가고 있다는 그 직업, 맞다. 일단 이름부터 뭔가 미래지향적이고 IT스럽다.
AI와 대화하며 AI가 더 일을 잘 할 수 있도록 학습시키는 역할을 한다고 하는데, 가장 중요한 역량으로 꼽히는 것이 '글쓰기'란다. 이것도 결국은 개발자아닌가 싶은데, 코딩보다 글쓰기 역량이 더 중요하다고 하니 찐 문과생들의 눈이 번쩍 뜨일만 하다.
네이버클라우드의 하이퍼클로바팀에서 프롬프트 엔지니어로 일하고 있는 이예빈 님을 통해 프롬프트 엔지니어가 하는 일부터, 챗GPT같은 초거대언어모델을 잘 이용하는 법까지 꼼꼼하게 알아봤다.
잠깐. 챗GPT는 알겠는데 네이버라고? 네이버는 한국판 초거대 언어모델인 '하이퍼클로바X' 7월 중 공개할 예정이다. 고객이 자체 보유한 데이터를 하이퍼클로바와 결합해 사용자 니즈에 맞는 응답을 즉각 제공할 수 있도록 업그레이드했다고. 챗GPT 대비 한국어를 6500배 더 많이 학습했다고 하니, 조만간 한국말 잘하는 AI를 만나볼 수 있을 예정이다.
-안녕하세요. 소개 부탁드려요.
네이버클라우드의 하이퍼클로바 팀에서 일하는 이예빈입니다. 프롬프트 엔지니어링, 데이터분석, AI모델 관련 개발 업무를 함께 하고 있어요.
-챗GPT가 워낙 인기라 초거대 언어모델 플랫폼이 뭔지, 어떻게 이용하는지는 알겠는데요. 이런 서비스를 만들 때 프롬프트 엔지니어의 역할은 뭔가요?
AI가 말을 잘 할 수 있게 가르치는 일이라고 생각하시면 될 것 같아요. 초거대언어모델은 AI가 말을 얼마나 잘하는지, 답을 잘하는지, 그 능력이 제품력인 셈이잖아요. 챗GPT 사용해 보셨죠? 쓰기 쉬운 대화 형태로 구성돼있지만, AI도 처음부터 말을 잘하는 것이 아니거든요. 사람이 하는 말을 100% 이해하지 못하기도 하고요. 백지상태의 AI와 대화를 하면서 어떤 말은 잘 알아듣고 답을 잘하는지, 어떤 말은 잘 알아듣지 못하고 답을 잘하지 못하는지 등을 찾아내는 거예요.
-말을 잘 못 알아듣거나, 생뚱맞은 답을 하면 어떻게 해요?
말을 바꿔서 다시 물어보거나 예시를 줘요. 예를 들어 키워드를 주면서 '마케팅 문구를 써봐' 시켜봤을 때 답을 잘 못한다면, 제가 답을 만들어서 제시해줘요. 가르치는 거죠. 그리고 또 새로운 키워드를 주고 말을 시켜 봐요. 그 과정에서 AI가 마케팅 문구를 쓰는 법을 배워가는 건데요. 이걸 인컨텍스트 러닝(in-context learning)이라고 해요.
우리가 만들고 싶은 것은 쉽게 말해서 '대충 말해도 찰떡같이 알아듣고 필요한 말을 하는 모델'이거든요. 프롬프트 엔지니어는 모델의 약점은 무엇인지, 잘 안되는 것은 무엇인지를 파악하고 개발자, 연구자들에게 전달해 개선할 점을 함께 고민하죠. 인컨텍스트 러닝 등 다양한 시도를 통해 모델의 부족한 점을 찾아서 채워주고, 보완해주는 역할이라고 할 수 있겠네요.
-어떤 예시를 주는지에 따라 AI의 역량이 달라질 것 같아요. 진짜 AI의 선생님인 거네요.
맞아요. 그래서 프롬프트 엔지니어는 언어 능력이 중요해요. 어떤 예시를 주는지에 따라 AI의 대답이 달라지거든요. 개발자와 연구자가 AI모델을 만들어낸다면, 어떻게 사용하고 역할을 확장해 나가는지는 프롬프트 엔지니어의 역량에 달려있다고 할까요?
예를 들어, MBTI를 이용해 AI에 성격을 부여하는 시도를 해본 적이 있는데요. MBTI 유형별 특징을 AI에 입력하고, 그에 맞춰 대화하도록 인컨텍스트 러닝을 시키면, 대화 과정을 통해 AI가 그 특징을 익혀요. 그럼 점점 처음 기대했던 방식의 대화가 가능해지는 거죠.
-AI에게 말투나 성격도 훈련할 수 있다니, 재미있는데요. AI 선생님의 역할을 잘하기 위해 프롬프트 엔지니어는 어떤 역량이 중요한가요?
프롬프트 엔지니어는 연구와 기획의 중간 단계에 있는 역할인 것 같아요. 예제를 어떻게 바꿔야 효과적일지, 또 AI의 능력을 어떤 식으로 확장해볼 수 있을지, 이를 유저들이 어떻게 사용할까 같은 고민을 계속하는 직업이에요. 이를 위해 기획력, 창의력이 필요할 것 같아요. 이런 역량을 키우기 위해서는 초거대언어모델을 직접 써보면서 감을 익히는 것 아닐까 싶어요. 직접 써보면서 다양하게 시도 해보면, 어디까지 되고, 어디서부터 안되는지를 알고, 어떻게 보완을 해나가야 할지 감이 오거든요.
사실 개발자처럼 고도의 개발 능력이 필수적인 일은 아니에요. 창의적으로 이런저런 생각을 해보고, 다양한 실험을 해보는 것을 즐기는 분들, 글을 읽고 쓰는 것을 좋아하는 분들이 하면 재미있게 하실 수 있을 것 같아요.
-찐 문과 출신이라고 들었어요. 그런데 어떻게 프롬프트 엔지니어가 되셨어요?
전 독어독문학과 미디어학을 전공했어요. 네이버에서는 초거대언어모델 관련 플랫폼의 프로덕트 기획자로 시작했고요. 초거대언어모델로 좋은 서비스를 기획하기 위해서는 프롬프트 엔지니어링을 통해 언어모델의 능력치를 잘 발굴하는게 중요하다는 것을 느꼈어요. 자연스럽게 모델 연구, 개발 지식 등, 보다 깊은 지식에 대한 갈증도 생기더라고요. 모델을 속속들이 잘 아는 기획자가 모델을 발전시켜나가는 것이 좋지 않겠느냐는 판단에서 자연스럽게 업무 이동을 하게 됐고요.
-엔지니어라고 하면 코딩은 무조건 할 수 있어야 할 것 같은데, 코딩은 따로 배우셨어요?
원래는 코딩은 하나도 모르는 기획자였는데요. 일을 하다 보니 실제 생활에 있는 데이터를 이용해보고 싶더라고요. 제 생각만으로 예제를 만들어 주기에는 한계가 있잖아요. 그래서 웹 크롤링을 먼저 배웠어요. 네이버 리뷰를 자동으로 긁어오는 간단한 코딩부터 시작했는데, 프롬프트 엔지니어링을 하기 위해 필요한 자원을 발굴하는 방식의 코딩은 재미있더라고요.
그러다 AI와 혼자 대화하고 끝나는 것이 아니라 AI를 통한 활용 사례를 보여주면 좋겠다는 생각이 들어서 간단한 프로토 타입같은 데모툴을 만들어보게 되고, 그러다 보니 하나씩 필요한 것들을 배우게 됐어요.
개발 쪽도 꾸준히 공부하고 있는데요. 남이 만들어준 모델을 쓰는 것도 좋지만 오류가 있다거나 모델이 작동을 안 할 때, 개발 지식이 있으면 직접 모델을 고쳐볼 수도 있고, 내가 써보고 싶은 또는 내가 쓰기 편한 형태로 서버에 올려볼 수도 있잖아요. 조금씩 역할을 확장하고 있어요.
-코딩 배우기 어렵지는 않았어요?
처음 시작할 때는 공포도 있었어요. 전통적인 서비스 기획자로서 역량을 먼저 쌓아야 하는 것 아닌가 싶은 생각도 들었고요. 그렇지만. 제대로 된 기획을 하려면 AI와 초거대언어모델에 대해 잘 아는 것은 물론, 관련 개발은 스스로 적극적으로 해낼 수 있는 능력이 필요하다는 생각도 들었고요. 그런데 일단 재미있었어요. 궁금한 것, 필요한 것을 찾아서 조금씩 영역을 넓혀가다 보니 재미있게 배울 수 있었던 것 같아요.
-챗GPT가 세상을 들었다 놨다 하고 있잖아요. 네이버 역시 7월 '하이퍼클로바X'를 출시할 계획이라고 하는데요. 챗GPT와는 다른, 하이퍼클로바X의 특징은 뭔가요?
챗GPT의 장점은 대충 말해도 좋은 정보를 준다는 점일 것 같아요. 하지만 아무래도 외국어 데이터가 가장 많이 학습되어 있으니, 한국어에서 약점을 보이죠. 일단 말투 자체가 번역체이기도 하고요. 한국 문화나 정서를 반영하지 못하거나 한국 관련 질문에는 두루뭉술한 답변이 나오기도 하고요.
하이퍼클로바는 한국어 데이터를 기반으로 하니까 한국 문화나 정서, 한국적 상황을 더 잘 반영하고 있어요. 한국어 능력은 압도적이고요.
실제 "냉파가 뭐야 설명해줘"라는 질문을 챗GPT와 하이퍼클로바에게, 동시에 해봤는데요. '냉파'는 요즘 유행하는 '냉장고 파먹기'라는 말로 많이 쓰이잖아요. 챗GPT는 "중국 음식이다" "찬 공기가 넓은 지역을 덮는 현상이다"라는 식의 답을 했어요. 하이퍼클로바는 "냉장고 파먹기라는 말로 냉장고에 있는 재료를 이용해 식단을 구성하는 것이다"며 다양한 사례들을 함께 제시해주더라고요.
한국인들이 자주 쓰는 일상 단어들을 이용해 친근하게 대화할 수 있고, 한국 상황에 맞는 정확한 데이터를 활용한다는 점이 하이퍼클로바X가 챗GPT와 가장 다른 점일 것 같아요. 한국 유저들이 공감하며 재미있게 대화할 수 있는 거죠.
-네이버에서 초거대언어모델 플랫폼을 출시할 때부터 프로덕트 기획자로 업무에 참여하셨다고 들었는데요. 그만큼 하이퍼클로바X에 애정도 많으실 것 같아요. 정말 내가 키우고 가르친 아이가 세상에 나오는 것과 비슷한 느낌 아닐까 싶어요.
저희 팀이 데이터 수집부터 모델을 만들고 서비스를 위해 이를 튜닝하는 것까지 맡아서 하고 있는데요. 활용해도 되는 데이터와 안되는 데이터가 있거든요. 이런 것들을 분류해내고 정제하는 데이터 전처리 과정까지 한 땀 한 땀 하며 만들고 있거든요. 정말 애정이 없으면 힘든 일인데, 저희는 정말 재미있게 만들고 있어요. 국가 차원에서 꼭 필요한 기술을 만들어내고 있다는 사명감도 있고요. 아마 국내에서는 가장 먼저 고민하고 연구하지 않았나 하는 자부심도 있습니다. 하이퍼클로바X가 한국에서는 아마 가장 규모가 크고 성능이 좋은 모델이 아닐까요. 그 결과가 곧 나오는 건데요. 많이 관심 두고 지켜봐 주셨으면 좋겠어요.
-초거대 AI 언어모델을 업무에 활용하려는 시도들이 늘고 있는데요. 실제 업무에 효과적으로 활용할 수 있는 팁이 있을까요?
보고서 같은 글을 써야 하는 업무들이 많은데요. 이때 초안을 잡아주는 데 강점이 있어요. 글을 쓰기 전에 아무것도 없는 백지상태에서 창작하고 틀을 잡는 데 은근히 시간도 많이 걸리고 생각도 많이 해야 하잖아요. 그런데 AI 언어모델이 이걸 정말 잘해요. 주제를 주고 아웃라인을 잡게 해서 초안을 잡고, 이 초안에 세부적인 내용들을 채우고 다듬는 방식으로 이용하면 꽤 유용하게 사용하실 수 있을 것 같아요. 생산성을 높여 인간은 보다 창의적이고 고차원적인 일에 더 많은 시간을 쓸 수 있게 되는 거죠.
-질문을 어떻게 하느냐에 따라 완전히 다른 결과가 나올 수 있다고 하셨는데요. 질문을 잘하는 방법이 있을까요?
최대한 단순하게, 원하는 바를 명확하고 구체적으로 물어보는 게 좋아요. 예를 들어 마케팅 문구를 만들고 싶다면, 주요 키워드뿐 아니라 타깃, 제품 특성, 콘셉트, 문체 등 가능한 구체적인 정보를 주시면 이에 맞는 답을 줄 가능성이 높아요.
어제 입사한 인턴에게 일을 시킨다는 마음으로 접근하면 좋은 것 같더라고요. 동료나 상사는 구체적으로 설명하지 않아도 알고 넘어가는 것들이 있잖아요. 그런데 어제 입사한 인턴에게 일을 줄 때는 구체적으로 명확하게 자세히 말해주잖아요. 그냥 "써오세요"가 아니라 "이렇게 저렇게 써와라. 중요한 것은 무엇이다" 이렇게요.
내 일을 도와줄 일 잘하는 인턴이 왔다는 마음으로 접근하면, 정말 유용하게 사용하실 수 있을 거예요. 하이퍼클로바X가 나오면 한국말 잘하는 나만의 인턴을 만나실 수 있을테니, 조금만 기다려주세요!