새해는 AI Agent가 점령할 것이다 | ElevenLabs Part 1

요약노트

이 영상은 2025년 새해를 맞아 진행되는 txi 클럽의 방송으로, creator가 최근 사이드 프로젝트로 개발한 AI 기반 3D 웹사이트에 대한 소개를 포함하고 있습니다. 이 웹사이트는 사용자가 산타 할아버지와 대화할 수 있는 기능을 제공하며, 최신 AI 모델을 활용하여 인터랙티브한 경험을 제공합니다. 영상에서는 세 가지 주요 기능에 대해 설명합니다. 첫째, 사용자가 설정한 프롬프트에 따라 산타의 성격과 반응을 조정할 수 있는 AI 에이전트를 만드는 방법을 다룹니다. 둘째, 랩스 플랫폼을 통해 다양한 언어와 음성을 가진 AI 대화 모델을 손쉽게 생성하고 활용할 수 있는 방법을 소개합니다. 셋째, 고객 지원 서비스와 같은 다양한 분야에 AI 음성 대화를 접목시켜 실제로 적용할 수 있는 가능성을 탐구합니다. 결론적으로, 이 영상은 생성 AI의 발전을 통해 음성 대화의 기능이 어떻게 변화하고 있는지를 보여주며, 향후 다양한 활용 사례에 대한 기대감을 표현하고 있습니다.

스크립트

안녕하세요 txi 클럽입니다 어 올해이제 2025년 새해가 됐는데 일단먼저 새해복 정말 많이 받으시길바라겠습니다 그래서 제가 그저께가이제 라이브 방송을 하면서 연말회고를 했었는데네 지난 1년 동안정말 많은 이제 관심 가져 주시고항상 이렇게 영상들 어 봐 주시고구독해 주셔서 정말 감사하다는 말남기고 싶습니다 그래서 오늘 제가 좀준비한 콘텐츠는 제가 뮤 에도 글을올리긴 했는데 어 제가 최근에 좀하고 있는 그런 사이드 프로젝트같은게 있어서 이게 이제랩스 이제 대화할 수 있는 그런모델이 나오게 되어서 얘를 좀접목시킨 이런 웹사이트를 제가 재밌게좀 만들었어요 그래서 얘로 먼저 좀어떤 것들을 할 수 있는지 테스트로보여 드리고 그리고 실제로 이제랩스에서 그 출시한 기능이 생각보다좀 되게 유용하게 쓸 수 있는 곳들이많을 것 같아서 그거 를 만드는방법에 대해서 좀 소개를 드리고자합니다 그래서 일단 제가 만든웹사이트 터 먼저 소개를 드리자면얘는 이제 산타 할아버지랑 좀 대화를할 수 있는 이런 3D 어 웹사이트에그래서 제가 요즘 블렌더 3js 아는새로운 개발 프로그래밍 언어를 배우고있는데 얘네 둘을 이제 접목을 시켜서이런 식으로 좀 3D 형태로 이렇게위아래로도 볼 수 있고네 이렇게 뭐확대하거나 뭐 축소시킬 수도 있고움직이게끔 할 수 있는 그런웹사이트를 하나 만들었습니다 그래서제가 이렇게 이제 만든 다음에 얘를이제 클릭을 하면은 이산타 할아버지랑좀 대화를 할 수 있는 그런에이전트를 하나 만들었습니다 그래서얘를 한번 클릭을해보면wanty네 그래서 지금 이게 뭐냐면어 제가 프롬프트를 좀 되게 어나쁘고 좀 싸가지없게대 해 줘라는식으로 제가 프롬프 이을 해 놔가지고 실제 평소 산타 성격과는 좀흑화된 산타 버전을 만들어 놓은상태예요 어쨌든 얘랑 이제 대화를하면은이 산타가 말한 내용을 이런식으로 3D 텍스트로도 좀 표현해 낼수 있는 이런 웹사이트를 하나만들었습니다 그래서 얘가 지금 말하고있는 거는 다 랩스의 음성 모델을활용을 해 가지고 이렇게 대화할 수있는 에이전트를 하나 만들었다라는되고요 얘는 이제 한국어 버전인데얘도 이제 한국어로도 화를 바로 좀할 수가 있습니다 근데 얘는 대신제가 그 3D 텍스트가 표현되는 거는아직 만들어 놓은 상태는 아니에요얘랑도 대화를 해보면 호호호호 너의새해 목표는 무엇이니 어 행복하게새해를 보내고 싶어 행복은 마음속에서피어나는 그 꽃과 같아 다 따뜻한마음으로 새해를 맞이하면 행복이가득할거야네 그래서 이런 식으로 한국어로도좀 대화를 할 수가 있습니다 그래서음성이라 뭐 어떤 식으로 대답해야되는지 얘는 지금 조금 더 어산타스러운 그런 성격으로 얘가 대답을해 주고 있죠 그래서 이런 식으로 좀만들 수 있는 거를 제가 보여 드리고싶어서 오늘 이제 바로 좀 랩스에들어가서 얘를 한번 같이 좀 만들어보겠습니다네 그래서이 랩스는웹사이트에 먼저 계정을 가입을 하시고만들고 나면은 이제 좀 바로 사용할수 있는 여러 가지 기능들이 몇가지가 있어요 그래서 원래는 이제랩스가 텍스트를 스피치로 변환을 해주는게 주로 이제 관건이그런 이제 웹사이트 있는데 그래서얘는 이제 뭐냐면 그냥텍스트를 뭐 이런 식으로 프롬프트를하나 만들고 나서 음성을 정하고그리고 뭐 언어도 이렇게정하면이 음성 모델이 이제 어떤 거를대화해야 될지 텍스트를 넣으면은 얘가그걸 스피치로 이렇게 바꿔주는 그런기능을 좀 주로 하고 있는 그런웹사이트 있습니다 그래서 여기서는이제 지금 제공해 주고 있는 음성목소리가 굉장히 많아요 그래서한국어도 있고 아니면 뭐 뉴스 앵커와같은 스타일로 말하는 그런 말투의음성 목소리도 있고 아니면 이런식으로 스토리텔링을 해 주는 거에맞춰진 이런 음성들 굉장히 여러가지가 있습니다네 여기서 이제 좀최근에 한 거의 2주 전쯤에 출시된새로운 기능이 있는데 얘가 바로에이전트라는게 하나 어 생겼어요그래서이 AI 에이전트라는 건 뭐냐면얘랑 이제 어 방금 이제 제가 만든산타와 같은 에이전트를 하나 보여드릴게요 그래서 이거는 제가 전영상들에서 뭐 gpts 만드는 방법에대해서 되게 많이 다뤘는데 이것도이제 gpts 만드는 방법과 똑같이이게 음성으로 대화할 수 있는 나만의AI 에이전트를 이제 만들 수가 있게된 겁니다 근데 사실 지금 gpts앱으로도 그런 앱을 하나 만드시면음성으로 대화를 할 수가 있긴하거든요 그래서 그런 면에서는 어 그기능 자체는 똑같은데 어 근데 여기는조금 더 이제 언어라는 그 목소리가조금 더 다양하게 다양한 것들을 이제제공을 해 주고 있어서 랩스가 그런면에서 좀 더 자유도가 높은 편이라고생각을 하시면 됩니다 그래서 실제로좀 어떤 것들을 접목시킬 수 있는지이기능들 먼저 좀 소개를 드릴게요 이제일단 첫 번째로는이 에이전트 언어를뭐 잉글리시뿐만 아니라 다른 나라언어들을 정말 많이 이렇게 고를 수가있고 당연히 한국어도 지금 포함이되어 있습니다 그리고 이제 퍼스트메시지는 저희가 g 랑 대화를 할때와 마찬가지로 얘가 처음에 사람한테물어봐야 되는 질문이 뭔지 처음에이제 물어볼게 뭔지 여기서 이설정을해 줄 수가 있습니다 이제 제가 지금이렇게 만든이 산타라는 모델의에이전트를 만들 때 제가 사용한 지금프롬프트 메시지를 보여 드리고 있는겁니다 그래서 first 메시지는 뭐호호 What your newyear go 뭐 올해 뭐 너 새목표가 뭐니 이런 식으로 물어보는거고 그거에 맞춰서 이제 사용자가대답을 하게끔 하는 거고요 이제시스템 프롬프트가 저희가 gpts앱을 만들 때 사용한 그 프롬프트지친 부분이 이제 여기에 들어가게되는 겁니다 그래서 얘가 어떤 역할을갖고 있는지 어떤 식으로 대답을 해야되는지 뭐 어떤 성격을 갖고 있는지이런 것들을 다 여기서 이렇게 설명을해 주는 겁니다 제가 지금 영어로대화를 하고 있는 산타는 어 좀갱스터처럼 대화를 해 달라라고 제가프롬프트를 작성해 놓은 상태예요그래서 뭐 항상 세 단어 이하로만대답을 해 줘 뭐 이런 식으로 제가몇 가지 지침 사항들을 넣어서 얘를프롬을 해 준 겁니다 그리고 이거는이제 중요한게 어 얘도 이제 크레딧형태로 차감이 되는 성어 형태이다보니까 만약에 얘가 너무 길게 이렇게대답을 하다 보면은 크레딧이 엄청빨리 소진이 돼요 그래서 저도 지금테스트를 해봤는데 거의 제 크레딧을지금 한 3만 원 정도를 채워 놨는데이게 어떻게 얘가 대답하는지따라서도이 크레딧 소진이 정말 많이빨리 되다 보니까 그래서 제가 항상세 단어 이하 로만 좀 대답을 해 줘이런 식으로 대답을 했습니다데생각보다이 랩스의 크레딧 비용이 좀너무 비싼 거 같아 가지고 그게 좀제 고민이기는 해요 저도 이제 얘를사용을 해서 뭐 이런 AI에이전트라는 게임 같은 거를 만들고싶은데 어 API 크레딧 비용이 너무비싸면 이것도 좀 고민이 되긴 합니다좀 얘보다 더 싼 모델은 없을까 이런것들을 고민을 하게 되고요이프롬프트를 이제 작성을 하셨으면 진짜재밌는게이 랩에서는 오픈 AI처럼자기만의 모델을 갖고 있는게아니잖아요 그래서이 llm 어떤모델을 사용할 건지 다 선택을 할수가 있습니다 그래서 이게 좀새롭더라고요 그래서 제미나이 뭐플래시를 사용할 수도 있고 프로 뭐GPT 4o 미니 보 3.5 보 이건거의 사용 안 하겠지만 그 외에도이제 클로드랑 쏘넷 하이쿠 다 되고그리고 커스텀 llm이라는 것도추가를 할 수가 있습니다 그래서커스텀 lml 추가를 하시면 이거는사실 이제 어이 랩스로 만들 수있는게 너무 많아 가지고 오늘은 파트1 영상만 업로드를 할 건데 어 제가만든 따로 이제 커스텀 llm이있으면은 얘도 서버를 배포를 해가지고 그 서버 API 여기다 이렇게붙여 넣고 그 모델 아이디랑 그API 비밀번호 키를 여기다 이렇게넣으면은 내가 직접 설정을 해 놓은llm 모델도 여기서 불러와 가지고이제 대화를 할 수가 있더라고요그래서 이거는 차차 추후 콘텐츠에서도좀 다뤄 볼 예정입니다 근데 일단은지금 제일 빠른이 LM이 제미나1.5 플래시라고 해 가지고 저는이에이전트를 만들 때는 그냥 대부분은제미나이 1.5 플래시로 하고있습니다 그리고 이제라는 거는이온도를 설정을 하는 거예요 그래서얘가 얼마나 창의적으로 대답을 해야되는지 아니면 좀 형식적으로 항상 좀일관된 답변들을 하고 하기 원하시면얘를 0에 가깝게 선택을 해 주시면되고요 창의적인 답변을 원하시면 뭐1로 설정을 해 주시면은 됩니다리미 토 유지는 어이 llm이 얼마나그 많은 토큰들을 사용을 하는지에대해서 제한을 둘 수 있는 숫자예요그래서 만약에 0보다 그 토큰 제한숫자가 높아지면 나는 딱 100개의토큰만을 이내로 네가 좀 대답을 뭐만들어 줘 이런 식으로 설정을 할 수있는 건데 지금은 그냥 일단 제한을두지 않고 -1로 해서 그냥무제한으로 얘가 API 뭐 토큰을사용을 할 수 있도록 제가 설정을 해놨습니다그리고 나서 이제 굉장히 여러 가지기능들이 좀 있는데요 어네 차근차근그냥 하나씩 다 설명을 좀드리겠습니다 그래서 노리지 베이스라는거는 얘한테 이제 학습시킬 수 있는그 지침 뭐 파일들을 여기다 이제추가를 할 수가 있는 겁니다 그래서저희가 gpts 앱을 만들 때 PDF파일을 업로드를 했던 것처럼여기다가도 이제 아이템을 추가를 할수가 있어요 그래서 여기도 이제신기한게이 파일 자체를 업로드를 할수도 있고 뭐 URL 자체도 학습을시킬 수가 있 있고 텍스트 부분도이렇게 학습을 시켜 가지고 얘한테추가 지식을 전달을 할 수가 있고요이제 이거는 저희가 나중 파트에서 좀다뤄 볼 건데이 즈라는 것도 연동을할 수가 있습니다 그래서 얘는 바로저희가 gpts 앱을 연동을 할 때어 피어라 그지서 API 외부웹사이트도 연동을 할 수가 있었잖아요그래서 여기다가도 이렇게 툴을 바로추가를 할 수가 있습니다 그래서이거는 저희가 어 제 gpts 에서그 액션 추가하기에서 저희가 API호출한 방식이랑 똑같게 그 API여기다가 붙여 넣어 가지고 그 API호출할 때 필요한 그 필수적인파라미터 정보들 이런 것들도 여기다이렇게 추가를 해 가지고 저희가원하는 그 웹사이트의 정보들을불러오거나 뭐 포스팅할 수 있게끔 어여기다가도 추가를 할 수가 있습니다그래서 이것도 좀 재밌는 기능이 될거 같아서 이거는 파트 2에서 좀같이 다뤄보도록 하겠습니다 이제에이전트 설정하는 부분들은 이런식으로 좀 소개가 끝나고요 보이스는이제 말 그대로이 에이전트의 음성목소리를 좀 정할 수 있는 곳입니다그래서 여기서도 굉장히 여러 가지목소리 바로 그냥 선택을 하실 수가있고요이 외에도 이제 추가적인기능들이 굉장히 많아요 그래서이목소리를 선택을 할 때도 어 뭐빨리빨리 대답을 하도록 할 건지아니면 좀 천천히 대답을 하도록 할건지 스라는 거는이 음성 자체를 조금더 일관적 되게 대답을 하도록 할건지 아니면 좀 높낮이가 있거나 좀다행하게 표현을 할 수 있도록하려면은 얘도 조절을 할 수가 있고요그 외에도 어 이제 여러 가지 뭐clarity andconsistency 그래서일관성이란 얼마나 좀 정확하게 대답을하는지 그것도 이제 다 조절을 할수가 있는데 얘도 이제 어떻게조절하는지 따라이 성능이 좀 많이달라지기도 해 가지고 이거는 저는웬만해서는 그냥 디폴트 설정으로 그냥냅두고 있는 상태이긴 합니다 이제이스라는 거는 어 좀 저희가 오늘 같이만들어 볼 그 앱에서 테스트를 해 볼건데 여기서 이제 음성 대화를 할때도이 음성 대화가 제대로 지금됐는지 안 됐는지 확인할 수 있는방법이 사실 어 그 사용자의 대화기록 내용들을 일일이 읽어 봐야만 좀알 수가 있잖아요 근데 랩스에서 되게어친절하게도이 사용자의 대화내 용기록들을 어 기록할 수 있게끔 해놨고 그리고 이거를 다 기록을 해놨을 때도 내가 어떤 기준으로이대화가 지금 잘 된 건지 안 된 건지그 기준 값들을 여기서 설정을 해 줄수가 있습니다 그래서 이거를 설정을해 놓으면은 대어가 끝나면이 기준들대로 얘가 바로 그냥 자동으로 AI알아서 평가를 하고 점수도 먹이더라그요 그래서 이것도 지금 오늘 좀같이 해 볼 예정이고요 그리고 데이터컬렉션이라는 것도 저희가 이제 음성대화를 할 때 중요한 정보들은 얘가좀 자동으로 바로 추출을 해서 기록할수 있도록 해놓는 부분입니다 그래서여기서도 어 뭐 예를 들어서 만약에저희가 오늘 만들어 볼 거는이맥도날드 음성 고객 지원 서비스를만들어 볼 거예요 그래서 사용자가맥도날드에 주문을 넣었을 때 항상필수적으로 추출해야 되는 정보는 어떤상품을 주문을 했는지 그리고 가격이얼마인지 그리고 실제로 배달을 한다면그 배달 주소가 어딘지를 다 기록을해놔야 되잖아요 그래서 그거를 어떤데이터들을 기록할 건지 여기다가 이제추가를 할 수가 있습니다 그래서 좀크게 가장 중요하게 쓰이는 세 가지정도가 ENT Voiceanalis이 세 개고 어 시큐리티는이거는 이제 사실 추후에 조금 더그냥 자세하게 만지시면 얘네 세 개는좀 나중에 어 살펴봐도 될 것같습니다네 그리고 마지막으로이 위저부분은 이렇게 웹상에 얘를 이제 띄울때 뭐 어떤 식으로 디자인을 할 건지여기서도 바로 설정을 할 수가 있어요그래서 랩스가 이거를 지금 출시를하면서 되게 많은 생각들을 고려를하고 어 채치 피티랑 좀 다르게우리가 얼마나 조금 더 좋게 친절하게차별성을 둘 수 있을까 사용자가얼마나 더 편리하게 사용할 수있을까를 되게 많이 고려를 한 것같아요 그래서이 위젯 같은 것도여기서 이렇게 바로 뭐 색깔이나 이런거 변경을 해 가지고이 코드를 바로그냥 복사 붙여 넣기를 하면은 내 내웹사이트에 얘를 바로 그냥 띄울 수가있거든요 그래서 사실 GPT 조금 안좋았던 점은 뭐냐면 내가 나만의gpts 앱을 만들어도 걔를 이렇게웹사이트에서 띄울 수 있는 방법이없었어요 딱 그 GPT 플러스를결제한 사람들끼리만 그 gpts 앱을이용을 할 수 있다 보니까 그게 좀최대단점이었는데 11 랩스는 바로 그냥이렇게 띄울 수 있는 형태도 이렇게코드로 바로 작성을 해 줘 가지고바로 좀 사용할 수 있도록 만들어놓은 상태입니다네 그래서 이렇게 좀간단하게 현재이 세이셔널 AI에이전트의 기능들에 대해서 소개를 좀드렸고요 저희가 지금 이제 바로 같이만들어 볼 에이전트는이맥도날드의 주문을 도와주는 이런 고객상담 서비스 어 제보입니다 그래서사실 이제 음성 이런 기능으로 만들수 있는 에이전트들이 굉장히 많아어질 거고 실제로 이제 뭐 고객 상담뭐 서비스 센터라는 이런 것들도 다그냥 예로 대체를 할 수 있게 되는거예요 왜냐하면 얘는 이제 채치피티랑 또 별개로 어 실제로 내가필요한 정보들을 바로 좀 추출해서저장을 할 수도 있고 그리고 만약에이제 외부 웹사이트가 연동을한다면은 정말 이제 음성으로도 뭐내가 파리로 여행을 가고 싶은데 그파리 항공권 뭐 티켓들 좀 찾아 줘그리고 네가 좀 대신 예약까지 좀 해줘 이러면은 그것도 다 음성으로 그냥할 수 있는 그런 에이전트들을 이제만들 수가 있게 되는 겁니다 그래서저는 사실 이제 올해가 되면서 사실제일 많이 기대되는이 생성 AI 쪽업계의 흐름은 얼마나 이렇게 음성으로대화하는 그가 얼마나 많이 바뀔지 좀개인적으로 많이 고어 기대되는 거같아요 그래서 저희가 지금까지는 항상화면을 보고 키보드랑 마우스로 이렇게어 대화를 하는 그런 상태였는데 이게앞으로는 음성으로 대화하는게 얼마나또 많이 발전을 할까가 개인적으로많이 기대되고 있는 상황입니다 그래서저희가 지금 이제 만들어 볼 거는이맥도날드 주문 그 이제 온라인으로뭐네 배달 음성으로 전화를 하면서 좀배달할 수 있는 맥도날드 에이전트를하나 좀 만들어 볼게요 그래서 일단제가 이미 좀 미리 작성해 놓은부분들이 있어서 이거를 제가 댓글에좀 달아 드리기도 할 거고 좀 바로복사 붙여 넣게 할 수 있도록 따로자료를 업로드를 해 드리겠습니다그래서 일단은 저희가 새로운에이전트를 만들려면 여기이 사이드바에서 에이전트라는 데에 들어오시면되고 그리고 여기서 플러스 버튼을누르시면은 됩니다 그래서 플러스버튼을 누르시면은 어 기본적으로 뭐만들 수 있는이 AI 에이전트들의템플릿들이 있긴 해요 근데 저는 일단그냥 블크 템플이이라고 하고 얘를 뭐맥도날드이 이름을 작성을 하시고 크이전트하면은 이런 화면으로 들어오게 됩니다그래서 저는 지금 맥도날드는에이전트를 하나 만들었고요 이제에이전트 언어부터 먼저 좀 설정을해서 저는 코리 으로 설정을 해 놓은상태고요 그리고 고객한테 물어볼 수있는 첫 번째 질문을 뭐 맥도날드에오신 걸 환영합니다 주문을 어떻게하시겠어요라고 이렇게 물어보도록 할겁니다네 그러고 나서 이제 저희가시스템 프롬프트 부분을 좀 볼게요그래서 얘는 좀 제가 꽤 자세하게작성을 해 놨고 이거는 지금랩스의 개발 문서에도 나와 있는프롬프트 있데 제가 조금 더 이해를잘할 수 있도록 한국어로 그냥 번역을해 놓은 상태입니다 그래서이 프롬프트터 먼저 보시면은 어 저는 이제gpts 만들 때도 항상 드리는조언이지만 첫 번째 문장에는이 앱의역할부터 먼저 한 문장으로 어 작성을해 주시면은 됩니다 그래서 너는 뭐맥도날드의 친절하고 효율적인 가상비서입니다라고 이렇게 하고 당신의역할은 고객이 음성 대화를 통해주문할 수 있도록 돕는 것입니다라고하고이 메뉴와 가격에 대한 포괄적인지식을 보유하고 있습니다라고 이렇게알려주고 있습니다 그러고 나서 얘한테어 실제로 이제 사용자들이 뭐 어떤거 주문하고 싶다라고 할 때이 메뉴항목들을 제가 미리 좀 설정을 해줬어요 그래서 상하의 치킨버거 세트는8,000원이 치킨 너겟 3,000원오레오 맥플러리 2,000원 이런식으로 메뉴를 리스트업을 해 놨고요그다음으로 얘가 이제 해야 되는 그수행 업무들을 단계별로 제가 이렇게1 2 3 4 5 6번으로 리스트업을해 놓은 상태입니다 그래서 첫번째로는 고객 맞이를 해라 이제따뜻하게 환영을 하고 무엇을 도와드릴수 있는지 묻고 두 번째로 주문 접수그래서 이거는 제가 수정을 해야되는데네 맥도날드 종류와 수량을 주게듣고 확인을 합니다라고 하고 주문확인 그래서 주문 내용을 다시 한번확인을 하고 총 가격을 계산을 하도록하고 그리고 고객의 배달 주소를물어보고 배달 시간도 추정을 하고배달 시간 안내도 얘가 할 수 있도록설정을 해 놓고요 마지막으로 주문요약을 제공을 하고 대화 마무리를하도록 제가 단계별로 이렇게 작성을했습니다 마지막으로 뭐 추가가이드라인 부분도 작성을 해 주시면은조금 더 어 좋겠죠 그래서 얘한테대화 내내 뭐 친근하고 전문적인어조를 사용하라라고 하고 고객의필요에 맞춰 인내심을 갖고 경청을해라라고 하고 그 외에도 뭐 이제할루시네이션 방지를 위해서 뭐 정보가명확하지 않을 경우 고객한테 뭐 다시요청을 하거나 반복해서 물어보도록하고 뭐 민감한 결제 정보는 수집하지말라고 하고 그리고 마지막으로 주문뭐 외의 주제에 대해서는 논의하지마세요라고 이렇게 좀 방지 문구들을몇 개 이렇게 같이 넣어 줬습니다그래서 프롬프트는 이런 식으로 좀작성을 했고요 그 외에 이제 LM모델은 그냥 원래 기본 값으로 설정이되어 있었던 제미나이 1.5 플래시로놔뒀고 나머지 템도 그냥 그대로 두고나머지들은 다 그냥 그대로 뒀습니다그래서 얘를 이렇게 한번 저장을 해주시면은 되고요 그래서 지금 오늘저희가 건드려 볼 거는 딱 에이전트의기본 설정 값이랑 그리고 목소리부분이랑 스 부분이 세 가지를 좀같이 살펴보겠습니다 그래서 에이전트는이렇게 끝났고 보이스 부분을 이제저희가 여러 가지 목소리들을 설정을할 수가 있는데요 얘가 지금 어만약에 좀 영어 위주로 좀 학습이 된목소리를 설정을 하고이 랭귀지를코리안이 하면은 얘가 발음을 좀 교포발음으로 해요 그래서이 목소리들중에서도 한국어를 좀 많이 학습시킨그 음성 목소리 모델이 있는데 저는그 중에서 지금 앤나 캠이란 애를 좀사용을 할 겁니다 그래서 얘가 어떻게대화를 하는지 좀 미리 테스트를 해볼 수가 있어요 그래서 들어보면안녕하세요 오늘 여러분과 나눌이야기는 그 누구에게도 들어볼 수없었던 신기한 이야기입니다 그래서이런 식으로 대화를 하는 음성 목소리모델입니다 그래서 나킴 외에도 좀여러가지 다양한 목소리들이 있으니까그거는 여기서 좀 바로 검색을 하셔서선택을 하시면 됩니다 그 외에 뭐나머지는 그냥 저는 다 그냥 기본설정으로 지금 냅둔 상태이고요 지금마지막으로 세 번째인 anis 부분을저희가 이제 같이 좀 살펴보겠습니다그래서 일단 저희가 EVvaluation 크라는 거랑 데이터컬렉션이라는 거를 저희가 설정을 해놓을 건데요이 EVvaluation는 어 대화를 할 때얘가 이제 어떤 기준으로이 대화가 잘됐는지 평가를 해 주는 항목들을저희가 미리 작성을 해 주시면은됩니다 그래서 제가 지금 세 개정도를 작성을 해 놨는데요이 첫번째가 어 메뉴 엑션이에요 그래서메뉴 엑션 얘가 처음에 고객이 주문을하기 전에 어떤 메뉴들이 있는지 잘설명을 했는지 그리고 얘를 좀 클릭을해보면네 그래서 이거를 좀 처음에추가를 하시려면이 ADcriteria 버튼을 누르시고 그기준의 이름이랑 프롬프트 설명하는부분 분을 여기다 작성을 해 주시면은됩니다 근데 일단 메뉴를 설명하는애부터 먼저 보면은 이름은 메뉴언더바 션으로 했고이 프롬프트를보면은 이제 어 만약에이 사용자가제대로 지금이 메뉴들에 대해서 어제대로 설명을 해 주고 있는지 얘를평가를 해 줘라고 이렇게 설명을 해주고 있습니다 그래서 얘가 성공적으로된 거의 기준은 지금 현재 가능한이메뉴 아이템들에 대해서 언급을했는지랑 그리고 이 아이템들에 대한가격까지 얘가 얘기를 해 줬는지 좀중요한 그 성공 기준이 될 거고요만약에이 아이템들이 제대로 설명이 안되면은 얘를 UN unown이라고네가 평가를 해 줘라고 이렇게 작성을해 놨습니다 그래서 얘가 첫 번째기준이고요 이제 두 번째 기준은customersatisfaction이에요 그래서실제 고객이 얘랑 대화를 하면서만족을 제대로 했는지 그거에 대한프롬프트를 여기다 이렇게 작성을똑같이 해 주시면은 됩니다 사용자가지금 고객 만족이 지금 제대로됐는지에 대한 설명이고이 성공 기준은사용자의 질문에 대한 대답이 제대로됐는지 그리고 사용자가 똑같은 질문을반복을 안 했는지 그리고 사용자가화를 내거나 뭔가 좀 혼란스러워하는지에 대해서 이것도 이제 아무런그런 반응이 없으면은 제대로 이제대화가 된 거다라고 평가를 하는 거고그리고 사용자의 답변들이 뭐네 뭐긍정적이거나뭐 이런 짜증나는 말투 그런게없으면은 얘는 그냥 제대로 대화가 된거야라고 이렇게 프롬프트를 작성을 해놨고요 만약에 사용자가 좀 확실하게좀 짜증이 난 상태인 것 같다그러면은 failure라고 이렇게태깅을 하도록 제가 작성을 해 놓은상태입니다 그래서 얘도 이렇게 작성을해 주시면 되고 이제 오 션은 실제로이제 주문이 제대로 들어갔는지를확인을 하는 기준이에요 그래서 얘가만약에 제대로 기준이 된 건지를 이제확인을 하는 그런 단계이고 그기준들도 지금 소 지금 한 가지 메뉴아이템들이 제대로 선택이 됐는지그리고이 수량이 확인이 됐는지 그리고배달 주소 확인 됐는지 총 가격이얘기가 됐는지 그리고 마지막으로 그배달 시간도 얘기를 해 줬는지에 대한기준들을 다 고려를 해서 만약에이모든 기준이 충족이 되어야만 네가성공이라고 태깅을 해 줘라고 이렇게작성을 해 놨습니다 그래서 이게 이런식으로이 여러 가지 기준들을 작성을할 수 있는 거고요 이제 두 번째로실제로 이렇게 대화를 할 때 내가컬렉트 해야 되는 데이터들이 뭔지도미리 좀 이렇게 작성을 할 수가있습니다 그래서 일단 뭐 첫 번째로는ordered 아이예요 그래서 얘도어 실제로이 사람이 주문한 그아이템들이 뭔지를 미리 좀 어 컬렉트하는 겁니다 그래서 이거는 이런방식으로 네가 좀 데이터를 기록을 해줘라고 알려 주는 거예요 그래서이아이템 이름이랑 그리고 그 수량아이템 퀀티티이 포맷으로 네가 기록을해 줘라고 알려주고 있는 겁니다그리고이 아이템들을 이렇게 주문을 할때도 얘가 어떤 그 주문 유형형태인지 제가 여러 가지를 선택을 할수가 있어요 그래서 지금 여기서실제로 지금 다 끝까지 주문이 된그런 주문인지 completedorder라고 하거나 아니면 주문이취소된abandoned인지 아니면이 메뉴에대해서 물어본 그런 대화 내용인지아니면 그냥 전반적인 그냥 질문에대한 그런 어 대화 내용인지 이렇게선택을 하도록 태깅을 할 수가있습니다 그리고 만약에 어떠한 주문도접수가 되지 않았으면 넌는 네가리턴을 해 줘라고 이렇게 알려주고있는부분입니다네 두 번째로 이제 오타입은 얘가 이제 어 배달을 했는지픽업을 했는지 그리고 만약에 그냥주문 어 질문만 한 상태 인지이 세가지 중에서 태깅을 하도록 얘한테미리 알려 주고 있는 그런 어네데이터 이제 컬렉션 중에 기준 중에하나이고요네 마지막으로 인터랙션타입도 이제 오 아이랑 마찬가지로이어 대화를 할 때 좀 어떤 유형의대화인지이네 가지 중에서 선택을하도록 하는 겁니다 저희가 이런식으로 이제이 기준들이 데이터를 어떤거를 컬렉트 해야 될지 이렇게 작성을해 주시면은이 나머지 세 개는 사실그렇게 어 좀 지금 막 자세하게살펴볼 그런 것들은 아니고요이 세개를 해보면 이제 실제로 얘랑 대화가잘 되고 있는지 바로 테스트를 해 볼수가 있습니다 그래서 여기에 테스트AI 에이전트라는 버튼이 있어서 얘랑지금 한번 대화를 하면서 테스트를 해볼게요 맥도날드에 오신 걸 환영합니다주문을 어떻게 하시겠어요어떤 메뉴 아이템들이있나요 안녕하세요 맥도날드에 오신것을 환영합니다저희 메뉴에는 상하이 치킨버거 세트치킨 너겟 올레어 맥플러리 있습니다무엇을 드시겠어요 저 상하이 치킨버거세트랑 오레오 맥플러리 하나주세요네 상하이 치킨버거 세트 하나와오래 아레오 맥플러리 하나 주문이요확인했습니다 총 천원입니다 배달주소를 알려주시겠어요 총 가격이얼마라고요 상하이 치킨버거 세트와맥플러리 총 천원입니다 배달 주소를알려 주시면 배달 시간을 알려드리겠습니다 어 제 집 주소는 코엑스있니다네 코엑스로 배달해 드리겠습니다조리 시간은 절분 정도 소요되며코엑스까지 배달 시간은 약 다 20분정도 예상됩니다 총 전투이며 배달시현금으로 결제 부탁드립니다 주문확인해 드릴까요 상하이치킨 스킨 버거세트 하나 오러 맥플러리 하나 총 전1000원 코엑스로 배달 예상 배달시간은30분입니다네 알겠습니다 이대로주문을 해주세요네 주문접수되었습니다 30분 안에 코엑스로배달해 드리겠습니다 맛있게 드세요네그래서 이런 식으로 이제 대화를 할수가 있고요 지금 같이 대화를해보면서 느낀 거는 얘가 확실히숫자에 좀 약한 거 같아요 그래서숫자가 얘가 지금 영어로 대화를했으면은 이런 에러가 발생하지 않았을텐데 지금 아직까지 한국어는 조금 어숫자 가격 이런 거를 잘 말을못해주고 있는 거를 좀 테스트를 같이해봤습니다 그 얘를 이제 이렇게대화가 하나 끝났으니까 정말 정말신기한 기능이 이제 있는데요 저희가얘를 만들면서 아까 그 기준이랑 뭐여러가지 데이터 컬렉트 해야 되는것들을 설정을 해 놨잖아 얘를이제 지금 사이드바에서 이에이 를만들고 나서이 컨버세이션이라는 곳에들어가면은 저희가 방금 만든이맥도날드는 에이전트와 얘기한 그 대화내용 기록들을 살펴볼 수가 있습니다그래서 지금 보면은이 첫 번째 거방금 저희가 대화한 애의 대화 내용이제 기록들을 볼 수가 있고요 지금얘가 이제 정말 좋은게 뭐냐면 저희가방금 이렇게 대화한 내용들을이렇게들을 수도 있고 맥도날드에 오신걸 환영합니다 이런 식으로 그리고서머리 부분은 이 대화 내용 기록에대해서 좀 전반적으로 어 설명을해주고 있고 요약을 해 주고 있는문단입니다 지금 보면은 맥도날드 오를한국어로 이렇게 주문 접수를 받았고그리고사용자가네 지금 물어봐 가지고 어떤메뉴 아이템이 있는지 물어봤고 상하이치킨버거 세트랑 치킨 너겟 그리고오레오 맥플러리 있는 거를 확인을했고 그래서 사용자는 지금 상하이치킨버거 세트랑 오레오 맥플러리주문을 했다라고 보고 price그리고 만 원이다 것까지 지금알려주고 있습니다 그리고 커스터머가배달 주소를 코엑스라이브플라자할 수가 있고요 그리고 뷰에서 좀밑으로 내려 가시면은 저희가 이제미리 아까 만들면서 설정을 해 놨던기준들 있잖아요 이게 지금 제대로됐는지 안 됐는지를 확인을 하실 수가있습니다 그래서 일단 어 크아 EVvaluation 부분부터 보면은얘가 지금 세 가지 기준으로 제가평가를 해 달라고 했잖아요 그래서 첫번째가 order completion이었어요 그래서이가 얘가 이제 어세스로건어 수량 배달 주소 전체 가격 그리고시간까지 줘야만 얘가 이제 성공으로되는 건데네 근데 제가 지금 사실이거 기준을 잘못 지금 작성을 해놓은게 있어서 이게 원래는 지금세스로건중간에이 피로하는 그 다른 메뉴아이템을 제가 이름을 변경을 안 해줘 가지고 지금 이렇게 된 거 같은데어쨌든 지금 저희가 대화한 내용들을기록들을 토대로 살펴보면은이 모든게제대로 커뮤니케이션이 되긴 했거든요그래서 얘는 성공으로 지금 해야제대로 된 거고요 이제customer 션은 어 뭐 사용자가짜증을 내거나 좀 반복적으로 질문한부분이 없으면은 얘는 이제세스라이트메뉴에 대해서 사용자가 물어봤을 때제대로 설명을 했다 그래서 지금 현재가능한이 세 가지 메뉴에 대해서도말을 했고 그리고 총 가격이 얼만지도대답을 해 기 때문에 얘는 지금성공적이다라고 이렇게 태깅을 자동으로해 줬습니다 그리고 이제 아까 저희가컬렉트 해야 되는 데이터에 대해서도세 가지 종류가 있다고 했는데요인터랙션 타이프가 이게 어떤 대화내용 기록인지 여러 가지 중에서 고를수 있다고 했는데 지금은 성공적으로이주문 접수가 제대로 된 거다라고 얘가이해를 해 가지고 이렇게 지금 태깅을해 준 거예요 그래서 실제로 배달주소랑 가격 그리고 어떤 아이템들인다 얘가 설명을 해주 기 때문에이AI 그 내용을 이해를 하고completed order 유형이나이해를 해서 이렇게 대답을 해 준거고요 이제 오 타도 이거는 픽업이아니라 배달해 주는 거기 때문에delivery고 얘가 이렇게 제대로이해를 했고 마지막으로 ED 아이스도completed라고 이렇게 제대로태깅을 해줬습니다 그래서 얘가 이제어네 랩스가 좀 굉장히 많이 이쪽으로신경을 쓴 거를 보실 수가 있어요그래서 실제 로 사용자가 대화를 할때 얘를 이제 어 그니까 기업입장에서 이런 거를 바로 이제 접목을시킬 때 좀 기업 입장에서 제대로이런 데이터들을 관리를 할 수 있도록얘가 잘 만들어 줬다는 거를 좀확인을 할 수 있어서 이게 사실 저는좀 되게 재밌었고 좀 설레는 기능들중에 하나였어요 이게 비티는 좀불가능했었다 그래서 이런 것들에대해서 오늘 좀 소개를 해 드리고싶어서 오늘 시간이 좀 많이 오버가된 거 같은데네 이렇게 랩스의새로운이 에이전트라는 기능에 대해서좀 소개를 해 드렸습니다 그래서올해는이 에이전트라는게 되게 많이활성화가 될 거예요 그래서 앞으로도이런게 좀 많이 기대가 되고 있기때문에 오늘 이제 좀 간단하게 어떤기능들을 할 수 있는지 좀 보여드렸고 파트 2에서는 저희가 이제오늘이 만든에이전트에 또 어떤 것들을 추가시킬수가 있냐면이 툴즈 외부 웹사이트도이제 연동을 시킬 수가 있습니다그래서 뭐 구글 캘린더라고 뭐 프API 제피어 다 연동을 할 수가있거든요 그래서 그거를 연동하는방법도 좀 같이 살펴보는 영상을업로드 해 드리도록 하겠습니다 그래서오늘 영상이 만약에 좋으셨으면 구독과좋아요까지 부탁드리고 다시 한번 새회복 정말 많이 받으시기를바라겠습니다 감사합니다

새해는 AI Agent가 점령할 것이다 | ElevenLabs Part 1

요약노트

추천이유

스크립트