[한국경제] 💬 국민 메신저 카톡에 오픈AI 기술 녹인다

📰 국민 메신저 카톡에 오픈AI 기술 녹인다

기사 바로가기

내년 선보이는 AI 비서 '카나나'
오픈AI GPT 시리즈 기술 적용
AI오케스트레이션으로 비용 절감
SKT 등 통신사도 빅테크와 맞손

 

국내 주요 정보통신기술(ICT) 기업들이 해외 빅테크와의 경쟁 대신 협력을 택하고 있다. 카카오가 자체 생성형 인공지능(AI) 서비스에 오픈AI의 GPT 시리즈를 활용하기로 가닥을 잡았다. 해외 AI 기술을 적극 도입한 통신 3사처럼 여러 AI 모델을 골라 써서 비용을 절감하는 ‘AI 오케스트레이션’ 전략이다.

10일 정보기술(IT)업계에 따르면 카카오는 향후 공개할 AI 서비스에 GPT 시리즈를 적용하기로 결정했다. 내년 1분기 비공개 이용자 테스트를 목표로 하는 AI 에이전트 ‘카나나’가 대상이다. 카나나는 대화 내용을 분석하거나 문서 요약 정보 등을 제공하는 카나, 이용자 상황을 인지하고 먼저 말을 거는 나나라는 에이전트 2종을 활용한 서비스다. 카카오톡에 이 기능을 적용해 이용자 맞춤 e커머스 서비스를 내놓을 방침이다.

정신아 카카오 대표는 지난 7일 3분기 실적 발표 콘퍼런스콜에서 “자체 생성 모델부터 미세 조정한 오픈소스 모델, 해외 빅테크 모델 등을 AI 허브 플랫폼에 적용해 누구나 AI 서비스를 개발할 때 적합한 모델을 사용할 수 있도록 했다”고 말했다.

카카오톡의 지난 3분기 광고 커머스 사업 매출은 5073억원이었다. 카카오는 카나나 등 GPT를 접목한 AI 서비스를 통해 이 사업 매출이 두 배 이상 늘어날 것으로 기대하고 있다. 정 대표는 “카카오톡에 새로운 가치를 제공하는 서비스를 도입하려고 한다”며 “볼거리와 재미를 확대할 것”이라고 했다.

카카오가 GPT 시리즈를 쓰려는 건 AI 오케스트레이션 전략의 일환이다. AI 오케스트레이션은 여러 악기를 사용하는 오케스트라처럼 다양한 AI 모델을 서비스 기능에 맞게 골라 쓰는 전략이다. 범용 AI 모델 대신 크기와 학습물이 다른 AI 모델들을 활용하면 서비스별 연산에 필요한 비용을 줄일 뿐 아니라 작업 속도를 개선할 수 있다. 카카오가 지난해 10월 범용 AI 모델 ‘코GPT-2.0’을 공개하려다가 취소한 배경이다.

카카오는 AI 오케스트레이션 전략을 구현하기 위해 AI 모델을 세분화했다. 소형 언어모델 ‘나노’, 중소형 언어모델 ‘에센스’ 개발을 마쳤다. 초거대 언어모델 ‘플래그’는 개발 단계다. 이미지 생성 모델 ‘콜라주’와 동영상 생성 모델 ‘키네마’, 음성 인식 모델 ‘카브’, 음성 생성 모델 ‘캐스트’ 등도 준비하고 있다.

오케스트레이션 전략을 도입한 업체는 카카오뿐만이 아니다. 2028년까지 AI에 2조원 이상을 투자하기로 한 LG유플러스도 구글과 AI 서비스를 개발하는 방안을 논의하고 있다. 자체 대규모언어모델(LLM)인 ‘익시젠’을 두고 있음에도 해외 빅테크와 손을 잡기로 했다. 사내 영업 시스템엔 미국 아마존웹서비스(AWS)의 AI 기술을 도입했다. KT는 마이크로소프트, 데이터브릭스 등과 협업해 기업용 AI 서비스를 개발하기로 했다. SK텔레콤은 AI 에이전트 ‘에이닷’으로 오픈AI, 퍼플렉시티, 앤스로픽 등의 AI 검색 서비스를 제공하고 있다.

업계에선 자체 LLM 개발에 나선 국내 기업들이 기술 열세를 인정하고 해외 빅테크와 협업하는 쪽으로 방향을 틀었다는 분석이 나온다. 자체 AI 모델로 생성 AI 사업을 전개하는 주요 기업은 네이버뿐이다.

ICT업계 관계자는 “포털·메신저 시장 생태계가 형성된 2000년대와 비교하면 최근 AI 기술 발전 속도가 너무 빠르다”며 “막대한 투자 없이는 기술을 따라가기 어렵다 보니 빅테크와의 공존을 모색하는 게 현실적”이라고 말했다. 해외 IT 매체 테크크런치에 따르면 지난달까지 오픈AI는 219억달러(약 30조6500억원)를, 앤스로픽은 97억달러(약 13조5800억원)를 투자받았다.

 

 

 

🔍 추가 조사한 내용

 

AI 오케스트레이션(Orchestration)

여러 AI 모델을 특정 용도에 맞게 유연하게 조율하여 사용하는 기술

• AI 모델을 단일 용도로 사용하던 기존 방식과 달리 AI 오케스트레이션은 사용자의 요청, 서비스 요구와 작업 복잡도에 따라 최적의 모델을 자동으로 선택하여 조합함으로써 비용 절감과 성능 최적화를 동시에 달성하는 것을 목표로 합니다.

 

 

장점

• 비용 효율성: AI 모델의 연산 비용은 모델의 크기와 복잡성에 따라 크게 달라지는데 AI 오케스트레이션을 통해 작업마다 적합한 모델을 선택함으로써 비싼 연산 자원을 절약할 수 있으며 이는 서비스 운영 비용 절감에 큰 효과를 줍니다.

 

• 성능 최적화:  특정 작업에 맞는 모델을 유연하게 배치해 사용하면 AI 모델의 처리 속도와 결과의 정확도를 높일 수 있습니다. 예를 들어, 질문 응답 같은 간단한 작업에는 소형 모델을 사용하고 고도의 텍스트 생성에는 대형 모델을 사용하는 방식으로 효율을 극대화할 수 있습니다.

 

• 빠른 확장성: 새로운 기능이나 서비스 요구가 생기면 손쉽게 모델을 추가하거나 교체할 수 있어 AI 기술을 빠르게 확장할 수 있는 유연성을 제공합니다.

 

구성 요소

• 다양한 AI 모델 
  • 소형 모델: 주로 연산 자원이 적게 필요한 기본적인 작업에 사용되며, 예를 들어 간단한 고객 질문 응답이나 데이터 패턴 인식 등의 역할을 수행합니다. 비용이 저렴하고 처리 속도가 빨라 일상적인 작업에 유리합니다. 
  • 중형 모델: 텍스트 생성, 예측 분석, 간단한 문서 요약 등 중간 정도의 연산을 요구하는 작업에 사용되며, 소형 모델보다 더 많은 데이터를 학습하고 복잡한 작업을 처리할 수 있어 고정밀 작업에 적합합니다.
  • 대형 모델: 언어 이해, 텍스트 및 이미지 생성, 복잡한 데이터 분석 등 고난도 작업에 주로 사용됩니다. 연산 자원이 많이 필요하지만 뛰어난 성능을 제공하여 문서 생성, 고객 맞춤형 응답, 다차원 분석 등 정교한 작업에 적합합니다.

 

• 통합 관리 플랫폼
  
  • 모델 선택 및 할당: 요청의 특성에 맞는 최적의 AI 모델을 자동으로 선택하여 할당합니다. 예를 들어, 간단한 질문에는 소형 모델을, 복잡한 분석 작업에는 대형 모델을 사용하는 방식으로 각 요청에 맞춘 모델을 신속하게 배정합니다.
  • 리소스 최적화: 여러 AI 모델이 동시에 사용될 경우, 각 모델이 필요로 하는 연산 자원을 효율적으로 배분하여 리소스를 절약하고 성능을 극대화합니다. 이를 통해 전체 시스템의 비용을 절감하고 서비스 속도를 높일 수 있습니다.
  • 작업 분배 및 조정: 다양한 모델이 동시에 작동할 때, 플랫폼은 각 모델이 맡은 역할을 조율하여 원활한 작업 흐름을 유지합니다. 작업 간 충돌을 방지하고, 모델의 특성에 따라 최적의 작업 분배를 구현해 효율적인 협업이 이루어지도록 합니다.
  • 성능 모니터링 및 관리: 플랫폼은 각 AI 모델의 상태와 성능을 실시간으로 모니터링하여 모델의 성능 저하나 오류 발생 시 빠르게 대응할 수 있습니다. 이를 통해 서비스가 안정적이고 일관성 있게 운영될 수 있도록 관리합니다.
  • 보안 및 데이터 관리: AI 모델이 다루는 데이터는 민감할 수 있기 때문에 플랫폼은 데이터 접근 권한을 엄격히 관리하고 보안 절차를 준수합니다. 데이터는 암호화되고 접근 제어가 이루어져, 데이터 유출 위험을 최소화합니다.

 

주요 사례

• 한국
  • SK텔레콤: 유선 네트워크 운용 관리의 자동화를 위해 'AI 오케스트레이터'를 자체 개발하여 5G/LTE 유선망 전체에 적용하였습니다. 이를 통해 네트워크 제어와 점검 작업을 자동화하여 운영 효율성을 향상시켰습니다.
  • SK C&C: 기업 맞춤형 생성형 AI 서비스 13종을 구축하였으며, 이를 위해 AI 오케스트레이션 플랫폼을 개발하였습니다. 이 플랫폼은 멀티 거대언어모델(LLM)과 연계되어 기업이 필요로 하는 다양한 AI 서비스를 효율적으로 제공합니다.
  • LG CNS: 초거대 모델로 복잡한 분석을, 소형 모델로 기본 작업을 처리해 효율성을 높이고, AI 코딩 기능과 통합 관리 플랫폼으로 개발 생산성과 모델 성능을 최적화합니다.

 

• 미국
  • 마이크로소프트: Azure AI 플랫폼을 통해 다양한 AI 모델을 선택적으로 사용할 수 있도록 제공하며, OpenAI의 초거대 모델과 자사 모델을 결합해 AI 오케스트레이션 시스템을 구축했습니다.
  • 아마존 웹 서비스(AWS): SageMaker는 여러 AI 모델을 한 플랫폼에서 관리하고, 모델 학습과 배포를 용이하게 해주는 오케스트레이션 기능을 제공해 기업이 필요에 맞는 모델을 선택할 수 있도록 돕습니다.

 

• 중국
  • 바이두(Baidu): 자사의 딥러닝 플랫폼 PaddlePaddle과 ERNIE 모델을 통해 AI 오케스트레이션을 구현해 텍스트 이해와 이미지, 음성 인식 등 다양한 AI 기능을 하나의 서비스에 맞게 조율하여 운영합니다.

 

• 일본
  • 소프트뱅크: 로봇과 클라우드 AI 모델을 결합하여 로봇 Pepper가 간단한 질문에 답하거나 복잡한 질문은 클라우드 모델을 통해 처리하게 하는 오케스트레이션을 도입했습니다.

 

• 영국
  • 딥마이드: AlphaFold와 같은 연구 프로젝트에서 오케스트레이션을 통해 대규모 연산을 최적화하고 있습니다.

 

한계

• 복잡한 운영 관리: 다양한 AI 모델을 동시에 운영하고 조율해야 하므로, 이를 효과적으로 관리하는 시스템과 전문 인력이 필요합니다. 특히 모델별로 요구사항과 작업 방식이 달라 운영 부담이 큽니다.
• 데이터 보안과 호환성 문제: 여러 AI 모델이 연동될 때 데이터의 일관성과 보안이 중요한 과제가 됩니다. 각 모델이 다루는 데이터가 다양하기 때문에 데이터 손실이나 유출 가능성도 높아질 수 있습니다.
• 미용 및 인프라 부담: 오케스트레이션을 통한 최적화를 목표로 하지만, 여러 모델을 구축하고 관리하는 데 드는 초기 비용과 인프라 구축 비용이 상당히 높을 수 있습니다.

 

 

 

💡현직자에게 할 질문

 

도입 배경과 목표

1. AI 오케스트레이션을 도입하기 전 AI 운영에서 어떤 문제점들이 있었고, 이로 인해 오케스트레이션이 꼭 필요하다고 느끼게 된 계기는 무엇인지? 
2. AI 오케스트레이션으로 비용 절감이나 서비스 품질 향상 등 여러 효과를 기대하고 있을 텐데요. 현재 가장 중요한 목표는 무엇인지? 예를 들어, 비용 절감, 사용자 경험 개선, 혹은 운영 효율성 향상 중 어떤 부분에 가장 우선순위를 두고 계신지?

 

기술적 운영과 관리

1. 여러 AI 모델이 유기적으로 협력하도록 운영할 때 각각의 모델을 어떤 기준으로 선택하여 배치하시는지 궁금합니다. 예를 들어, 연산 자원 사용량, 처리 속도, 비용, 정확도 등 여러 성능 요소 중 어떤 부분을 가장 중요하게 고려하고 계신지?
2. GPT 모델과 자체 개발 모델이 상호 보완적으로 작동한다고 하셨는데, 구체적으로 어떻게 역할을 나누고 있나요? 예를 들어, 기본적인 질문 응답은 자체 모델이 더 복잡한 데이터 분석은 GPT가 처리하는 방식인지 아니면 요청의 난이도에 따라 실시간으로 모델을 전환하는 방식인지?
3. 여러 AI 모델을 동시에 운영하면 데이터 호환성이나 안정성 문제가 발생할 수 있을 것 같은데 이를 방지하기 위해 어떤 방식을 사용하고 계신지? 예를 들어, 데이터가 모델 간에 일관되게 전달되고 충돌이 발생하지 않도록 관리하는 방법이 있는지?

 

비즈니스 전략과 사용자 경험

1. 내년에 진행될 ‘카나나’ 비공개 테스트에서 사용자 피드백을 어떻게 수집하고 반영할 계획이신지? 초기 피드백을 분석하고 서비스에 반영하는 과정에서 특별히 중점을 두는 부분이 무엇인지와 비공개 테스트에서 집중적으로 검토하고 싶은 성능 요소나 주요 개선 목표가 무엇인지?