[매일경제] “딥페이크 차단”…정부, AI 안전확보 나섰다

📰 “딥페이크 차단”…정부, AI 안전확보 나섰다

기사 바로가기

AI안전연구소 출범
다양한 AI위험 체계적 대응
英·美 이어 6번째 국가연구소
정부, SKT·네이버·LG 등과 안전한
AI연구환경 공동구축

 

7일 경기도 성남시 글로벌R&D센터에서 열린 인공지능(AI)안전연구소 개소식에서 참석자들이 기념촬영을 하고 있다. 왼쪽 넷째부터 최장혁 개인정보보호위원회 부위원장, 염재호 국가인공지능위원회 부위원장, 류광준 과학기술정보통신부 과학기술혁신본부장, 김명주 AI안전연구소장. 과기정통부

 

인류가 인공지능(AI) 기술을 안전하게 이용할 수 있도록 연구하는 'AI안전연구소'가 27일 출범했다. 영국· 미국 등에 이어 6번째 국가연구소다. 안전한 AI 기술 연구는 지난 5월 10개국이 참여한 가운데 열린 'AI서울정상회의'의 핵심 의제로 선정되면서 글로벌 어젠다로 부상하고 있다. 이날 경기도 성남시 글로벌R&D센터에 문을 연 AI안전연구소 개소식에서 김명주 소장은 "AI안전연구소는 규제 기관이 아니라 국내 기업들이 글로벌 경쟁력을 확보하는 데 장애가 되는 위험 요소들을 최소화하도록 지원하는 협력 기관으로 역할을 할 것"이라고 밝혔다.

AI안전연구소는 AI의 기술적 한계, 인간의 AI 기술 오용, AI 제어 불능 등으로 발생하는 AI 리스크를 체계적으로 대응하기 위해 만들어진 AI 안전연구 전담조직이다. AI의 위험을 미연에 파악해 최소화하는 데 중점을 두면서 AI 기술의 신뢰성을 제고하는 것에 목적을 두고 있다.

정부는 딥페이크 등 AI 기술을 활용한 부작용을 줄이는 동시에 AI 기술 가이드라인을 민간에 제공하면서 한국이 'AI G3(3대 강국)'로 도약하는 초석을 마련하겠다는 복안이다. 현재 전 세계 많은 국가에선 AI 안전 가이드라인에 대한 적용 기준과 강도가 달라 기업들이 연구개발(R&D) 과정에서 AI 위험 관련 불확실성에 노출되고 있는 실정이다. 유럽연합(EU)이 대표적인 사례인데, 2018년 5월 발효된 일반개인정보보호법(GDPR)은 엄격한 AI 활용 가이드라인으로 글로벌 빅테크 기업에도 위협이 되고 있다.

 

 

이와 관련해 김 소장은 "우리 기업도 이러한 장벽에 가로막힐 수 있으므로 R&D 단계에서부터 규제, 인증 및 여러 표준 절차를 살피는 게 필요하다"고 강조했다. 실제로 AI 안전 연구에서는 국제 규범을 선점하려는 세계 각국의 노력으로 치열한 각축전이 펼쳐지고 있다. 마이크로소프트(MS), 구글 등과 같은 글로벌 빅테크 기업들 또한 투자의 불확실성을 제거하는 차원에서 자국의 AI안전연구소와 긴밀한 협력 관계를 이어가고 있다.

지난 2월 미국 상무부는 안전하고 신뢰할 수 있는 AI의 개발과 배포를 지원하기 위해 구글, 오픈AI, 메타 등 기업은 물론 대학, 금융계 등 200여 개 기관이 참여한 'AI안전연구소 컨소시엄(AISIC)'을 발족했다. 나아가 지난 8월 오픈AI, 앤스로픽은 미국 AI안전연구소와 양해각서(MOU)를 체결하면서 자사 모델에 대한 사전 평가를 위한 접근을 허용하고 평가 결과에 대한 피드백을 제공하기로 했다.

이는 AI 기술 연구가 인류 전반에 어떤 위험으로 다가올지 검토하는 한편 미국 주도로 AI 기술 표준을 정립하겠다는 의도가 깔린 행보였다. 이를 바탕으로 미국 및 영국의 AI안전연구소는 지난달 앤스로픽의 '클로드 3.5 소네트' 최신 모델에 대한 사전 평가 결과를 공개하기도 했다.

이에 대해 과학기술정보통신부 관계자는 "미국 백악관은 지난해 7월 글로벌 빅테크 기업에 AI 기술의 오남용으로 인한 사회적 피해를 방지하고자 '책임 있는' AI 개발을 당부했고 기업들은 '자발적인 약속'을 발표했다"면서 "'AI서울정상회의'에서 논의된 책임감 있는 AI 시스템 개발과 관련한 구체적 실천 내역은 차기 정상회의에서 논의될 예정"이라고 설명했다.

국내 기업들도 AI안전연구소가 출범한 만큼 안전한 AI 연구 환경의 구축에 적극 나서고 있다. 한국이 국제 AI안전연구소 네트워크의 일원으로 참여한 만큼 산학연이 합심해 중장기적으로 아시아·태평양 지역의 AI 안전 규범을 주도해 정립하겠다는 것을 목표로 삼고 있다. 이날 AI안전연구소는 개소식의 일환으로 '대한민국 AI안전컨소시엄' 협약식을 함께 열었는데 AI 분야를 대표하는 국내 대표 산학연 기관 24곳이 참여하기로 하면서 눈길을 끌었다. 그만큼 국내 정보통신기술(ICT) 기업들은 투자의 불확실성을 해소하는 차원에서 AI 기술의 안전성에 대한 연구를 꾸준히 진행해왔다.

네이버의 경우 퓨처AI센터를 지난 1월 신설해 AI 윤리·안전 정책 수립 및 총괄하고 안전성 연구에 대한 협력을 수행하기로 했다. LG AI연구원은 산하에 AI 윤리위원회와 AI 윤리사무국을 두고 관련 체계를 수립했다. SK텔레콤 등 통신사도 별도 조직을 신설해 AI 기술 발전이 가져올 수 있는 위험을 관리하는 체계를 구축했다.

 

 

 

🔍 추가 조사한 내용

인공지능 안전 연구소 컨소시엄 (AISIC, Artificial Intelligence Safety Institute)

미국 국립표준기술연구소(NIST, National Institute of Standard and Technology) 산하의 미국 인공지능 안전 연구소(USAISI)가 주도하는 협력체로 안전하고 신뢰할 수 있는 인공지능 시스템의 개발과 배포를 촉진하기 위해 설립됨

• 주요 활동 및 역할
  • AI 위험 관리
    • NIST의 AI 위험 관리 프레임워크(AI RMF)를 활용하여 AI 시스템이 가질 수 있는 잠재적 위험을 사전에 파악하고 완화하기 위한 지침을 개발
    • 예: AI 모델의 안전성 및 신뢰성을 테스트하기 위한 레드팀(red-teaming) 활동 수행
    • AI 시스템의 설계, 구현, 배포 전반에서 발생할 수 있는 위험을 분석하고 대처 전략 수립
  • AI 모델 평가 및 콘텐츠 인증
    • AI 모델과 시스템의 안전성을 과학적, 경험적으로 평가하며 합성 콘텐츠의 워터마킹 기술을 포함한 콘텐츠 인증 지침을 개발
    • 합성 콘텐츠의 진위 여부를 판별하는 기술 개발
    • 생성형 AI가 만드는 결과물의 오용 가능성을 줄이는 기술적 대응 마련
  • 국제 협력 및 표준 정립
    • AI 안전 연구소의 국제 네트워크 일원으로 글로벌 파트너들과 협력하여 AI 안전성을 강화하고 국제적인 규범과 정책을 선도
    • 예: 영국, 유럽연합(EU) 등 주요 국가와 협력하여 AI 윤리 및 안전 기준 조율
  • AI 기술 혁신과 책임감 있는 활용
    • 참여 기업들과 함께 AI 개발 과정에서의 윤리적, 책임 있는 활용 방안 도출
    • 예: AI 모델의 사전 평가 및 피드백 절차를 마련하여 기술 남용 방지
    • AI 안정성을 위한 검증 프로세스 및 데이터 활용 지침 개발

 

• 참여 기관과 파트너십
  • 빅테크 기업: 오픈AI, 구글, 마이크로소프트, 아마존, 메타 등
  • 하드웨어 및 금융 기업: 퀄컴, 인텔, JP모건 등
  • 학계 및 연구 기관: MIT, 스탠퍼드대, 카네기멜런대 등 
  • 정부 기관 및 규제 기관: 미국 상무부, 미국 국방부, 국제 규제 협력 기구

 

 

 

💡 현직자에게 할 질문

1. 국제 협력과 한국의 역할

• AI안전연구소가 영국, 미국 등과 협력하며 국제 AI 안전 네트워크에 참여하고 있는 것으로 알고 있습니다. 한국이 국제 규범 정립이나 표준화 과정에서 주도적인 역할을 하기 위해 구체적으로 어떤 협력 모델을 구상하고 있는지 궁금합니다. 특히 유럽연합의 GDPR처럼 엄격한 규제가 글로벌 기업에 영향을 미치는 상황에서, 한국형 AI 안전 표준은 어떤 차별점과 강점을 가질 수 있을까요?
• 미국 AISIC과 같은 국제 컨소시엄과의 협력에서 한국 AI안전연구소가 맡고 있는 역할은 무엇인가요? AISIC의 레드팀 활동이나 콘텐츠 인증 지침 개발 과정에서 한국의 기술이나 규범이 반영될 가능성이 있는지 알고 싶습니다.

 

2. R&D 단계에서의 안전성 보장

• AI 모델 개발 초기 단계에서 안전성을 내재화하기 위한 구체적인 가이드라인이나 절차가 마련되어 있는지 궁금합니다. 또한, 국내 기업들이 R&D 과정에서 이를 활용할 수 있도록 AI안전연구소에서 제공하는 지원 프로그램이 있다면 알려주십시오.
• NIST의 AI 위험 관리 프레임워크(AI RMF)를 국내 환경에 맞게 현지화하거나 국내 기업들에게 적용할 수 있도록 지원하는 방안이 계획되고 있는지도 궁금합니다.

 

3. 딥페이크 방지와 AI 안전 기술

• 한국이 개발 중인 딥페이크 방지 기술이 글로벌 기술과 비교했을 때 어떤 차별점과 강점을 가지고 있나요? 점점 정교해지는 딥페이크 생성 기술에 대응해 방지 기술이 실시간으로 탐지하고 차단할 수 있는 수준까지 발전할 가능성도 있는지 궁금합니다.
• 딥페이크 외에도, 생성형 AI가 오용될 가능성을 줄이기 위해 AI안전연구소에서 진행 중인 다른 연구나 프로젝트가 있다면 알려주십시오.

 

4. 국내 기업들의 역할과 성과

• 네이버, LG AI연구원, SK텔레콤 등 주요 국내 기업들이 AI안전연구소와 협력하고 있는 것으로 알고 있습니다. 각 기업이 AI 안전성 연구에서 맡고 있는 역할은 무엇이며, 지금까지의 협력에서 나온 대표적인 성과나 사례가 있다면 알려주십시오.
• AI 기술의 안전성을 높이기 위해 기업과 AI안전연구소 간의 협력이 앞으로 어떤 방향으로 발전해야 한다고 보시나요? 특히 아직 다뤄지지 않은 연구나 기술 분야가 있다면 어떤 것이 있을지 궁금합니다.