정부는 LLM(거대 언어 모델)의 잠재적 취약점을 식별하는 공개 챌린지를 열어 국내 AI 산업의 안전 및 신뢰성을 확산하고, 공존 가능한 ‘AI 시대’의 기반을 세우고 있다. 최근 ‘AI 얼라이언스’ 참여를 선언한 카카오는 ‘AI Satety’를 위한 글로벌 협력을 강조하고 있다.
 
과학기술정보통신부와 한국정보통신기술협회(TTA)는 ‘생성형 AI 레드팀 챌린지(이하 ‘레드팀 챌린지’)’ 행사를 4월11일(목)부터 이틀간 코엑스 B2홀에서 개최했다. 1일차에는 2일차, Cohere, Stability AI, xAI, 프론티어모델 포럼, 카카오, 셀렉트스타 등 국내‧외 AI 대표 전문가가 AI 신뢰·안전성을 논의하는 ‘글로벌 AI 안전 컨퍼런스’를 온오프라인에서 진행했다.
 
■ 국내 첫 레드팀 챌린지, AI 위험 찾았다
 
국내에서 처음으로 개최되는 이번 ‘레드팀 챌린지’는 AI에 관심있는 국민 누구나 참여하여 국내 생성형 AI 모델(LLM)을 대상으로 잠재적 위험 및 취약점(부정확 정보, 유해정보 등)을 찾는 행사다. 이번 행사는 최근 생성형 AI 관련 분야 종사자뿐만 아니라, 제조·금융·의료분야 종사자, 대학생 등 다양한 분야의 국민 총 1,000여명이 챌린지 참가자로 참여했다.
 
국내 AI 대표기업 네이버·SKT·업스테이지·포티투마루가 참여했고, 챌린지 참가자들은 세션별 참여기업 LLM 모델을 차례로 배정받아 탈옥, 편견, 인권침해, 사이버 공격, 불법콘텐츠, 잘못된 정보, 일관성 등 총 7개의 챌린지 주제를 대상으로 잠재적 취약점을 찾기 위한 프롬프트 공격을 진행하는 형식이다. 챌린지 평가단은 ‘레드팀 챌린지’의 공정하고 전문적인 평가를 위해 데이터 분야 전문가를 비롯해 120여명으로 구성됐다.
 
과기부는 이번 ‘레드팀 챌린지’ 결과를 분석해 생성형 AI 분야 위험을 도출하고, 업계에서 활용할 수 있는 ‘생성형 AI 레드팀 가이드라인’을 마련한다. 과기부 강도현 2차관은 “AI 혁신의 전제이자 기본은 AI 안전과 신뢰”며, “올해 5월에 개최되는 ‘AI 서울 정상회의’를 통해 AI 혁신과 안전, 포용 논의를 주도하여 글로벌 AI 리더십을 확보하고, AI G3 강국 도약의 발판으로 삼겠다”고 말했다.
 
행사 2일차에 열린 ‘글로벌 AI 안전 컨퍼런스’에서는 △Cohere Aidan Gomez 대표 △Stability AI Emad Mostaque 前대표/창업자 △프론티어모델 포럼 Chris Meserole 의장 △xAI Dan Hendrycks 안전 담당고문 △네이버 하정우 퓨처 AI 센터장 △SKT Eric Davis 부사장 △셀렉트스타 김세엽 대표 △카카오 김경훈 AI Safety 리더 △카이스트 오혜연 교수 △SKT Eric Davis 부사장 △Stability AI Emad Mostaque CEO △Cohere Aidan Gomez CEO 등 국내외 대표 AI 전문가가 참여했다.
 
■ 카카오, ‘AI Safety’ 강조…8개 계열사 AI 거버넌스 참여
 
카카오 김경훈 AI Safety 리더는 모두를 위한 ‘AI Safety(AI 안전성)’를 달성하기 위해 국내외 AI 거버넌스 구축을 통해 선순환 구조의 확립을 주장했다.
 
김 리더는 “최근 AI 안전성에 대한 논의가 이뤄지고 있지만 국제적 표준이 미확립 되어 있는 가운데 안전성을 평가하기 어렵고, 개발자 입장에서 투자 대비 인센티브가 부족한 실정”이라며, “프론티어 AI 모델 자체의 위협을 제거하는 규범을 세우는 데 공감대를 갖는 한편, 비즈니스 관점에서도 AI 안전성을 고민해야 한다”고 말했다.
 
최근 ‘AI Everywhere’을 넘어 주목받고 있는 ‘AI Safety’가 주목받고 있다. 생성형 AI의 촉발 이후 AI가 전 분야에 걸쳐 확산됨에 따라 프론티어 AI 모델에 존재하는 위협 요소를 다루기 위해 국제적인 논의가 이뤄지고 있다. 지난해 11월 영국에서 ‘AI Satety Summit’이 개최됐으며, 이는 올해 5월 중 한국에서 개최될 예정이다. 지난 3월 유엔(UN)에서는 AI 양극화를 줄이기 위한 공동으로 합의를 선언했다. 전 세계에서 AI 모델을 통한 실제 효용을 받는 국가가 제한적이기 때문에 글로벌 협력을 통한 AI 양극화 해소를 고민해야 한다는 내용을 주요 골자로 한다.
 
카카오는 2018년 국내 기업 최초로 알고리즘 윤리 헌장을 제정하고, 모든 AI 서비스를 이에 기초해 제작 및 정책 검토를 고민하는 ‘기술윤리 거버넌스’를 만들었다. 여기에는 카카오, 카카오브레인, 카카오게임즈, 카카오엔터프라이즈, 카카오모빌리티, 카카오뱅크, 카카오엔터테인먼트, 카카오페이 등 8개의 계열사의 기술 리더가 참여하고 있다.
 
또한 카카오는 지난 4월 4일 ‘AI 얼라이언스’에 가입했다. 메타, IBM, 허깅페이스, 델, 오라클, 데이터브릭스, 인텔, AMD, Stability AI 등이 참여하고 있는 해당 연합에서는 글로벌 스탠다드에 부합하는 안전하고 책임감 있는 AI 개발을 주도한다. 카카오는 ‘Trusted AI’ 영역에서 벤치마크 데이터셋을 구축해 오픈소스 커뮤니티에 기여한다.
 
예컨대 카카오의 이미지 생성 AI 모델 ‘칼로(Karlo)’는 가드레일 관점에서 프롬프트 입력 단에서 자체적으로 만든 금칙어 DB와 비교해 이미지를 필터링 하게끔 설정했다. 또한 딥페이크 위협에서 벗어나기 위해 비가시성 워터마크를 도입해 AI가 생성한 이미지 여부를 판단할 수 있다.
 
김 리더는 “AI 기술이 발전함과 동시에 AI 안전성은 시장 논리에 따라 자연스럽게 추구될 수 있으나, 이와 반대될 우려도 존재한다”며, “안전성과 역행하는 기술이 개발되지 않도록 ‘모델 얼라인먼트(Model Alignment)’ 접근이 필요하다”고 말했다. AI 안전성에 역행하지 않도록 일정 수준의 개입을 통해 AI 발전에 선제적으로 대응해 선순환 구조로 조정해야 한다는 설명이다.
 
김 리더는 “이를 위해 모든 이해관계자는 거버넌스를 구축하고, 국내외의 공급망 내에 있는 파트너들과 협력을 통한 상생이 필요하다”며, “글로벌 협력 차원에서 AI 양극화 등 문제를 해소하기 위한 표준과 표준을 평가할 수 있는 방법론을 만들어야 한다”고 말했다. 또한 이용자 단에서도 AI 오남용을 최소화하기 위한 교육을 강조했다.