AI 에이전트는 다양한 작업 수행에 필요한 AI 디바이스를 통해 전세계 수십억 지식 근로자의 생산성을 변화시킬 잠재력을 갖췄다. 그러나 기업들이 AI 에이전트를 개발하기 위해서는 △신뢰 △안전 △보안 △규정 준수 등과 같은 중요한 문제를 해결해야 한다.

엔비디아가 AI 가드레일을 위한 엔비디아 NIM 마이크로서비스 출시를 17일 발표했다. 개발자는 NIM 마이크로서비스를 통해 안전하고 신뢰할 수 있는 AI 에어전트 구축이 가능한 것으로 전해졌다.

AI 가드레일을 위한 새로운 엔비디아 NIM 마이크로서비스는 소프트웨어 도구 모음인 엔비디아 네모 가드레일(NeMo Guardrail)의 일부이다. 이는 기업이 생성형 AI 애플리케이션의 안전성, 정확성, 확장성을 개선할 수 있도록 돕는 휴대용 최적화 추론 마이크로서비스이다.

네모 가드레일은 AI를 큐레이팅, 맞춤화, 가드레일링하는 데 도움을 준다. 네모 가드레일은 개발자가 거대 언어 모델(LLM) 애플리케이션에 AI 가드레일을 통합하고 관리할 수 있도록 지원한다. △암독스 △세렌스 AI △로우즈 등은 AI 애플리케이션 보호에 네모 가드레일을 사용하고 있다.

엔비디아는 AI 에이전트가 대규모로 운영되면서도 제어된 행동을 유지할 수 있도록 돕는 네모 가드레일을 위한 새로운 NIM 마이크로서비스 3가지를 소개했다.

콘텐츠 안전 NIM 마이크로서비스는 편향되거나 유해한 결과물이 생성되는 것을 방지해 AI가 윤리적 기준에 부합하는 응답을 할 수 있도록 한다. 주제 제어 NIM 마이크로서비스는 대화가 승인된 주제에 집중하도록 유지해, 주제가 벗어나는 내용이나 부적절한 콘텐츠를 피할 수 있도록 한다. 탈옥 탐지 NIM 마이크로서비스는 탈옥 시도에 대한 보호 기능을 추가해 대립적인 시나리오에서 AI 무결성을 유지하는 데 도움이 된다.

개발자는 다양한 경량화된 전문 모델을 가드레일로 적용함으로써, 일반적인 글로벌 정책과 보호 기능만으로는 막을 수 없는 빈틈을 메울 수 있다. 모든 상황에 적용되는 단일 접근 방식으로는 복잡한 에이전틱 AI 워크플로우를 적절하게 보호하고 제어할 수 없기 때문이다.

앤소니 구네틸렉 암독스 기술 부문 그룹 회장은 “네모 가드레일과 같은 기술은 생성형 AI 애플리케이션을 보호하고 안전하고 윤리적으로 작동하도록 하는 데 필수적이다”라면서, “이를 우리 플랫폼에 통합함으로써, ‘신뢰할 수 있는 AI(Trusted AI)’ 기능을 강화했다”고 말했다.

닐스 샨츠 세렌스 기술 담당 부회장은 “차량 내 어시스턴트 기술에 엔비디아의 고성능 보안 솔루션을 사용하고 있다”면서, “네모 가드레일 통해 환각 없는 응답을 제공할 수 있으며 자동차 제조업체 고객을 위해 맞춤화해 유해하거나 불쾌한 요청을 걸러내고 CaLLM 언어 모델 제품군이 의도하지 않거나 부적절한 콘텐츠를 최종 사용자에게 전달하지 않도록 보호한다”고 말했다.