네이버가 국내 기업 최초로 인공지능(AI)의 통제력 상실과 악용을 방지하기 위한 체계를 마련했다. AI가 인류에 미칠 영향을 둘러싼 우려가 커지고 각국이 규제 논의에 속도를 내는 가운데 빅테크들이 앞다퉈 자구책을 내놓는 흐름의 연장선이다.

네이버는 17일 자체 기술 채널 ‘채널 테크’를 통해 AI 안전성 실천 체계인 ‘네이버 AI 안전 프레임워크(ASF)’를 발표했다. 네이버가 AI 시스템을 개발하고 배포하는 모든 과정에서 잠재적 위험을 인식·평가·관리하기 위한 대응체계다.

네이버 ASF는 AI 시스템이 초래할 수 있는 위험을 ‘통제력 상실 위험’과 ‘악용 위험’으로 정의했다. 인간이 AI 시스템에 손쓰지 못하게 되는 통제력 상실 위험은 ‘AI 위험 평가 스케일’을 통해 주기적으로 평가하고 관리한다. 현존 최고 성능의 AI 시스템을 ‘프런티어 AI’로 정의하고, 이 기술 수준에 해당하는 AI 시스템은 3개월마다 위험 평가를 한다. 시스템 능력이 기존보다 6배 이상 급격히 증가할 땐 추가 평가를 진행한다.

악용 가능성에는 ‘AI 위험 평가 매트릭스’를 적용한다. 이는 AI 시스템의 사용 목적과 안전조치 필요성 정도에 따라 각각 다른 방법으로 위험을 관리한다. 예를 들어 생화학 물질 개발처럼 특수한 목적으로 사용되는 AI 시스템은 특별한 자격이 있는 사용자에게만 제공해 위험을 완화한다. 안전조치 필요성이 높다면 추가적인 기술적·정책적 안전조치를 통해 위험이 완화될 때까진 배포하지 않는다. 하정우 네이버 퓨처AI센터장은 “네이버 ASF를 활용한 위험 평가 결과나 실천 경험을 외부에 공개하는 방안을 고민하고 있다”고 말했다.

아울러 네이버 ASF를 문화적 다양성을 반영한 AI 안전성 체계로 발전시킬 계획이다. 다른 국가의 정부나 기업과 해당 국가의 언어와 고유 데이터를 활용한 ‘소버린 AI’를 공동 개발하면서 특정 문화권에서 성립될 수 있는 AI 시스템의 위험을 식별하겠다는 것이다. 최수연 네이버 대표이사는 “네이버는 한국에서 소버린 AI ‘하이퍼클로바 X’를 개발한 경험을 통해 문화적·지정학적 상황과 지역적 이해가 AI의 성능뿐만 아니라 안전성에도 영향을 미친다는 점을 실증했다”고 말했다.

네이버와 삼성전자, 구글 딥마인드, 아마존, 메타, 마이크로소프트(MS), 오픈AI, 앤트로픽 등은 지난달 AI 서울 정상회의에서 ‘프런티어 AI 안전 서약’에 동참했다. 최첨단 AI 모델의 위험을 측정하기 위한 안전 프레임워크를 게시하고, 임계 수준을 넘어서는 위험을 완화하지 못하면 모델을 개발하거나 배포하지 않기로 뜻을 모았다. 네이버에 앞서 메타, 오픈AI, MS, 구글 딥마인드 등 다수의 글로벌 기업들이 AI 안전 체계를 마련했다.

최근 오픈AI에서 벌어진 안전성 논란은 업계 내부에서도 AI 기술 발전이 가져올 미래를 장밋빛으로만 보지 않는다는 점을 보여준다. 오픈AI가 장기적인 AI의 위험을 연구하는 전담팀을 해체하자 주요 구성원들이 “안전은 뒷전”이라고 비판하며 회사를 떠났다. 일부 전·현직 직원들은 성명을 내고 인류 멸종을 포함한 AI 위험을 경고하며 “기업 내부 규제 시스템만으로는 이 문제를 해결할 수 없다”고 지적했다.