대화형 인공지능(AI) 서비스가 미성년자의 성적·폭력적 대화에 악용될 우려가 커지자 정보기술(IT) 업체들이 대책 마련에 힘쓰고 있다.

25일 관련 IT 업계에 따르면, 최근 AI 기업 뤼튼테크놀로지스(뤼튼)는 AI로 캐릭터를 생성해 대화하는 '캐릭터 챗' 서비스에 청소년에게 부적절한 콘텐츠를 자동으로 차단하는 기능을 적용했다.

뤼튼은 지난 22일 "사용자들이 생성형 AI 콘텐츠를 자유롭게 이용해야 한다는 것에 동감한다"면서도 "청소년들이 민감할 수 있는 캐릭터들로부터 보호돼야 한다"며 청소년 보호를 목적으로 출시한 '세이프티 필터' 기능을 안내했다.

세이프티 필터는 캐릭터 챗에서 미성년자들에게 부적절한 캐릭터를 찾아내 표시되지 않도록 막는다.

뤼튼은 ▲ 성적 내용 ▲ 폭력적 내용 ▲ 마약 및 약물 남용을 묘사하는 내용 ▲ 도박을 조장하거나 긍정적으로 묘사하는 내용 ▲ 지나친 비속어의 반복 사용 등 기준을 세워 청소년에게 부적절한 캐릭터를 판단한다고 밝혔다.

특히 '성적 내용'에는 명백한 성적 행위 묘사, 성적 대화의 자세한 묘사, 성적 자극을 유도하는 선정적 장면, 음란한 성적 표현 등이 포함되며, '폭력적 내용'은 잔혹한 장면 및 과도한 고통을 유발하는 행위, 구체적인 묘사로 사용자에게 불쾌감을 줄 수 있는 상황 등을 제시했다.

뤼튼은 이 정책을 위반할 경우 이용자 차단, 캐릭터 차단 등 제재할 방침이다.

뤼튼은 세이프티 필터가 완벽한 것은 아니라며 "민감한 캐릭터 표시가 되지 않은 채 제작되는 부적절한 캐릭터들이 있을 수 있다"고 설명했다. 이어 "이런 경우 직접적으로 제재를 가할 것"이라며 이용자의 신고를 요청했다.

한편 뤼튼 서비스는 작년 1월 출시 이후 지난 6월까지 한국과 일본에서 누적 가입자 수 370만 명, 월간 활성 이용자 수 200만 명 이상을 달성했다.

국내 다른 스타트업 스캐터랩도 AI 스토리 플랫폼 '제타'(zeta)에서 청소년과 AI 간 부적절한 대화를 차단할 방안을 마련했다.

스캐터랩은 어뷰징(의도적 조작 행위) 탐지 모델, 키워드 필터링 시스템 등 기술적 조치와 AI 윤리 준칙 및 운영정책 수립, 상시 모니터링을 통해 부적절한 이용자를 정지시키는 등 제재할 예정이다.

어뷰징 탐지 모델은 AI가 말하는 소리, 상황, 맥락 등을 감지해 대화를 차단하며 키워드 필터링 시스템은 대화 중 특정 키워드를 감지해 대화를 막는다.

캐릭터 생성 과정에도 키워드 필터링 시스템이 적용되므로, 선정성, 혐오성, 폭력성이 담긴 프롬프트(명령어)나 부적절한 이미지 등록은 거부된다. 제타는 8월 초 기준 이용자가 60만 명, 생성 캐릭터 수가 65만 개를 기록했다.

한편 캐릭터를 활용한 AI 서비스에서 AI 챗봇을 성적 대상으로 삼아 선정적 대화를 나누는 등 최근 'AI 착취' 문제가 불거졌다. 한 유명 인터넷 커뮤니티에는 이 같은 부적절한 대화 내용이 공개되기도 했다.



김주미 키즈맘 기자 mikim@kizmom.com