구글 딥마인드, 월드 모델 ‘지니 4’ 공개...소리·대화까지 실시간 생성

구글 딥마인드가 지난 27일 공식 블로그를 통해 가상세계의 화면과 소리, 등장인물의 대화를 실시간으로 생성하는 인공지능(AI) 월드 모델 ‘지니 4(Genie 4)’를 공개했다.

지니 4는 이용자의 입력에 따라 가상환경과 그 안에서 일어나는 변화를 생성하는 모델이다. 이용자는 키보드로 가상공간을 탐색하거나 시점을 조작할 수 있으며, 자연어로 지시를 입력해 진행 중인 장면을 바꿀 수 있다.

이번 모델의 주요 특징은 시각 정보와 음향을 함께 생성하는 기능이다. 바람과 파도 등 주변 환경에 맞는 소리와 음악을 모델이 직접 만들어내며, 등장인물이 이용자의 입력이나 주변 사건에 반응해 대화하는 기능도 지원한다.

여기에 가상세계의 구성도 실시간으로 수정할 수 있다. 이용자가 날씨를 바꾸거나 새로운 인물과 물체를 추가하도록 지시하면, AI가 주변 장면의 맥락에 맞춰 이를 반영한다. 구글 딥마인드는 제미나이가 이용자의 입력 사이에도 장면을 관찰하고 조정해 시뮬레이션의 흐름을 유지하도록 돕는다고 설명했다.

게임 개발 분야에서는 초기 아이디어를 탐색 가능한 프로토타입으로 구현하는 용도로 사용할 수 있다. 구글 딥마인드에 따르면 테스트에 참여한 게임 개발자와 크리에이티브 기술자들은 게임 엔진 코드를 작성하기 전에 자연어 지시로 시각적 스타일과 재질 표현, 상호작용 방식을 검토하고 있다.

다만 아직은 초기 연구 단계로, 연속 상호작용을 지원하는 시간은 짧다. 실행 시간이 길어지거나 복잡한 수정과 이동을 반복하면 시각적 세부 정보와 물체의 일관성이 흐트러질 수 있다. 복잡한 물리적 상호작용과 공간 정확도, 글자 표현, 실시간 음향의 정확성 등도 개선 과제로 남아 있다.

지니 4는 현재 선정된 테스터를 대상으로 연구 프리뷰가 제공되고 있으며, 향후 프로젝트 지니를 통해 구글 AI 울트라 구독자에게 제공하고, 제미나이 API와 구글 AI 스튜디오의 초기 접근 파트너로도 대상을 확대할 예정이다.