휴대폰 동영상이 이제 슬롯 꽁 머니 세계가 된다

[ 매드타임스 한수경 기자] 지금 보고 있는 동영상을 슬롯 꽁 머니로 만들 수 없을까? 하는 생각을 할 때가 있다. 이런 생각을 구현한 AI가 공개됐다. 바로 엔비디아의 뉴럴엔젤로(Neuralangelo)다. 뉴럴엔젤로는 2D 비디오 클립을 슬롯 꽁 머니 구조와 장면으로 변환할 수 있는AI다. 말 그대로 모바일 또는 카메라로 촬영한 비디오 클립에서 건물, 조각품 및 실제 물체의 상세한 복제본을 만드는 것.

뉴럴엔젤로는 미켈란젤로에서 따왔다. 엔비디아는"미켈란젤로가 대리석 블록으로 놀랍고 생생한 비전을 조각한 것처럼, 뉴럴엔젤로는 복잡한 세부 사항과 텍스처로 슬롯 꽁 머니 구조를 생성힌다. 그런 다음 크리에이티브 전문가는 이러한 슬롯 꽁 머니 개체를 디자인 응용 프로그램으로 가져와 예술, 비디오 게임 개발, 로봇 공학 및 산업용 디지털 트윈에 사용할 수 있게 편집할 수 있다"라고 밝혔다.

이는 게임 캐릭터와 대화할 수 있는 엔비디아의 AI와 HiFA의 연구진이 개발 중인 새로운 텍스트-슬롯 꽁 머니 제너레이티브 AI를 기반으로 한다.데모에서 엔비디아 연구원들은 뉴럴엔젤로가 미켈란젤로의 다비드와 같은 복잡한 조각품은 물론 평판 트럭과 같은 일상적인 물건, 건물 내부와 외부를 어떻게 재구성하는지 보여 주었다.

슬롯 꽁 머니 장면을 재구성하는 이전의 AI 모델은 반복적인 텍스처 패턴, 균일한 색상 및 강한 색상 변화를 정확하게 캡처하는 데 어려움이 있었다고 엔비디아는 지적한다. 뉴럴엔젤로는 이러한 미세한 디테일을 캡처하는 데 도움이 되는 엔비디아 인스턴트 NeRF의 기반 기술인 인스턴트 뉴럴 그래픽 프리미티브를 채택했다.

이 모델은 다양한 각도에서 촬영한 물체 또는 장면의 2D 비디오를 사용하여 깊이, 크기 및 모양을 파악하기 위해 여러 측면에서 피사체를 고려하는 아티스트처럼 다양한 시점을 포착하는 여러 프레임을 선택한다.각 프레임의 카메라 위치가 결정되면 뉴랄란젤로의 AI는 조각가가 피사체의 모양을 깎기 시작하는 것처럼 장면의 대략적인 슬롯 꽁 머니 표현을 생성한다.그런 다음 조각가가 천이나 인물의 질감을 모방하기 위해 돌을 정성스럽게 다듬는 것처럼 모델이 렌더링을 최적화하여 디테일을 선명하게 만든다.최종 결과물은 가상 현실 애플리케이션, 디지털 트윈 또는 로봇 개발에 사용할 수 있는 슬롯 꽁 머니 오브젝트 또는 대규모 장면이다.

엔비디아는 "높은 충실도 덕분에 개발자와 크리에이티브 전문가가 스마트폰으로 캡처한 슬롯 꽁 머니을 사용하여 프로젝트에 사용할 수 있는 가상 오브젝트를 빠르게 생성할 수 있다."라고 설명했다.

이 기술을 설명하는 논문의 공동 저자이기도 한 슬롯 꽁 머니 리서치 수석 연구 책임자 밍유 리우(Ming-Yu Liu)는 뉴럴엔젤로의 기능이 현실 세계와 디지털 세계를 연결해 잠재적으로 "크리에이터에게 큰 혜택"이 될 것이라고 평가했다. 이어 "이 툴을 통해 개발자는 작은 조각상이든 거대한 건물이든 세부적인 오브젝트를 가상 환경으로 가져오는 비디오 게임이나 산업용 디지털 트윈이다."라고 덧붙였다.

한편, 슬롯 꽁 머니의 연구원들은 6월 18일에서 22일까지밴쿠버에서 열리는 컴퓨터 비전과 패턴 인식 컨퍼런스(Computer Vision and Pattern Recognition Conference, CVPR)에서 약 30개의 다른 프로젝트와 함께 뉴럴엔젤로에 대한 자세한 내용을 공개할 예정이다.

[이미지 슬롯 꽁 머니]