영화 스튜디오 Laika와 Intel이 AI로 스톱모션 애니메이션을 혁신하는 방법

'Missing Link'와 'Coraline'의 저명한 스튜디오는 인텔과 협력하여 스톱 모션 애니메이션의 큰 도약이 될 수 있는 AI 도구를 만들고 있습니다.

영화 스튜디오 Laika와 Intel이 AI로 스톱모션 애니메이션을 혁신하는 방법

지난 15년 동안 영화 제작 스튜디오인 Laika는 스톱 모션의 전술적 예술성과 CGI 및 3D 인쇄를 포함한 기술 발전을 매끄럽게 결합하여 애니메이션의 선구자였습니다.



이제 오리건에 기반을 둔 이 스튜디오는 영화 제작에 AI를 통합함으로써 또 다른 도약의 최전선에 서 있습니다.

오스카 후보에 오른 영화를 제작하는 동안 링크 누락 , 기술 및 시각 효과 팀은 인텔과 협력하여 AI 도구의 프로토타입을 개발했습니다.



해결해야 할 문제: 선.



Laika의 영화에 사용된 인형은 3D 프린팅으로 대량으로 생성된 다양한 표정을 가지고 있습니다. 입력 링크 누락 단독으로 106,000개 이상의 면이 조각으로 인쇄되었습니다(즉, 얼굴의 아래쪽과 위쪽 부분). 캐릭터의 얼굴이 움직이는 방식을 제어하는 ​​데 유용한 프로세스이지만 다양한 아래쪽 및 위쪽 부분이 연결되는 위치를 표시하는 눈에 보이는 이음새도 만듭니다.

Laika의 시각 효과 감독인 스티브 에머슨(Steve Emerson)은 영화관에 가서 캐릭터 연기를 볼 때 캐릭터의 얼굴을 보고 있기 때문에 큰 도전이었습니다. 당신은 그들의 눈을 보고 있습니다. 그리고 그것이 바로 우리가 이 미용 작업을 하려고 했던 곳입니다.

Emerson은 12년 전 Laika에 합류하여 코랄린 , 그리고 그 영화와 그 이후로 그의 팀은 RotoPainting의 매우 수동 프로세스에 의존했습니다.



[사진=라이카 제공]

Photoshop과 마찬가지로 RotoPainting은 꼭두각시 장치나 이음매 선과 같이 장면에서 원하지 않는 항목을 분리하고 제거하는 작업을 포함합니다. 효과적이기는 하지만 엄청나게 시간이 많이 걸립니다.

라이카의 프로덕션 기술 디렉터인 제프 스트링거는 '우리는 애니메이터들이 무대에서 자연스러운 퍼포먼스를 연출할 수 있는 여지를 최대한 많이 주고 싶다'고 말했다. 즉, 많은 장비를 사용해야 합니다. 얼굴의 3D 프린팅은 기계 얼굴로는 할 수 없는 자연스러운 성능을 제공하는 것이었습니다. 따라서 영화 제작에서 이러한 혁신이 거의 모두 발생하면 Roto 팀에 비용이 발생합니다.



링크 누락 예를 들어, 영화에는 136,800개의 프레임이 있었습니다. 수동 RotoPainting을 사용하면 약 50개의 프레임을 정리하는 데 하루가 걸립니다.

프레임의 일부를 추적하고 무언가를 칠할 수 있는 훌륭한 도구가 많이 있지만 여전히 프레임 단위라고 Stringer는 말합니다. 그래서 그것은 단지 가속을 구걸했던 것 중 하나입니다.

라이카와 인텔의 AI 프로토타입을 사용하여 이를 50%까지 낮출 수 있었습니다.

초기 테스트는 링크 누락 Lionel(Hugh Jackman)의 캐릭터로 꽤 확고한 성공률을 보였습니다. 솔기선을 제거하기 위해 처리한 50개의 샷 중 35개가 사용 가능하거나 약간의 수정만 필요한 샷으로 돌아왔습니다. AI 도구 세트는 영화의 최종 버전에서 사용되지 않았지만, Stringer는 스튜디오의 다음 영화에 이를 활용하기 위해 머신 러닝을 위한 강력한 데이터 세트를 구축하기 위해 다양한 캐릭터에 대해 계속 테스트하고 있다고 말합니다.

또한 RotoPainting에서 AI의 광범위한 사용 사례를 탐색하여 솔기선(예: 꼭두각시 장치) 이상을 제거합니다.

이것이 궁극적으로 성공하면 모든 캐릭터의 초기 데이터 세트로 작업하고 해당 교육 모델을 구축하는 데이터 과학자 직원이 있을 것이라고 Stringer는 말합니다.

혁신적이고 시간을 절약할 수 있지만 스톱 모션 영화에서 AI를 사용하면 예술 형식의 순수주의자들이 당황할 수 있습니다. 라이카는 기술을 사용하는 것이 낯설지 않지만 AI의 발전으로 인해 스톱모션의 특정 예술성에서 더 멀어지고 있습니까?

에머슨의 경우 스토리에 가장 적합한 것이 무엇인지에 달려 있습니다.

[사진=라이카 제공]

예를 들어 연기가 많이 나는 폭발을 보여 드리겠습니다. 한 번에 한 프레임씩 연기에 애니메이션을 적용하려면 나가서 솜뭉치 같은 재료를 가져와야 합니다. 당신이 영화를 보는 관객이라면 폭발이 일어나고 솜뭉치 뭉치가 있으면 정말 멋져 보일 것입니다. 그리고 재미있습니다. 저를 믿으세요. 저는 그런 종류의 영화 제작을 좋아합니다. 그러나 그것이 당신을 그것에서 데려갈 찰나의 순간이 있을 것입니다. 그리고 당신은 그것이 연기가 아니라 솜뭉치라는 것을 알게 될 것입니다.

에머슨은 애니메이터가 가능한 한 장비와 세트로 카메라 안에서 많은 일을 하려고 한다고 강조합니다. 그러나 그들은 AI를 포함하여 필요한 경우 디지털 솔루션을 추구하는 것을 두려워하지 않습니다. RotoPainting의 속도를 높이기 위해 프로토타입과 같은 것을 사용하는 궁극적인 목표는 제작의 세부 사항에 시간을 덜 소비하고 스토리를 가장 잘 표현할 수 있는 방법을 찾는 데 더 많은 시간을 할애하는 것입니다.

시각 효과에서 우리가 하는 작업에는 두 가지 유형이 있습니다. 객관적인 작업과 주관적인 작업이 있습니다. 목표 작업은 프레임에 사라져야 하는 일종의 미친 장비가 있다는 것입니다. 제거해야 할 꼭두각시 얼굴을 가로지르는 선이 있다고 에머슨은 말합니다. 주관적인 측면은 프레임이 아름답습니까? 흥미 진진한가요? 내가 전에 본 것과는 다른가요? 그래서 우리가 여기서 쫓고 있는 많은 것은 객관적인 것들을 지나칠 수 있는 능력입니다. 우리가 AI와 머신 러닝을 활용하여 우리를 도울 수 있기를 바랍니다. 그런 다음 주관적인 것에 더 집중하고 이 이미지를 스톱모션 영화로 이전에 본 어떤 것과도 다르게 보이게 만들 수 있습니다.