mobile background

Customer Support


고객지원

Customer Support


고객지원

FoundrySmartROTO | 아티스트를 돕는 머신러닝을 이용한 로토스코핑

2021-09-30
조회수 1795


기술이 발전함에 따라 머신 러닝(ML)은 시각 효과, 애니메이션, 콘텐츠 제작 등 산업 전반에 걸쳐 계속해서 파장을 일으키고 있습니다.


ML이 아티스트를 가속화하는 것이라는 Foundry의 확고한 믿음이며, 번거로운 작업을 제거하여 이전에는 할 수 없었던 결과를 달성하고 최종 크리에이티브에 더 빨리 도달할 수 있도록 지원합니다. 이러한 관점에서 ML은 아티스트와 알고리즘이 경합하기 보다는 조화를 이룰 때 가장 잘 작동합니다.


그렇기 때문에 2019년에 우리는 선도적인 글로벌 시각 효과 회사인 DNEG 및 University of Bath (UoB)와 함께 SmartROTO 프로젝트에 착수했습니다.

이 프로젝트는 아티스트 지원 머신 러닝을 통해 전통적으로 힘들고 시간이 많이 소요되는 로토스코핑 프로세스의 속도를 높이는 것을 목표로 했습니다.


큰 컨셉은 아티스트가 로토 쉐입 세트와 소량의 키프레임 세트를 만들고 SmartROTO를 사용-특히 그 뒤에 있는 ML 기술이 시퀀스 전체에 걸쳐 중간 키프레임을 설정하는 프로세스를 가속-하는 것 이었습니다.

 

특히 현대 기계 학습이 기계 중심 접근 방식에서 데이터 중심 접근 방식으로 옮겨감에 따라 이 프로젝트에는 문제가 없었습니다. 따라서 툴의 성공과 성능은 거의 전적으로 도구의 품질, 다양성 및 규모에 달려 있습니다. VFX 파이프라인에 ML 도구 배포, 데이터 공유 및 아티스트 참여는 궁극적으로 해결하기 위해 프로젝트가 탐색한 몇 가지 문제에 불과했습니다.

 

2년 후, SmartROTO가 마무리되면서 우리는 무엇을 배웠고, 이러한 과제가 프로젝트를 떠나게 되었으며, ML 및 로토스코핑의 미래를 위해 무엇이 준비되어 있을까요? 우리는 Foundry의 리서치 엔지니어링 매니저인 Ben Kent와 DNEG 및 Bath 대학교의 핵심 구성원들과 이야기를 나누어 보았습니다.



Lessons learned


2019년 출시 이후 프로젝트에 참여해 온 Ben은 Foundry의 A.I.R(AI Research) 팀의 핵심 구성원이며 지난 24개월 동안 SmartROTO의 진행 상황과 발전에 대한 통찰력을 제공할 수 있는 완벽한 위치에 있습니다.

 

“훌륭한 학습 경험이었습니다.”라고 Ben은 말합니다. “가장 큰 깨달음은 로토스코핑은 매우 어려운 작업이고 사람들이 관련될 것이라는 점입니다, 정말 가까운 미래에 말이죠. SmartROTO와 같은 프로젝트를 시작하기 전에 로토스코핑 프로세스에서 고려해야 할 많은 고려 사항이 있었습니다.”

 

“예를 들어, 아티스트는 해당 이미지의 특징과 가장자리를 따라 모양의 모든 꼭짓점과 가장자리를 배치할 필요는 없습니다. 그들은 모양의 중간을 다른 곳에 배치하기로 결정할 수 있으며, 결과적으로 추적하기 더 어려워지는 다양한 엣지 케이스가 생깁니다. 이는 모션 블러가 적용된 물체를 로토스코핑하거나 라이프타임 중 동안 모양이 가려지는 것과 같은 경우입니다.”

 

“궁극적으로, 아티스트들에게 필요한 것을 제공하고 싶다면, 그들이 작업하는 방식에 대해 고민해야 한다는 것을 알게 되었습니다. 결과적으로 우리는 아티스트들이 실제로 어떻게 작업하는지에 대해 더 많이 배웠습니다.”


이것이 프로젝트 진행에 어떤 영향을 미쳤는지에 대해 Ben은 계속해서 말했습니다. 여전히 기계 학습 기반 추적 및 모양 일관성 모델입니다. 우리는 여전히 사용자가 초기 모양과 몇 가지 초기 키 프레임을 설정한다고 상상하고 있습니다. 그런 다음 SmartROTO를 사용하여 이 모델을 사용하여 보간되거나 추적된 키프레임보다 더 나은 키프레임 사이를 예측하여 중간에서 정교하게 다듬는 데 소비하는 시간을 줄이려고 합니다."

 

"아티스트의 시간을 25%라도 절약할 수 있다면 정말 가치가 있을 것이라고 생각합니다. 왜냐하면 로토스코핑은 시각 효과 분야에서 매우 흔한(ubiquitous) 작업이기 때문입니다."



The importance of teamwork


DNEG와 UoB는 모두 이 목표를 달성하고 SmartROTO의 전반적인 개발에서 중요한 역할을 했습니다.

 

대규모 전담 로토 팀이 있는 주요 VFX 스튜디오인 DNEG는 학습 알고리즘을 위한 실제 프로덕션 로토 아트웍의 방대한 데이터 세트를 제공할 수 있는 독보적인 위치에 있었습니다. 데이터 세트에는 1억 2,500만 개의 사용자 키프레임으로 구성된 650,000개 이상의 아티스트 애니메이션 모양이 포함되었습니다. 로토스코핑 자체가 예술적 과정이라는 점에서 스튜디오는 SmartROTO가 전문 로토스코프 아티스트에게 우수한 워크플로우와 더 나은 삶의 질을 제공할 수 있는 방법을 이해하기 위해 풍부한 경험과 통찰력을 제공했습니다.

 

DNEG에서는 R&D 수퍼바이저인 Ted Waine이 참여했습니다. "제품의 기능 세트와 UI/UX를 지정하는 데 주도적인 역할을 함으로써 프로젝트를 지시하고 액세스할 수 있도록 모든 중요한 데이터 세트와 API를 제공하는 데 도움이 되었습니다."라고 그는 말합니다.

 

SmartROTO와 같은 프로젝트가 업계에 어떤 영향을 미칠 수 있느냐는 질문에 Ted는 이렇게 답합니다. "더 빠르고 지능적인 로토 도구를 생산함으로써 우리는 승인된 로토 매트 납품에 대한 소요 시간을 단축할 수 있으며 이 과정을 아티스트 자신에게 더 즐겁고 덜 힘들게 만들 수 있습니다."라고 그는 말합니다. "이는 직접적인 비용 절감과 로토 작업에 의존하는 다운스트림 작업 전반에 걸쳐 결정적으로 긍정적인 영향으로 이어질 것입니다."

 

협업은 SmartROTO 프로젝트의 핵심 구성 요소로, 이를 통해 결실을 맺어 관련된 모든 사람에게 매력적이고 총체적인 연구 환경을 제공했습니다.

 

Ted는 "UoB와 Foundry의 연구원 및 엔지니어들과 함께 일하면서 영감을 얻었습니다."라고 말합니다.  "ML 기술의 핵심에 있는 이 문제 공간과 수학에 대한 이해도가 정말 인상적이며 작업 솔루션 개발에 대한 접근 방식을 지켜보는 것이 좋습니다."

 

UoB의 머신 러닝 및 비주얼 컴퓨팅 분야 리더인 Neill Campbell은 그의 요점에 대해 이렇게 말했습니다. “업계가 직면한 관련되고 도전적인 문제를 해결하고 이를 해결하기 위해 새롭고 흥미로운 기술을 도입하는 동시에 최종 사용자와 직접 협력하여 우리가 그들의 삶을 더 쉽게 만드는 결과를 제시할 수 있도록 합니다.”






UoB는 프로젝트의 두 가지 주요 영역에 집중했습니다. 첫 번째는 최신 기계 학습 모델을 활용하고 기존 워크플로우 및 파이프라인에 적용하는 방법을 포함하여 시스템의 기술 설계에 기여하는 것이었습니다.

 

두 번째 초점 영역은 원본 이미지에 대한 개인 정보 및/또는 IP(Intellectual Property: 지적 재산권) 제약을 보호하면서 데이터 세트에 대해 학습할 수 있는 기계 학습 시스템을 개발하는 방법을 조사하기 위한 정렬된 연구였습니다.

 

"예를 들어, 우리는 원시 훈련 이미지를 손상시키지 않고 특정 작업(예: 분할 또는 개체 추적)을 개선하기 위해 이미지 데이터베이스를 훈련하려고 할 때, 샷에 사용된 이미지는 공유할 수 없으며 IP 계약에 따라 보호됩니다.”이라고 Neill은 설명합니다. "이 연구의 일환으로 우리는 어느 회사의 IP 제한을 손상시키지 않고 기계 학습 결과를 외부적으로(예: 회사 간에) 공유할 수 있도록 하는 표준 교육 절차의 수정에 대한 몇 가지 제안을 제시했습니다."




The question of data


IP 및 데이터 공유 공간에서 UoB의 작업은 SmartROTO와 같은 프로젝트의 성공에 매우 중요합니다. 로토스코핑과 같은 프로세스에서 기계 학습 기능을 활성화하려면 결과의 품질이 시스템이 훈련되는 데이터의 양, 다양성 및 품질에 따라 달라지기 때문에 스튜디오에서 거대한 데이터 세트에 즉시 액세스할 수 있어야 합니다. 이 문제를 해결하는 것이 SmartROTO의 핵심 기둥을 형성했습니다.

 

Foundry의 Ben Kent는 "프로젝트의 한 부분은 데이터를 익명화하는 것이었습니다. 따라서 스튜디오는 잠재적으로 중앙 서버에서 데이터를 공유할 수 있습니다. 로컬에서 훈련하고 중앙 집중식으로 가중치를 업데이트할 수 있습니다."라고 설명합니다. “전송을 완전히 익명화하는 것은 매우 어렵지만, 잠재적인 결과 중 하나는 스튜디오에 SmartROTO를 수행하기 위한 엔지니어링과 함께 자체 뉴럴 네트워크를 교육할 수 있는 도구가 제공되는 미래일 수 있습니다. 마치 빈 블랙박스를 자신의 데이터로 채우는 것과 같습니다. 궁극적으로 모든 사람에게 적합한 솔루션을 찾는 것입니다.”

 

Neill Campbell은 이 솔루션에 도달하는 것이 시간 문제일 뿐이며 UoB가 수행한 작업에 의해 강화된 믿음이 되기를 희망합니다. “흥미로운 점은 AI가 작업을 수행하도록 훈련하는 데 사용되는 특정 예제 이미지를 숨기는 것과 관련하여 약간 다른 설정이 있다는 것입니다. 작업을 수행하는 방법에는 여러 가지가 있기 때문에 우리의 목표는 우리가 예시로 보여준 것만 잘 수행하는 접근 방식이 아니라 다양한 이미지에서 잘 수행되는 접근 방식 중 하나를 선택하는 것입니다.”

 


"이를 달성하면 성능을 저하시키지 않으면서 정확한 훈련 이미지를 숨기려는 두 가지 목표(훈련 프로세스를 통해 거꾸로 작업할 수 없음)를 실제로 충족하게 됩니다."라고 그는 설명합니다. “프라이버시에 대한 이 이론 작업은 빙산의 일각에 불과하며 수학 과학의 동료들과 협력하여 계속 작업하기 위해 연구 보조금을 신청하는 많은 길을 열었습니다. 새로운 결과가 나오면 이를 산업 파트너와 함께 사용할 수 있는 실용적인 구현으로 변환할 수 있기를 기대합니다.”

 

IP 및 데이터 공유 문제와 함께 ML 프레임워크를 VFX 파이프라인에 배포하면 일반적으로 고유한 문제가 발생합니다. 전통적으로 배포되는 ML 네트워크의 소프트웨어 릴리스 주기, GPU 비용 및 상호 작용 부족으로 인해 파이프라인에 통합하기가 까다로워졌습니다.

 

그러나 Ben이 자랑스럽게 언급한 것처럼 SmartROTO와 관련하여 약간의 진전이 있었습니다. 그 결과 기계 학습 프레임워크인 PyTorch로 전환하여 VFX 파이프라인에서 ML을 배포하는 것이 더 간단해지고 Foundry 도구에서 실질적인 ML 기능의 개발로 이어졌습니다.

 

아직 SmartROTO와 통합되지 않았지만 PyTorch는 Nuke 13.0과 함께 제공되는 ML 도구 세트를 뒷받침하며 CopyCat 및 Inference 노드와 같은 몇 가지 시간 절약 도구로 구성됩니다. 두 가지 모두 아티스트가 기계 학습의 힘을 활용하여 고품질 시퀀스별 효과를 만들고 적용할 수 있도록 합니다. 단계별 가이드에서 CopyCat이 포스트 프로덕션 워크플로를 가속화할 수 있는 방법에 대해 자세히 알아보십시오.



Looking ahead to a smarter future


SmartROTO 프로젝트는 어떻게 마무리될까요?

 

Ben은 "현재 또는 미래에 계속할 가치가 있는지 확인하기 위해 결과를 살펴봐야 합니다."라고 말합니다. 그러나 결과가 압도적으로 긍정적이더라도 SmartROTO의 제품화는 아직 멀었다고 그는 말합니다. 로토스코핑 프로세스와 로토스코핑 자체를 자동화하는 것은 매우 어렵고 아직 그 단계에 이르지 못했습니다. 그러나 우리는 그것이 예술가들에게 얼마나 중요한지, 그리고 그것이 가지고 있는 시간을 절약할 수 있는 가능성을 알고 있기 때문에 우리가 미래에 그것을 해결할 수 있기를 바랍니다. 로토스코핑은 VFX에서 매우 보편적입니다. "



“우리가 배운 주된 교훈은 로토스코핑이 매우 어렵다는 것입니다. 기계가 곧 아티스트를 대체하지는 않을 것입니다. SmartROTO와 호환되는 기능이 있지만 현재 아티스트가 의지할 만큼 강력하지 않으며 아티스트 경험이 가장 중요합니다."

 

SmartROTO의 수석 엔지니어이자 프로젝트 책임자인 Guillaume Gales는 Ben의 요점을 되풀이합니다. “솔루션이 VFX 커뮤니티에 진정한 영향을 미칠 수 있는 어려운 문제입니다. 이를 통해 예술가들은 창의성에 더 많은 시간을 할애하고 지루한 작업에 더 적은 시간을 할애할 수 있습니다. 이것은 이 프로젝트를 작업하기에 매우 흥미롭게 만듭니다.”

 

"SmartROTO는 확실히 기존의 접근 방식으로 해결하기 어려운 경우 유용한 도구가 될 것입니다."라고 그는 계속해서 말했습니다. "GPU가 계속 더 강력해짐에 따라 SmartROTO가 Nuke 또는 Noodle과 같은 로토스코핑 애플리케이션과 원활하게 통합되는 지점에 도달할 것입니다."



Foundry, UoB 및 DNEG가 결합하여 SmartROTO를 한 단계 더 발전시키기 위해 계속 협력하게 된 것을 기쁘게 생각합니다. UoB는 "우리 연구 센터인 CAMERA를 통해 Foundry 및 DNEG와 함께 후속 머신 러닝 프로젝트를 계속 진행할 것이며 기존 파이프라인의 미래 워크플로우뿐만 아니라 가상 프로덕션과 같은 새로운 영역에도 새로운 연구를 통합할 수 있기를 기대하고 있습니다."라고 Neill Campbell 이 덧붙였습니다.

 

DNEG의 테드 웨인(Ted Waine)도 미래를 내다봤다. “ML 알고리즘 개발에 전문성도 있는 DNEG의 연구팀은 계속해서 설계를 수정하고 반복할 수 있을 것입니다. 이를 위해 다른 파트너들과 지속적으로 상호 작용하고 개발을 계속하기를 바랍니다.”

 

SmartROTO의 비하인드 스토리는 복잡한 알고리즘을 사용하여 아티스트에게 친숙한 방식으로 어려운 기술 문제를 해결할 수 있도록 하여 아티스트가 ML에 액세스할 수 있도록 하는 Foundry의 지속적인 노력의 일부입니다.

 

위에서 언급했듯이 ML을 Nuke 13에 통합하여 아티스트에게 완전한 창의적 및 기술적 제어 권한을 부여하고 최종 픽셀 완벽한 이미지에 도달하는 프로세스를 가속화하여 아티스트에게 계속 권한을 부여했습니다.

 

Foundry의 연구팀이 SmartROTO를 현실로 만들기 위해 열심히 노력하는 동안 오늘 Nuke와 함께 CopyCat에 빠져 ML 가속화 워크플로의 잠재력을 직접 경험하십시오.





Nuke의 30 일 무료 평가판 을 사용해 보세요.

본 게시글은 https://www.foundry.com/insights/machine-learning/smartroto-enabling-rotoscoping 을 번역한 글입니다.



Tel. 02-561-1770 | Fax. 02-561-1787 | qvrex@qvrex.co.kr

서울특별시 강남구 논현로 134길 8 3층

대표이사 김민용 | 사업자등록번호 120-87-07477 


이용약관   개인정보처리방침

Copyright ⓒ 2021 QVREX All rights reserved.



Contact us

제품/견적 문의

궁금하신 내용을 편하게 문의주세요.

빠르고 친절하게 답변하겠습니다.




Company profile

회사소개서

큐브렉스에 대한 
더 자세한 내용을 소개합니다.



Location

오시는 길

큐브렉스에 찾아 오시는 길을

안내해드립니다.

 



Tel. 02-561-1770 | Fax. 02-561-1787 | qvrex@qvrex.co.kr
서울시 성동구 연무장5가길 7 w904호ㅣ 대표이사  김민용 ㅣ 사업자등록번호 120-87-07477

이용약관   개인정보처리방침 ㅣ Copyright 2020 ⓒ QVREX All RIGHTS RESERVED