[iOS] USDZ / AR Quick Look / Reality Composer / Reality Converter / Object Capture 살펴보기

# USDZ 

 

USDZ는 애플과 픽사가 같이 만든 AR content를 표시하는 3D file format입니다. 

이 글에서는 USDZ가 3D계의 PNG 같은 것이라고 하며 storage와 sharing을 최적화했다고 합니다. 

 

그리고 USDZ는 안드로이드와 iOS에서 AR Preview를 볼 수 있는 WebAR Viewer의 일부라고 합니다. 

(iOS에서는 WebAR Viewer가 AR Quick Look을 말하는 것 같아요!)

 

- 픽사: Usdz File Format Specification

- 애플: USDZ Schemas for AR

 

 

# AR Quick Look 

 

AR Quick Look  은 USDZ 파일을 display 해주는 것을 말합니다. 

 

Safari, 메시지, Mail, News, 메모 등의 애플 내장 앱(Built-in apps)에서 Quick Look을 사용할 수 있으며

너의 앱에 Quick Look View를 embed할 수 도 있습니다. 

(iOS 12부터 가능)

 

사용자는 AR Quick Look으로 오디오 재생이 되고 있는 실제 공간(real-world)에서 놀랍도록 세밀한 물체(object) 렌더링을 볼 수 있습니다!

 

 

AR Quick Look 사이트에서 USDZ 샘플 파일을 제공하고 있는데요, 

하나를 다운받아서 맥에서 열어보면 이렇게 나오고 

 

 

 

아이폰의 파일 앱에서 열어보면

증강현실 / 오브젝트 이렇게 두가지 탭을 지원해주고

이리저리 돌려볼 수 도 있고 확대축소도 가능합니다.

 

 

 

 

그리고 Sketchfab이라고 3D Model 구매 사이트에서는

QR 코드를 제공해주는데요

 

 

QR로 사파리를 열면 AR Quick Look으로

3D Model이 어떻게 표시되는 지를 보고 구매할 수 있게 해놨더라구요...👍 굿굿

 

 

 

# Reality Composer 

 

Reality Composer는 AR 경험을 프로토타이핑 해볼 수 있는 앱스토어 앱입니다.

 

 

 

그리고 맥에서는 XCode > Open Developer Tool > Reality Composer 로 맥앱을 실행시킬 수 있어요!

 

 

 

 

여기 보면 USDZ로 export도 가능하다고 나와있는데,

.reality 포맷으로 프로젝트 전체를 export하는 것 밖에 안보이네요ㅠㅠ,,

 

 

 참고로 reality file도 AR Quick Look으로 볼 수 있다고 하네요.

 

https://developer.apple.com/videos/play/wwdc2019/603/

 

 

# Reality Converter

 

USDZ 3D objects를 커스터마이징할 수 있는 맥앱입니다.

아직 베타 버전이여서 이 링크로 다운받을 수 있습니다.

 

https://developer.apple.com/services-account/download?path=/Applications/Reality_Converter/Reality_Converter_Beta.dmg 

로그인 - Apple

 

예를들어 아까 애플에서 다운받은 USDZ 파일을 여기 넣고

원하는 커스터마이징을 할 수 있습니다. (색깔 바꾸기)

 

 

 

 

그리고 다른 3D file formats (.obj, .gltf, .usd)를 USDZ로 컨버팅할 수도 있습니다.

예를 들어 여기 obj 파일을 넣고 export하면

 

 

usdz 파일로 만들어줍니다! 

 

 

 

# Object Capture

 

이번 WWDC 2021에서 발표되었습니다 🤍

 

https://developer.apple.com/videos/play/wwdc2021/10078/

AR Quick Look, meet Object Capture - WWDC 2021 - Videos - Apple Developer

https://developer.apple.com/videos/play/wwdc2021/10076/

Create 3D models with Object Capture - WWDC 2021 - Videos - Apple Developer

 

다각도에서 찍은 사진으로 3D Object를 만들어주는 것인데

코드도 엄청 간단하고 바로 만들어볼 수 있는 커맨드라인 앱도 제공합니다,, (감동)

 

예전에는 3D Content를 만들고 싶으면 3D Modeling 소프트웨어를 사용해야했습니다.

그것은 비싸고 모든 사람이 접근하기도 어려웠습니다.

 

 

하지만 RealityKit에 있는 Object Capture API를 통해 이제 이미지 셋으로 USDZ 파일을 만들 수 있습니다.

 

 

그리고 원한다면 Reality Composer를 통해 만들어진 모델에 interactive custom behavior를 추가하는 등의 작업도 할 수 있겠습니다. 

 

 

이 API는 MacOS 12에서 사용가능한데,

MacOS 12 베타로 올린 저의 개인 맥북은 8GB RAM이여서 돌릴 수가 없더라구요,,

따흑,,