[애플 AI칩] 6. 애플의 3D GUI의 OS/App/Safari

애플(Apple) AI칩 개발동향과 3년 내 출시할 제품/서비스 예측

[요약] 구글(Google)이 알파고(AlphaGo)라는 인공지능(AI) 컴퓨터 프로그램 덕분에 AI 기술의 선두주자로 알려져 있지만, 구글의 단점은 클라우드 베이스의 AI이다(이를 Edge->Cloud AI라 함). 반면 애플(Apple)은 온디바이스(on-device)의 AI 제품을 개발하고 실제 제품에 적용하고 있다는 점에서 구글을 능가하고 있다. 왜냐하면 이제 블록체인 개념의 Cloud->Edge가 도래하고 있기 때문이다.

2017년에 애플이 자체 개발하고 디자인한 ‘Neural Engine + 최초로 애플이 디자인한 GPU(그 전까지는 Imagination Technologies가 디자인) + M11 + Face ID + Touch ID를 지원하는 네 개의 에너지효율 요소’를 통합한 A11 Bionic Chip을 iPhone X에 탑재해 런칭했다. (1) 많은 기업들이 AI칩에 도전하고 있지만 이는 업계 최초로 애플이 AI칩 분야의 선두주자임을 증명한 것이다. (2) 그 결과 애플은 어느 날인가 퀄컴(Qualcomm)과 인텔(Intel)과 삼성(Samsung)을 위협할 수도 있을 것이다.

애플은 HAS(Hardware + AI + Software)라는 개념의 독자적으로 디자인하고 통합된 하드웨어와 독자적인 뉴럴엔진의 A11 Bionic Chip과 독자적인 OS 플랫폼을 구축한 유일한 기업이다. 따라서 현재 TrueDepth 카메라와 Dot Projector 기반으로 서비스하고 있는 Face ID와 Animoji를 뛰어넘어 향후 Cloud<->Edge를 선도할 수 있을 것으로 전망된다. 

애플과 애플이 인수한 프라임센스의 특허를 분석한 결과, 앞으로 3년 이내 애플은 뉴럴엔진·AI Chip 베이스의 트루뎁스 카메라 기술과 도트 프로젝트 기술을 활용해 (1) 3D Animoji를 2018년에 나만의 Memoji로 업데이트하고 최종 3D 아바타/모델로 업그레이드하여 출시할 것으로 예측되고, (2) 다양한 콘텐츠와 서비스(Mac, TV, 전기차(EV)/자율차(AV) 등) 중심의 3D UI/UX의 AR/VR로 확대 출시 될 것으로 예측되며, (3) Mac OS/iOS가 3D GUI의 OS/App/Safari로 업그레이드 될 것으로 예측된다.

[글 싣는 순서]
1. 뉴럴엔진의 인공지능 칩(A11 Bionic Chip)
  1-1. 배경(Background) – Edge<->Cloud를 위한 AI Chip 개발이 필요
 1-2. 애플(Apple)의 뉴럴엔진/네트워크와 A11 Bionic Chip
   1-2-1. 애플과 애플이 인수한 프라임센스의 특허분석 
    1-2-1-1. Face ID와 뉴럴 네트워크
   1-2-1-2. 트루뎁스(TrueDepth) 적외선 카메라
   1-2-1-3. 3차원 맵을 위한 도트 프로젝터(Dot Projector)
   1-2-2. 2017년 9월 WWDC에서 공개된 A11 Bionic Neural Engine 
    1-2-3. 유럽특허청에 등록한 상표 – 뉴럴엔진(Neural Engine)
    1-2-4. 애플의 아이폰 8/8 플러스/X에 탑재된 A11 Bionic Chip
    1-2-5. A11 Bionic Chip이 탄생하기 전까지의 여정
 1-3. 인사이트 종합 

2. 특허분석으로 예측하는 3년 내 애플이 출시할 제품과 서비스
 2-1. 애플의 3D 아바타/모델
 2-2. 애플의 3D UI/UX의 AR/VR
   2-2-1. 3D UI/UX의 AR/VR for Mac/TV
   2-2-2. 3D UI/UX의 AR/VR for Car/EV/AV

 2-3. 애플의 3D GUI의 OS/App/Safari
   2-3-1. 3D GUI의 OS/App

   2-3-2. 3D GUI의 브라우저(Safari)  


2-3. 애플의 3D GUI의 OS/App/Safari
앞에서 살펴본 애플의 3D Avatar/Model과 3D UI/UX의 AR/VR이 3년 내에 출시되려면 기본적인 OS가 3D OS가 되어야 한다는 가설 아래 애플의 관련 특허를 분석한 결과 애플은 분명 3년 내에 기존의 2D의 Mac OS/iOS를 3D GUI의 OS/App/Safari로 업그레이드 될 것으로 예측된다. 이미 iPhone 5S부터 3D 같은(2.5D) 사파리가 탑재되어 있다. 

2-3-1. 3D GUI의 OS/App
애플의 3D OS/App의 기술 개발은 2007년으로 거슬러 올라간다. 특허분석 결과 5개의 특허로 구성되는 것 같다.

(1) 2007년 6월 8일에 '다차원 데스크탑(Multi-dimensional desktop)'이란 특허를 출원하고(11/760,595), 2008년 12월 11일에 출원서가 공개되고(20080307360), 2014년 6월 3일에 특허를 획득했다(8,745,535). 이는 Mac용으로 여러 가지 형태의 GUI베이스 다차원 데스크 탑 환경을 구축하는 것을 기술한 것이다. 화면도 Back Surface(매인화면), 전체 이미지가 디스플레이 되는 Viewing Surface, 상하좌우 측면을 화면으로 이용하는 Side Surfaces가 등장하고, 이곳 화면에 디스플레이 되는 이미지, 폴더, 앱, 영화, 서류 등을 아이콘으로 이미지화하여 GUI를 이용해 다양한 3차원 환경을 구축하는 예를 기술하고 있는, 25개의 청구항들과 그림만 31장의 총 54페이지에 달하는 특허이다. 

(2) 2007년 6월 8일에 '멀티-차원 앱 환경(Multi-dimensional application environment)'이란 특허를 출원하고(11/760,706), 2008년 12월 11일에 출원서가 공개되고(20080307351), 2013년 2월 19일에 특허를 획득했다(8,381,122). 이는 특별히 하나 이상의 앱을 (1)번의 ‘다차원 데스크 탑’ 환경에 띄워 실행하고 제어하는 기술로 그림은 (1)번의 ‘다차원 데스크 탑’의 31장과 똑같으며 16개의 청구항들로 구성된 총 53페이지에 달하는 특허이다.

(3) 2007년 6월 8일에 '시각화 및 상호작용 모델(Visualization and interaction models)'이란 특허를 출원하고(1/760,675), 2008년 12월 11일에 출원서가 공개되고(20080307334), 2013년 6월 25일에 특허를 획득했다(8,473,859). 그림이 31장인데 (1)번의 ‘다차원 데스크 탑’의 그림 31장과 똑같으며 18개의 청구항들을 포함 총 55페이지에 달하는 특허로 특히 시각화 모델(Visualization model) 혹은 GUI에 의한 상호작용 모델(Interaction model)에 의한 시각화 표현(Visual presentation)을 다루고 있다. 예를 들어 사용자가 첫 번째 모델인 3차원 아이콘인 이미지 스택(Stacks)을 GUI(응시 포함)로 선택하면 스택 요소들이 순서대로 나타나 오버래핑되면서 위로 올라가는 두 번째 모델로 전환되고, 만약 사용자가 커서를 중지하거나 응시를 중지하면 선택취소(Deselection)로 간주되어 스택들은 붕괴되어 제자리(첫 번째 모델)로 돌아가게 되는 것이다. 

(4) 2007년 6월 8일에 '다차원 사용자 인터페이스 환경에서의 빛과 반사 그림자 (Reflections in a multidimensional user interface environment)'란 특허를 출원하고(11/760,703), 2008년 12월 11일에 출원서가 공개되고(20080307366), 2013년 4월 30일에 특허를 획득했다(8,432,396). 이는 3차원 시각화 객체들(Visualization objects)인 아이콘들 아래에는 빛과 그림자 효과(lighting and shadowing effect)를 주어 깊이를 강조하기 위해 상응하는 그림자 혹은 반사 그림자가 반사 영역 혹은 표면(Reflection surface)에 나타나는데, 그 나타내는 방법을 기술한 특허로 25개의 청구항들과 5개의 그림을 포함한 총 14페이지의 특허이다. 앞의 매인 특허인 ‘다차원 데스크 탑’에서 주용 내용을 다 살펴봄으로 차별화 그림만 들어 소개하기로 한다.

(5) 2007년 6월 8일에 3D UI(UX)를 위한 '3D OS와 장면/객체 전환 엔진과 전환 효과(Object transitions)'란 특허를 출원하고(11/760,561), 2008년 12월 11일에 출원서가 공개되고(20080307365), 2012년 2월 28일에 특허를 획득했다(8,127,239). 3D GUI의 기본 버전인 Foundational 3D GUI를 기술하고 있는데, 가장 중요한 것이 3D OS이고 그 다음 장면이나 객체를 전환하는 엔진인 프리젠테이션 엔진들과 앱 엔진들이다. 따라서 3년 내에 모든 Mac OS와 iOS에 적용될 것으로 보인다. 

‘다차원 데스크탑(Multi-dimensional desktop)'(8,745,535)과 '멀티-차원 앱 환경(Multi-dimensional application environment)'(8,381,122)과 '시각화 및 상호작용 모델(Visualization and interaction models)'(8,473,859) – 본 3개의 특허들은 3D GUI의 OS/App 환경을 구성하는 핵심 기술들로 그림만 31장의 총 50페이지 내외로 기술되어 있다. 2.5G 혹은 3G란 x-y-z 축을 포함하는 것으로 x는 넓이(width), y는 높이(height), z는 깊이(depth)를 나타낸다. 일반적으로 x-y는 2차원이고 x-y-z는 3차원이다.

▲ 애플 특허의 Fig.2(8,381,122, 8,473,859, 8,745,535). Image: USPTO

Fig.2는 UI의 아키텍쳐 200을 설명하는 그림이다. 202는 사용자가 204의 시스템 객체들에 접속하여 정보를 제공하는 UI 엔진이고, 210은 다차원 데스크 탑, 12는 다차원 앱 환경들, 220은 시각화 객체(아이콘), 222는 시각화 객체 용기(그릇, 아이콘 저장소), 224는 겹겹이 쌓인 스택 아이템들이다.

▲ 애플 특허의 Fig.3(8,381,122, 8,473,859, 8,745,535). Image: USPTO

Fig.3은 시각화 객체 용기(그릇, 아이콘 저장소) 300을 설명하는 그림으로 한마디로 말하면 아이콘 저장소이다. 아이콘들은 x-y 혹은 y-z 혹은 x-y-z의 면을 갖고 있다. 이 시각화 객체 용기는 Mac OS의 Dock으로 사용할 수 있다. 아이콘들인 304(폴더), 306(이맬), 308(파일), 310(컵, 음료 레시피)이 같이 있을 수 있다. 이들 4개의 아이콘들 아래에는 빛과 그림자 효과(lighting and shadowing effect)를 주어 깊이를 강조하기 위해 상응하는 그림자들인 305, 307, 309, 311, 그리고 반사 그림자인 312, 314, 316, 318로 나타낼 수 있다. 

319는 전면 표면(Front surface)으로 높이를 반영하고, 320은 V-자 홈인데(Notch) 이를 중심으로 사용자는 왼쪽에 파일이나 폴더를, 오른쪽에 앱을 정리하여 배치할 수 있다. 330과 332는 숫자나 인덱스나 상태를 표시하는 발광의 표시(기, indicator)로 330은 파일이나 업데이트가 다운되고 완료되고 있음을 Yellow로 표시하고, 332는 특정 앱이 실행되고 있다는 것을 Green으로 표시할 수 있다. 

▲ 애플 특허의 Fig.4(8,381,122, 8,473,859, 8,745,535). Image: USPTO

Fig.4는 아이템들이 멀티로 겹겹이 혹은 차곡차곡 쌓인 스택 아이템 400을 설명하는 그림이다. 예를 들어 402, 404, 406, 408의 아이템 요소들은 파일이나 폴더나 앱으로, 사용자는 선택하여 Access할 수 있다. 410은 Stack Item Identifier로 이미지나 Documents로 표시할 수 있고 412, 414, 416, 418은 Thumbnail preview이다. 

▲ 애플 특허의 Fig.7(8,381,122, 8,473,859, 8,745,535). Image: USPTO

FIG.7은 다차원 데스크탑 환경(Multidimensional desktop environment)을 구성(700)하는 예를 설명하는 그림이다. 내 앞에 컴퓨터가 있다고 가정하고, z-축을 따라 형성되는 뒤 화면(Back Surface, 702, 매인화면이라 생각하면 됨)과 전체를 나타내는 Viewing Surface(704)가 있다. 702는 701과 703의 메뉴를 포함하는 2차원 데스크탑 환경이며, 704는 전체 이미지가 디스플레이 되는 전면 패널(Front pane)이다. 측면 화면(Side Surface)인 706(하, 아래), 708(좌), 710(상, 위), 712(우)는 Back Surface로부터 연장(확장)되어 Viewing Surface와 연결된다. 

714는 시각화 객체 용기, 즉 아이콘 저장소로 720~742의 아이콘들이 있다. 716은 반사영역(reflection region)으로 706(하, 아래)의 Side Surface 위에 구성할 수 있는데 예를 들면 'floor'이다. 이 Floor에는 책상, 의자, 그림자 등이 있을 수 있는데, 예를 들어 Back Surface(702)의 아이템이나 그래픽컬 아이템을 반사하는 반사 그림자가 716의 반사영역에 생성되는데, 예를 들면 뒤에 있는 760과 762의 형태는 761과 763의 반사 그림자를 생성한다. 

707, 709, 711, 713은 Side Surfaces를 구분하는 교차로(intersection)이다. 이 교차로는 707a, 709a, 711a, 713a의 수평 교차와 707b, 709b, 711b, 713b의 수직 교차영역으로 나누어진다. 750은 이미지 Stacks, 752는 영화나 비디오 Stacks, 754는 서류 Stacks, 756은 파우어포인트 Stacks, 758은 Downloads Stacks이며, 751, 753, 755, 757, 759는 스택들의 반사 그림자들인데 716의 반사영역에 위치해 있다.

▲ 애플 특허의 Fig.8(8,381,122, 8,473,859, 8,745,535). Image: USPTO

FIG.8은 또 다른 다차원 데스크탑 환경 800을 설명하는 그림으로 714의 시각화 객체 용기, 즉 아이콘 저장소가 Z-축의 Back Surface로 이동된 경우로 742의 아이콘이 750의 이미지 스택 앞에 위치한 경우이다. 

▲ 애플 특허의 Fig.9(8,381,122, 8,473,859, 8,745,535). Image: USPTO

FIG.9는 GUI베이스의 다차원 데스크탑 환경 900을 설명하는 그림으로 사용자가 마우스 오버/클릭, 키보드 입력, 얼굴/동작인식, 응시 인터페이스를 통해 750의 이미지 스택을 선택하면, 시각화 모델(Visualization model)이 스택 요소들인 772, 774, 776, 778을 오버래핑 되게 정렬 시킨다. 다시 말해 750의 이미지 스택 모델(첫 번째 모델)에서 오버래핑 모델(두 번째 모델)로 전환시키는 것이다. 그리고 772-774-776-778 순으로 780의 방향으로 올라간다. 이 때 사용자는 하나의 아이템을 선정한다. 만약 사용자가 커서를 중지하거나 응시를 중지하면 선택취소(Deselection)로 간주되어 Stacks들은 붕괴되어 제자리(첫 번째 모델)로 돌아가게 된다. 

▲ 애플 특허의 Fig.10(8,381,122, 8,473,859, 8,745,535). Image: USPTO

Fig.10은 GUI베이스의 또 다른 다차원 데스크탑 환경 1000을 설명하는 그림으로 사용자가 750의 이미지 스택을 선택하는 경우 시각화 모델이 Single Icons의 매트릭스 형태로 디스플레이 되게 하는 것이다. 이 경우에는 Stack 아이템이 적은 경우인데, 예를 들어 5개 이하인 경우이다.

▲ 애플 특허의 Fig.11(8,381,122, 8,473,859, 8,745,535). Image: USPTO  
 

FIG.11에서 1102가 Back Surface, 1104는 Viewing Surface, 1106, 1108, 1110, 1112는 Side Surfaces인데, 특히 1106은 Floor이다. Side Surfaces는 Back Surface와 반사영역을 강조하기 위해 Color가 표시될 수 있다. 1114는 아이콘 저장소이고 1120-1122-1124는 앱, 1126-1128은 스택 아이템, 1130은 삭제 기능이 될 수도 있다. 스택 아이템들인 1140-1142-1144-1146이 Back Surface(1102)와 아이콘 저장소(1114) 사이에 위치 할 수 있다. 사용자가 1106의 Floor를 선택하면 1152와 1154의 화살표 방향으로 스택 아이템들을 검색할 수 있다. 1116은 반사영역이며, 1128의 Stack Items들은 1160, 1162, 1164처럼 Back Surface에 디스플레이 될 수도 있다. 1108의 Side Surface에 있는 1170은 Window Thumbnail이고 1172는 빛 효과의 그림자 혹은 반사 그림자이다.

▲ 애플 특허의 Fig.12(8,381,122, 8,473,859, 8,745,535). Image: USPTO

Fig.12는 사용자가 새로운 스택 아이템인 1210을 Floor(1106)에 삽입하는 경우 1206은 좌측으로 이동하고 1208은 우측으로 서서히 아웃되는 것(fade out)을 설명하는 그림이다. 그리고 사용자가 1124의 아이콘을 선택하고 실행했을 경우 Back Surface인 1102에 큰 화면(1224)으로 나타낼 수 있다. 

▲ 애플 특허의 Fig.13(8,381,122, 8,473,859, 8,745,535). Image: USPTO

FIG.13은 또 다른 GUI베이스의 다차원 데스크탑 환경을 설명하는 그림으로, 사용자가 Stack Item인 1304를 선택하고 1306과 1308의 스택 요소들을 선택하면 1302에 나타났던 메뉴 바가 사라지는 경우이다. 1304의 파일을 선택하면 1310의 화면에 띄워주고, 1330의 File을 클릭하면 1332에 Floating 메뉴가 나타난다. 1334는 그림자 효과이고 왼쪽의 1312는 기능별 Tool Bar이다. 

▲ 애플 특허의 Fig.15(8,381,122, 8,473,859, 8,745,535). Image: USPTO

Fig.15는 또 다른 GUI베이스의 다차원 데스크탑 환경으로 하나 이상의 Surface를 가로 질러 화면(window)을 드래그하거나 자동으로 사라지는 장면을 설명하는 그림이다. 스택 아이템 1128은 1503과 1505의 스택 요소들을 가지고 있는데, 각각 1502와 1504의 윈도우와 상응한다. 사용자가 1503을 선택하면 1504의 화면이 오른쪽으로 사라지고 동시에 사이드에 있던 1502의 화면이 Back Surface의 중앙으로 이동한다(혹은 드래그 할 수 있다). 또한 1510의 스택 아이템은 1512와 1514의 스택 요소들을 가지고 있는데 이들은 포털(portals)에 상응하여, 사용자가 1512를 선택하면 3차원 GUI가 2차원으로 바뀌고, 1514를 선택하면 또 다른 앱 환경을 제공한다. 3차원에서 1-2차원을 왔다 갔다 하면서 사용자는 작업을 할 수 있다.

▲ 애플 특허의 Fig.16A(8,381,122, 8,473,859, 8,745,535). Image: USPTO

Fig.16A는 또 다른 GUI베이스의 다차원 데스크탑 환경을 설명하는 그림이다. 앞서 설명한 뷰 화면(a viewing surface), 뒤에 보이는 화면(a back surface), 사이드 화면들(side surfaces)이 등장하는데, 이것을 이해하려면 시차(parallax)를 알아야 한다. 전체 뷰 화면은 크게 보이고, 뒤 화면은 멀리 떨어져 있어 상대적으로 작게 보이는데, 뒤 화면은 전체 화면과 측면 화면으로부터 4개 코너 방향으로 활처럼 휘어져 곡면처럼(arcuate or bow) 보이게 되는데, 다시 말해 Z-축(z-axis)을 따라 휘어져 있는 것이다. 

FIG.16A의 1602(arcuate back surface  or curved like a bow)가 뒤 화면으로 활처럼 휘어져 있고 따라서 Back surface의 매인 Window(가운데 직사각형 화면)를 제외하고 이미지나 텍스트가 활처럼 휘어져 나타난다. 도면상의 1604가 전체 뷰 화면이다. 그러므로 하나의 앱이 뒤 화면에서 실행되고 동시에 하나 또는 두 개 이상의 앱이 사이드 화면에서 실행될 수 있다. 1616은 1606의 Side surface, 즉 Floor에 있는 반사영역이고, 1606-1608-1610-1612가 Side surfaces이며 1607-1609-1611-1613이 활처럼 휜 영역들의 교차로이다. 1614는 활처럼 휜 아이콘 저장소이고, 1620~1626이 시각화 객체, 즉 아이콘들이다. 1630과 1632는 스택 아이템들이다.

▲ 애플 특허의 Fig.16B(8,381,122, 8,473,859, 8,745,535). Image: USPTO

Fig.16B는 1640의 Back surface와 706의 Floor surface에 의해 정의된 다차원 데스크탑 환경으로 좌-우측의 Side surfaces가 없는 경우의 환경을 구축한 경우이다. 

▲ 애플 특허의 Fig.16C(8,381,122, 8,473,859, 8,745,535). Image: USPTO

Fig.16C는 또 다른 다차원 데스크탑 환경으로 앞의 Fig.16B와 유사하지만 오로지 Back surface만으로 구성된 환경이다. 1652의 아이콘 저장소가 1650의 Back surface 화면 아래에 정렬된 경우이다. 그리고 폴더 아이콘인 1656과 앱 윈도우인 1658의 반사 그림자인 1654와 1656이 아이콘 저장소 표면에 있다. 1669는 작업의 상태(시작, 완료, 50% 다운 등) 표시이다. 사용자가 1670의 아이콘을 선택하면 시각화 모델에 의해 1676-1678-1680의 스택 요소들이 확대되어 1674의 프레임에 매트릭스 정렬로 디스플레이 되고, 다시 변경된 1670의 붕괴(collapse) 아이콘을 클릭 혹은 응시하면 1674의 프레임이 붕괴되어 원래 아이콘으로 돌아간다. 혹은 1682의 ‘Show in Finder’를 클릭하면 Fig.9에서 보았듯이 1676-1678-1680의 순으로 위로 나열되어 올라간다. 1658과 1659의 앱 윈도우를 선택하면 나타났다가 선택을 취소하면 사라지는데 사라질 때 ‘Fade Out’, ’Genie’, ‘Tornado’ 효과와 같은 애니매이션 효과로 환경을 구축할 수 있다.

▲ 애플 특허의 Fig.18A/18B/19A/19B(8,381,122, 8,473,859, 8,745,535). Image: USPTO

FIG.18A는 시각화 객체 용기(1802), 즉 아이콘 저장소와 표시를 나타내는 그림으로, 1806의 아이콘이 선택된 경우 1820처럼 발광하는 색을 주어 선택되었다는 것을 사용자에게 알려주고 1821처럼 상태 표시로 나타낼 수 있다. Fig.18D도 마찬가지로 1830은 선택이 안 되었다는 첫 번째 색으로, 1832는 선택이 되었다는 두 번째 색으로, 1834는 런칭 앱으로 세 번째 색으로 나타낼 수 있다. 

Fig.19A는 1804의 시스템 파일 아이콘이 업데이트가 필요하며 업데이트가 가능함을 1900의 색과 1902의 알림으로(!) 알려주는 것이다. FIG.19B는 시스템 파일 아이콘 1804의 알림(!)이 뜨는 경우 이를 클릭하면 1910처럼 화면을 띄워주는 것이다. 

▲ 애플 특허의 Fig.21A/21B(8,381,122, 8,473,859, 8,745,535. Image: USPTO

FIG.21A는 시각화 모델을 위한 선택 표시를 나타낸 것으로, Stack 요소들인 2104, 2106, 2108, 2110, 2112, 2114가 시각화 모델에 의해 매트릭스 배열로 디스플레이 된다. 그리고 선택된 Stack 요소들인 2100과 2110의 2109와 2111의 영역이 링(ring) 형태로 반짝인다. 또한 키보드에 'c'라 입력하면 Clock의 2109와 Calculator의 2111과 같은 링이 생성되어 반짝거린다. 

FIG.21B는 커서 포지션에 따라 Highlight indicator가 표시되는 것을 나타내는 것으로 마우스 커서(2120)가 2110을 포인팅하면 2111처럼 반짝이다가, 커서를 2108로 이동하면 사라지는 것이다.

▲ 애플 특허의 Fig.28A/29(8,381,122, 8,473,859, 8,745,535). Image: USPTO

Fig.28A와 Fig.29는 스택 요소들의 관리 지원 환경으로 오늘-주별-월별 사용의 빈도수와 자주 사용하는 앱들을 관리하여 다차원 데스크탑 환경에 적용할 수 있다.

'다차원 사용자 인터페이스 환경에서의 빛과 반사 그림자 (Reflections in a multidimensional user interface environment)'(8,432,396) – 3차원 시각화 객체들(Visualization objects)인 아이콘들 아래에는 빛과 그림자 효과(lighting and shadowing effect)를 주어 깊이를 강조하기 위해 상응하는 그림자 혹은 반사 그림자가 반사 영역 혹은 표면(Reflection surface)에 나타나는데, 그 나타내는 방법을 기술한 특허로 앞에서 살펴본 매인 특허인 ‘다차원 데스크 탑’에서 다 설명하였으므로 차별화 그림만 들어 소개하기로 한다.

▲ 애플 특허의 Fig.5A(8,432,396, 30 Apr 2013). Image: USPTO

Fig.5A는 다차원 데스크탑 환경 500을 설명하는 그림으로, 502는 Back surface, 504와 506은 API, 508은 반사 표면(Reflection surface), 510은 시각화 객체 용기(아이콘 저장소), 516과 518은 시각화 객체(아이콘), 그리고 그래픽 콘텐츠의 일련의 층들이 520의 디스플레이 표면에 구성되어 디스플레이 된다. 이때 512의 반사 콘텐츠 표면(Reflection content surface)은 502의 Back surface와 520의 디스플레이 표면사이에 있게 된다. 벽지나 달력이나 시각화 객체들의 시각화 콘텐츠는 Back surface에 디스플레이 되는데, 이때 512의 반사 콘텐츠 표면을 통과하는 시각화 콘텐츠는 514의 변환 매트릭스(Transform matrix)에 의해 프로세싱되어 반사된 시각 콘텐츠(reflected visual content)를 생성시켜 508의 반사 표면에 디스플레이 되고 522의 시야각(viewing angle)에서 보이게 된다. 

514의 변환 매트릭스는 아핀 변환(affine transformation)을 사용할 수 있는데, 아핀 변환은 선형 변환(linear transformation)에 이어 반사 표면(508)과 반사 콘텐츠 표면(512)에 있는 임의의 두 점(any two points) 사이의 거리 비율 및 점들(points) 사이의 동일 선형성(co-linearity)을 유지하기 위한 번역(translation)으로 구성되어 있다. 따라서 시각화 객체인 516과 518은 이 같은 변환 과정을 거쳐 반사된 시각화 객체들(reflected visualization objects)로서 508의 반사 표면에 디스플레이 되고 사용자는 522의 시야각에서 보게 되는 것이다. 

또한 Back surface(502)와/또는 애플리케이션 인터페이스(504/506)의 시각적 콘텐츠 또는 배치가 변경되면, 구성기(524, compositor)는 디스플레이(520)의 내용을 새로운 것으로 바꾸도록 실행한다. 반사 콘텐츠 표면(512)을 통과하는 이러한 시각적 콘텐츠의 변화가 일어나면, 구성기(524)가 이러한 변화들을 수집하고, 그러면 변환 매트릭스(514)가 적용되어 변화된 콘텐츠들을 업데이트시켜 반사 표면(508)에 디스플레이 되게 하는 것이다.

▲ 애플 특허의 Fig.5B(8,432,396, 30 Apr 2013). Image: USPTO

Fig.5B는 반사 표면(508)을 나타내는 물리적 배열로, 사용자가 522의 시야각으로 볼 때 508이 나타나는데, 시각화 객체들(아이콘, 516과 518)의 직각(right angle) 위치에 있는 하나의 거울처럼 나타나는 것을 설명하는 그림이다.

▲ 애플 특허의 Fig.6A(8,432,396, 30 Apr 2013). Image: USPTO

Fig.6A는 다차원 데스크탑 환경을 설명하는 그림으로, 650은 Back surface, 674는 반사 표면, 652는 시각화 객체 용기(아이콘 저장소)이다. 662-664-666-668-670-672는 아이콘 저장소에 있는 시각화 객체들(아이콘들)이다. 스택 아이템인 668은 조명 또는 색의 상태 표시(status indicator)를 가지고 있어 현재 파일이 다운되고 있음을 나타내고 있다. 656은 폴더이고 658은 채팅 앱의 API이며, 676과 678은 빛 효과에 의한 그림자 혹은 반사 그림자이다.

'3D OS와 장면/객체 전환 엔진과 전환 효과(Object transitions)'(8,127,239) – 3D GUI의 기본 버전인 Foundational 3D GUI를 기술하고 있는데, 가장 중요한 것이 ‘장면전환 엔진(transition engine)’으로 향후 모든 Mac OS와 iOS에 적용될 것으로 보인다. 

장면전환 엔진을 통해 3D 화면에는 바닥(floor), 왼쪽과 오른쪽 벽면(sidewall), 뒤 벽면(back-wall), 천정(ceiling)의 3차원 화면이 보인다. 우리가 일하는 장소와 같은 3차원 화면에, 바닥에는 컵 등의 그릇(용기)들과 각종 서류가 쌓여 있고, 왼쪽 오른쪽 벽에는 각종 파일, 뒤 벽면에는 사진이나 달력들이 걸려 있듯이, 사용자들은 이들 객체(아이콘)에 각종 파일이나 사진, 영상, PDF, App 등을 원하는 곳에 디렉토리를 만들어 꾸밀 수 있고 저장할 수 있다. 이미지나 앱을 오픈 할 때 클릭하는 것이 아니라, 줌인(Zoom in, 확대)과 줌아웃(Zoom out, 축소)을 이용하거나 얼굴인식/동작인식/제스처인식/음성인식을 이용할 수 있다. 

PDF 파일을 Zoom In하여 확대하여 읽을 수 있고, 읽은 후에 Zoom out으로 원래의 포지션으로 되돌아가게 되는데, 이를 ‘Cross fading effect’라고 하고 애플은 특허에 ‘Transition Effect’라 기술하고 있다. 또한 Transition Engine은 용기, 화병, 담배, 펜, 자물쇠 등의 책상 주위의 물건들을 ’animated effect‘로 사용할 수 있는데, 예를 들어, 사진을 크게 Zoom In 하고 자물쇠를 애니메이션으로 불러와 잠그면 타인이 볼 수가 없다고 기술하고 있다. 

▲ 애플 특허의 Fig.1(8,127,239, 28 Feb 2012). Image: USPTO

Fig.1은 하나의 객체 전환(an object transition)을 가진 디바이스 100을 설명하는 그림으로, 이때 디바이스란 iPhone이 될 수도 있고, 게임콘솔이나 PDA, iPod, 혹은 Mac이 될 수도 있으며, GUI를 제공하는 어떠한 디바이스도 될 수 있다. 여기서 중요한 것은 125의 OS이고 130-1에서 130-n까지가 장면이나 객체를 전환하는 엔진인 프리젠테이션 엔진들이고, 135는 앱 엔진이다.  

▲ 애플 특허의 Fig.2(8,127,239, 28 Feb 2012). Image: USPTO

Fig.2는 다차원 데스크탑 환경에서의 3차원 인터페이스 디스플레이 환경 200을 설명하는 그림으로, 2.5D(a pseudo-three dimensional) 혹은 깊이를 가진 3D의 시각화 객체(앱 등의 아이콘), 시각화 객체 용기(아이콘 저장소, 230)와 파일을 차곡차곡 쌓은 스택 아이템들(stack items)을 포함하고 있다. 

205와 210은 좌우 벽(two side wall)의 화면이고, 215는 천정(ceiling), 220은 바닥(floor), 그리고 222는 Back-wall의 화면이다. 사용자들은 실제 리얼 환경에 있는 데스크탑 주위의 객체들의 이미지를 활용하여 이와 같이 다차원 데스크탑 환경을 꾸밀 수 있는데, 블루틴 보드에 앞정(thumbtack)으로 꽃은 Paper처럼 관리할 수 있다. 사용자들은 225a~225d처럼 앱이나 폴더나 파일들을 스택으로 꾸밀 수도 있고 225c처럼 싱글 아이템으로 꾸밀 수 있다. 225e~225m들은 앱 아이템들이다. 사용자들은 다양한 입력방식, 예컨대 클릭, 마우스 오버, 눈동자 인식, 제스쳐 인식, 동작인식, 줌인/줌아웃 등으로 아이콘들을 선택하거나 취소 할 수 있다.  

▲ 애플 특허의 Fig.3A(8,127,239, 28 Feb 2012). Image: USPTO

Fig.3A는 객체 전환(object transition), 즉 앱 전환(app transition)을 설명하는 환경 200의 스크린 샷이고, Fig.3B는 스택 아이템(Stack item)의 객체 전환을 설명하는 스크린 샷이다. 

Fig.3A에서 일단 사용자가 225f의 앱을 선정하면 OS(Fig.1의 125)가 데이터 스토(Data store, Fig.1의 120)에서 관련 앱을 불러오고, 프로세싱 디바이스(Fig.1의 105, 디지털 프로세서)에게 앱을 실행하도록 명령한다. 앱이 실행되면 사용자는 앱의 이미지(그림)를 Zoom Effect로 관리할 수 있는데, 예를 들어 Zoom out으로 원래의 포지션으로 되돌아가게 되는데, 이를 ‘Cross fading effect’라고 하고 애플은 특허에 ‘Transition Effect’라 기술하고 있다. 

▲ 애플 특허의 Fig.3B(8,127,239, 28 Feb 2012). Image: USPTO

Fig.3B는 305의 스택 아이템 중 제일 앞에 있는 308의 사진을 선택했을 때의 객체 전환 환경으로 310의 디스플레이에 디스플레이 되는 것을 설명하는 그림이다.

▲ 애플 특허의 Fig.3C(8,127,239, 28 Feb 2012). Image: USPTO

Fig.3C는 또 다른 객체 전환의 예를 설명하는 그림으로, 사용자가 305의 스택 아이템 중 맨 앞의 사진을 선택했을 경우 선택된 아이템이 무엇인지를 색이나 조명으로 알려주는 지시(340)가 표시되고, 330의 그림과 자세한 설명을 포함하는 320의 매트릭스와 함께 350의 화면으로 나타내 주는 것이다. 그리고 사용자가 최종적으로 350의 화면을 선택하면 320의 매트릭스는 사라지는 것이다. 
 

▲ 애플 특허의 Fig.3D(8,127,239, 28 Feb 2012). Image: USPTO

Fig.3D는 또 다른 장면 전환을 설명하는 그림으로 이번에는 애니매이션(animation)에 의해 전환이 일어나는 사례로, 앱의 아이템이 안전을 위해 암호화된(encrypted) 경우이다. 이런 경우 암호를 풀어야 혹은 패스워드를 입력해야 전환이 일어나는 것이다. Fig.3D는 자물쇠가 애니매이션으로 나타나는 경우이다. 반대로 사용자는 이와 같은 애니매이션을 이용하여 이미지, 음악, 파일 등에 자물쇠(lock)로 잠그어 다른 사람이 보지 못하게 할 수도 있다. 

▲ 애플 특허의 Fig.3E(8,127,239, 28 Feb 2012). Image: USPTO

Fig.3E는 아치 형태의 객체 전환(an arched object transition)의 예로, 380의 앱이 선택되었을 경우 385a~385d의 아치 형태로 전환이 순차적 혹은 동시적으로 일어나는 경우이다.

▲ 애플 특허의 Fig.4(8,127,239, 28 Feb 2012). Image: USPTO

Fig.4는 개선된 객체 전환환경으로 225f의 앱 아이템이 선택되었을 경우 400의 스케일로 보여주고 다시 제거하고 그 다음 두 번째 405의 스케일로 보여주고 다시 제거하고 최종 300의 화면으로 전환하여 보여주는 것을 나타낸 것이다. 

 

차원용 소장/교수/MBA/공학박사/미래학자 

아스팩미래기술경영연구소(주) 대표, (전)국가과학기술심의회 ICT융합전문위원회 전문위원, 국토교통부 자율주행차 융복합미래포럼 비즈니스분과 위원, 전자정부 민관협력포럼 위원, 국제미래학회 과학기술위원장 

[정리 이새잎 기자 ebiz@]