[애플 AI칩] 7. 3D GUI의 브라우저 Safari

애플(Apple) AI칩 개발동향과 3년 내 출시할 제품/서비스 예측

[요약] 구글(Google)이 알파고(AlphaGo)라는 인공지능(AI) 컴퓨터 프로그램 덕분에 AI 기술의 선두주자로 알려져 있지만, 구글의 단점은 클라우드 베이스의 AI이다(이를 Edge->Cloud AI라 함). 반면 애플(Apple)은 온디바이스(on-device)의 AI 제품을 개발하고 실제 제품에 적용하고 있다는 점에서 구글을 능가하고 있다. 왜냐하면 이제 블록체인 개념의 Cloud->Edge가 도래하고 있기 때문이다.

2017년에 애플이 자체 개발하고 디자인한 ‘Neural Engine + 최초로 애플이 디자인한 GPU(그 전까지는 Imagination Technologies가 디자인) + M11 + Face ID + Touch ID를 지원하는 네 개의 에너지효율 요소’를 통합한 A11 Bionic Chip을 iPhone X에 탑재해 런칭했다. (1) 많은 기업들이 AI칩에 도전하고 있지만 이는 업계 최초로 애플이 AI칩 분야의 선두주자임을 증명한 것이다. (2) 그 결과 애플은 어느 날인가 퀄컴(Qualcomm)과 인텔(Intel)과 삼성(Samsung)을 위협할 수도 있을 것이다.

애플은 HAS(Hardware + AI + Software)라는 개념의 독자적으로 디자인하고 통합된 하드웨어와 독자적인 뉴럴엔진의 A11 Bionic Chip과 독자적인 OS 플랫폼을 구축한 유일한 기업이다. 따라서 현재 TrueDepth 카메라와 Dot Projector 기반으로 서비스하고 있는 Face ID와 Animoji를 뛰어넘어 향후 Cloud<->Edge를 선도할 수 있을 것으로 전망된다. 

애플과 애플이 인수한 프라임센스의 특허를 분석한 결과, 앞으로 3년 이내 애플은 뉴럴엔진·AI Chip 베이스의 트루뎁스 카메라 기술과 도트 프로젝트 기술을 활용해 (1) 3D Animoji를 2018년에 나만의 Memoji로 업데이트하고 최종 3D 아바타/모델로 업그레이드하여 출시할 것으로 예측되고, (2) 다양한 콘텐츠와 서비스(Mac, TV, 전기차(EV)/자율차(AV) 등) 중심의 3D UI/UX의 AR/VR로 확대 출시 될 것으로 예측되며, (3) Mac OS/iOS가 3D GUI의 OS/App/Safari로 업그레이드 될 것으로 예측된다.

[글 싣는 순서]
1. 뉴럴엔진의 인공지능 칩(A11 Bionic Chip)
 1-1. 배경(Background) – Edge<->Cloud를 위한 AI Chip 개발이 필요
 1-2. 애플(Apple)의 뉴럴엔진/네트워크와 A11 Bionic Chip
   1-2-1. 애플과 애플이 인수한 프라임센스의 특허분석 
    1-2-1-1. Face ID와 뉴럴 네트워크
    1-2-1-2. 트루뎁스(TrueDepth) 적외선 카메라
    1-2-1-3. 3차원 맵을 위한 도트 프로젝터(Dot Projector)
   1-2-2. 2017년 9월 WWDC에서 공개된 A11 Bionic Neural Engine 
   1-2-3. 유럽특허청에 등록한 상표 – 뉴럴엔진(Neural Engine)
   1-2-4. 애플의 아이폰 8/8 플러스/X에 탑재된 A11 Bionic Chip
   1-2-5. A11 Bionic Chip이 탄생하기 전까지의 여정
 1-3. 인사이트 종합 

2. 특허분석으로 예측하는 3년 내 애플이 출시할 제품과 서비스
 2-1. 애플의 3D 아바타/모델
 2-2. 애플의 3D UI/UX의 AR/VR
   2-2-1. 3D UI/UX의 AR/VR for Mac/TV
   2-2-2. 3D UI/UX의 AR/VR for Car/EV/AV
 2-3. 애플의 3D GUI의 OS/App/Safari
   2-3-1. 3D GUI의 OS/App

   2-3-2. 3D GUI의 브라우저(Safari)  


2-3-2. 3D GUI의 브라우저(Safari)

마지막으로 브라우저인 Safari의 차세대 버전인 3D GUI의 Safari 관련 특허를 검색하여 3개의 핵심 특허들을 찾아냈다. 

3D 데스크탑 공간에서 오픈 윈도우를 3차원으로 그룹핑하고 브라우징하기(Grouping and browsing open windows) – 2010년 11월 23일에 출원하고(12/953,391), 2012년 5월 24일에 출원서가 공개되고(20120131496), 2015년 6월 30일에 특허를 획득했다(9,069,577). 

24개의 청구항들과 10개의 그림들이 포함된 총 27페이지의 특허이다. 화면에 표시되는 여러 객체들의 여러 개의 창들(Windows)을 GUIs를 이용해 관리하고 나타내는 기법을 기술하고 있다. 여기에 시차(parallax) 효과를 주고 기능적인 층들을 주어 3차원 애니메이션으로 보여준다. 또한 여러 창들을 그룹핑하여 하나 혹은 두 개의 그룹으로 나누어 제공하는데, 각각의 그룹들은 속성을 지니도록 하고 있으며, 이때 속성의 그룹들은 겹겹이 스태킹(stacking) 된다. 예를 들어 bookmarks, emails, docs와 apps들이 겹겹으로 쌓여 3차원 매너로 보여주는 것이다. 또는 심플하게 2차원 매너로 보여줄 수도 있다. 

▲ 애플 특허의 Fig.1A(9,069,577, 30 Jun 2015). Image: USPTO

Fig.1A는 2차원 데스크탑(100)에서 2차원 배경 화면(102)에 여러 그래픽 객체들을 가진 멀티-앱들을 오픈한 창들(windows)을 보여주는 그림이다. 102에는 여러 그래픽 객체들이 있는데, 바로 103a-c는 아이콘들인데, 이들은 주변기기 디바이스나 파일 시스템 폴더나 도킹 스테이션을 나타낸다. 

105는 Dashboard이다. 앱들은 수평 혹은 수직으로 사용자가 이동 시킬 수 있다. 여러 창들이 보이는데, 106은 웹 브라우저, 108은 이맬, 110은 워드, 112는 또 다른 워드 파일이다. 현재 액티브한 창은 106의 웹 브라우저 앱인 사파리이다. 앱 메뉴 바인 114는 현재 Safari 앱이 작동되고 있음을 나타낸다. 또한 사용자가 110의 워드 앱을 선택하면 110이 중앙의 기본 위치에 전면으로 배치되고 106의 브라우저는 뒤 배경으로 회전하면서 물러난다. 그림에서는 현재 사용자가 106의 브라우저를 사용하고 있어 브라우저 화면이 108의 이맬 앱의 화면을 가리고 있다. 사용자가 108의 이맬 앱을 선택하면 108과 106의 순서가 바뀐다. 

105는 아이콘 저장소로 앱들을 아이콘으로 만들어 관리할 수 있는데, 왼쪽부터 이맬, 워드, 폴더, 브라우저 등이다.

▲ 애플 특허의 Fig.1B(9,069,577, 30 Jun 2015). Image: USPTO

Fig.1B는 3차원 데스크탑 공간(134)에 다양한 3차원으로 브라우징할 수 있는 스택들(stacks)이 오픈 윈도우로 보여주는 것을 설명하는 그림이다. 3D 스택들인 136a~136c는 이맬, 138a~138c는 웹 브라우저인 사파리, 140a~140는 워드이다. 사용자는 136에서 136a를 선택해 136a가 전면으로 나타나고 136b~136c는 사이드 뷰로 보여준다. 

현재 Active window는 138a로 화면이 중앙 전면에 보여준다. 웹의 내용을 다 읽고 나서 아래쪽을 터치 또는 포인팅하면 X-축으로 회전하면서 아래의 겹겹이 쌓인 층으로 내려가 스택킹된다. 그러면 그 다음 층의 138b가 X-축으로 회전하면서 전면에 나타나고….이런 식으로 계속 진행된다. 

또한 아래층의 URL들이 줄줄이 아래위로 회전하는데, 이때 사용자가 탭 하면 탭한 URL이 전면으로 등장하는 것이다. 그리고 사용자는 스택들을 아이콘으로 처리할 수도 있는데, 예를 들어 137은 이맬, 139는 브라우저(사파리), 141은 워드 프로세싱이며, 이들 아이콘들을 크게 하거나 작게 만들 수도 있다.

▲ 애플 특허의 Fig.1C(9,069,577, 30 Jun 2015). Image: USPTO

FIG.1C는 3차원 데스크탑 공간(134)의 또 다른 예로, 가운데 브라우저의 138b를 선택하면 처음의 브라우저 138a는 수평으로 회전하면서 위의 Side view로 올라가고 138b는 위쪽 방향으로 회전하면서 화면의 전면으로 등장하는 경우이다. 마찬가지로 오른쪽 워드의 140d를 선택하면 처음의 140c는 회전하면서 위로 올라가고 140d는 위쪽 방향으로 회전하면서 화면의 전면으로 등장한다.

▲ 애플 특허의 Fig.1E(9,069,577, 30 Jun 2015). Image: USPTO 

FIG.1E는 2차원 데스크탑 공간(102)의 환경으로 2차원으로 나타낼 수도 있음을 설명하는 그림이다. 예를 들어 사용자가 워드(142)를 선택하면 142가 전면으로 등장하고 다른 앱들의 다른 창들은 142의 뒤에 2차원으로 나타나는 것이다. FIG.9는 하드웨어 아키텍쳐 구성도이다.

▲ 애플 특허의 Fig.9(9,069,577, 30 Jun 2015). Image: USPTO 

(1) 3D 데스크탑 공간에서 오픈 윈도우를 3차원으로 브라우징하고 상호작용하기(Browsing and interacting with open windows) – 애플이 2010년 11월 23일에 출원하고(12/953,389), 2012년 5월 24일에 출원서가 공개되고(20120131495), 2013년 10월 15일에 특허를 획득하고(8,560,960), 2013년 10월 4일에 개량 출원하고(14/046,617), 2014년 2월 6일에 개량 출원서가 공개되고(20140040815), 2014년 12월 9일에 특허를 획득했다(8,910,072). 

23개의 청구항들과 13개의 그림으로 구성되어 있다. 핵심은 3차원 데스크탑 환경에서 3D GUI를 활용하여 오픈 윈도우를 관리하는 것으로, 오픈 윈도우들이 브라우징 할 수 있는 행렬(browsable parade)로 디스플레이 된다(iPhone 5S부터 브라우저가 2차원 혹은 2.5차원으로 퍼레이드 됨). 또한 앱 메뉴 바와 사용자가 보는 중앙의 기본 위치에(Primary Location) 배치된 액티브한(Active) 윈도우가 함께 다양한 쌍방향 상호작용을 제공하는 것이다. 

(2) 기울어진 3차원 공간에서 아이템들을 부라우징하고 나타내기(Presenting and Browsing Items in a Tilted 3D Space) – 2010년 11월 23일에 출원하고(12/953,366), 2012년 5월 24일에 출원서가 공개되고(20120127156), 2017년 12월 26일에 특허를 획득했다(9,851,866). 27개의 청구항들과 18개의 그림들이 포함된 총 39페이지의 특허이다. 특히 2017년 12월 26일에 특허를 획득했다는 점에서 3년 내에 출시될 것으로 예측되는데, 기울어진 3차원 공간에서의 부라우징은 특허(8,910,072)의 FIG.1E에서 확인할 수 있다. 

▲ 애플 특허의 Fig.1B(8,910,072, 9 Dec 2014). Image: USPTO

FIG.1B는 3차원 데스크탑(134)에서 3차원의 브라우저 퍼레이드(124)가 오픈 원도우로 표현됨을 설명하는 그림으로, 134의 3차원 데스크 탑 공간을 설명하고 있다. 브라우저 퍼레이드(124) 안에는 그래픽 객체 창들(windows)인 136(사파리 웹 브라우저), 138(이맬), 140(워드), 142(또 다른 사파리 웹 브라우저)가 있는데, 넓이와 깊이가 미미하게 보여 2차원 평면으로 보이지만 사용자가 창을 띄우고 이동시킬 때는 3차원으로 작동한다. 

기본 위치(Primary Location) 창은 118이며, Secondary Location은 120a-b와 122이다. 창 140이 앞면에 있으므로 창 138은 어느 정도 가려진다(obscured). 창 136은 현재 사용자가 사용 중인 브라우저이다. 사용자가 브라우징하는 링크나 동영상은 창 136에 나타난다. 146은 데스크탑 루트 메뉴 바(root menu bar)이고 144는 현재 액티브한 앱의 윈도우인 136의 메뉴 바로 웹 브라우저인 Safari를 사용하고 있다는 것을 나타내고 있다.

▲ 애플 특허의 Fig.1C(8,910,072, 9 Dec 2014). Image: USPTO

FIG.1C는 사용자가 Fig.1B의 워드프로세서 창 140을 선택한 경우 140이 기본 위치, 즉 매인 화면(118)에 나타나고 그 전에 있던 웹 브라우저인 Safari 창(136)은 오른 쪽으로 회전하면서 작아지고 웹 브라우저끼리 그룹핑(grouping) 되는 것을 설명하는 것이다. 이 때 메뉴 바 144에는 현재 사용 중인 워드 파일로 업데이트가 되는 것이다. 

▲ 애플 특허의 Fig.1D(8,910,072, 9 Dec 2014). Image: USPTO

Fig.1D는 브라우저 퍼레이드(124)가 오픈 원도우의 클러스터(clusters)로 묶여 있는 것을 설명하는 그림으로, 136a~136c는 3개의 웹 브라우저 앱들이 클러스터로, 140a~140b는 2개의 워드가 클러스터로, 142a~142c는 3개의 PDF 리더가 클러스터로, 138은 이맬 클러스터이다. 기본 위치 창은 118의 중앙 위치에 있는 136a~136c의 웹 브라우저들로 144의 메뉴 바에는 현재 사용 중인 사파리가 표시되어 있다.

▲ 애플 특허의 Fig.1E(8,910,072, 9 Dec 2014). Image: USPTO

FIG.1E는 클러스터 창들이 사용자의 기기 동작이나(좌우로 기울기 등) GUI 입력에 의해 기울어져(tilted), 각 창의 내용을 확인할 수 있다. 그 다음 멀티 창을 위 아래로 넘기면서 탭으로 창을 선택하고, 좌우로 터치하여 삭제할 수 있고 삭제 버튼을 눌러 삭제 할 수 있다. IOS7(iPhone 5S)부터 탑재된 사파리가 이 기술을 이용하는 것이다. 

* 본 원고는 창조경제연구회(이민화 이사장)가 ‘18년도 과기정통부의 과제인 "4차 산업혁명 시대의 ICT 정책 방향 및 추진체계 연구"를 위탁받아 수행한 내용 중, (주)아스팩미래기술경영연구소(차원용 소장)가 연구에 참여하여 작성한 “Apple-AI Chip 기반의 디지털혁명 기술 개발동향 및 특허분석”의 내용을, 상기주제로 내용을 요약 정리한 것임을 밝힙니다. 

 

차원용 소장/교수/MBA/공학박사/미래학자 

아스팩미래기술경영연구소(주) 대표, (전)국가과학기술심의회 ICT융합전문위원회 전문위원, 국토교통부 자율주행차 융복합미래포럼 비즈니스분과 위원, 전자정부 민관협력포럼 위원, 국제미래학회 과학기술위원장 

[정리 이새잎 기자 ebiz@]