애플 프라임센스 인수 이유, 3D AR/VR로 간다

Apple이 프라임센스(PrimeSense)를 인수한 이유 – 3D AR/VR로 간다.(Home, Car, Game) 

Apple20131117일에 이스라엘 기업인 프라임센스(PrimeSense)34500만 달러에 인수했다. 프라임센스는 3D 센싱(Sensing) 기업이며 3D 환경, 3차원 증강현실과 가상현실(3D AR/VR)을 구축하는 원천기술을 확보한 기업으로, 3D 동작을 감지하는 칩(Chip)이 주특기인 회사이다. 마이크로소프트(MS)의 동작인식 기술인 키넥트(Kinect)와 유사하다. 프라임센스는 또한 페이스북(FB)2014325일에 20억 달러를 주고 인수한 헤드마운티드 디스플레이(HMD) 베이스의 VR을 구축하는 오큐러스 리프트와(Oculus Lift)도 유사하다.

FB는 오큐러스 리프트를 이용하여 차세대 3차원 게임, 3차원 스포츠, 3차원 원격 교육, 3차원 원격 진료에 활용하고자 한다. 오늘은 프라임센스의 특허를 중심으로 3D AR/VR 기술을 분석해보고, 여기에 Apple의 특허를 분석하여, Apple이 프라임센스를 왜 인수했으며, Apple이 향후 추진하고자 하는 새로운 비즈니스가 무엇인지를 제시하여, 한국 기업들에게 인사이트를 제공하고자 한다. 

1. Apple이 인수하기 전의 프라임센스의 3D AR/VR 능력

사실 MSX박스 키넥트에 프라임센스 칩을 사용해왔다. 그러나 MS로선 큰 타격이 없을 듯하다. MS는 이미 퇴로를 확보해둔 상황으로 키넥트 모션 콘트롤러에 독자적으로 제작한 칩을 투입할 예정이다.

2012년에 AT&T는 프라임센서 기술을 바탕으로 '제스처 베이스의 전자기기기 콘트롤(20120124516)')이라는 특허를 등록했다. 이는 제스처 베이스의 콘트롤러(controller)가 제스처를 인식하는 카메라로부터 3D 이미지를 받아 TV 화면에 메뉴, 볼륨, 채널 등을 보내 나타내고 이를 제스처로 제어하는 것에 관한 기술이다.

1

<그림> AT&T의 제스처로 TV 제어(20120124516). Image Credit : USPTO

퀄컴(Qualcomm)사 또한 자사의 제품인 뷰포리아(Vuforia)에 프라임센스 기술을 이용하여 3차원 AR/VR을 구현하여 201394일에 데모를 한 바 있다(Youtube, 04 Sep 2013)).데모의 동영상은 게임을 현실세계에 연결하는 AR/VR을 보여주는데, '너의 세계를 구축하라(Build Your World)', '탑을 방어하라(Defend The Tower)', 장난감을 게임의 캐릭터로 사용하는 '장난감 스캔하기(Scan Toy)' 등이 데모되고 있다. 20141월에는 이를 더욱 확대하여 일반상품들인 음식 튜나, 맥도널드, , , 맥심 모션에 적용하는 3차원 AR/VR을 구현하여 데모하기도 했다(Youtube, 03 Jan 2014)).

2. Apple과 프라임센스의 기술 융합

2-1. 3차원 AR/VR의 홈(Home)

프라임센스의 기술을 홈(Home)TV에 적용할 수 있는데, 이 때 사용하는 기술은 프라임센스의 'ASUS WAVI Xtion'이다. 이는 미니급의 키넥트 시스템으로 노트북에서도 사용할 수 있다. 이 기술은 프라임센스가 20139월에 등록한 '3차원 장면에서 휴머노이드 형태의 요소들을 구별하는 방법(20130230215)')이라는 특허와 20138월에 등록한 '깊이를 스캐닝하는 엔진(20130207970)')에 관한 기술을 기반으로 하고 있다.

2

<그림> 프라임센스의 등록 특허인 '3차원 장면에서 휴머노이드 형태의 요소들을 구별하는 방법'(20130230215). 26번은 노트북, 22번은 3D Imaging Assembly. Image Credit : UPSTO.

또한 프라임센스의 AR/VR 구축은 많은 다른 특허를 기반으로 하고 있는데, 20138월에 등록한 '광학전자 모듈의 통합(20130206967)')2011년에 등록한 '3차원 장면 분석(20110293137)')을 바탕으로, 2013년에 업데이트한 '표면 모델을 갖는 3차원 장면 분석(20130230234)')이라는 특허 기술을 바탕으로 하고 있다.

프라임센스의 TV 관련 특허는 기존의 키넥트를 훨씬 뛰어 넘어, TV안에 직접 융합할 수 있고, 더 나아가 셋탑 박스나 다른 미디어 기기들에도 통합할 수 있다. 따라서 홈(Home)에 새로운 엔터테인먼트를 가져다 줄 수 있을 것으로 기대된다. 더욱이 리모콘이 없는 TV를 구현할 수 있다. 다시 말해 리모콘 없이 그저 동작이니 쳐다보는 것으로 현실과 가상현실을 구현한다는 것이다. 따라서 프라임센스의 리모콘 없이(remote-free) 작동하는 기술은 Apple2008년에 등록한 '3차원 디스플레이 시스템(20080068372)')2011년에 등록한 '3차원 이미징과 디스플레이 시스템(8,018,579)')이라는 기술과 융합될 것으로 보인다. Apple의 이 3차원 이미징 디스플레이는 향후 홀로그램과 홀로그래픽 디스플레이로 발전할 것으로 보인다.

3

<그림> Apple'3차원 이미징과 디스플레이 시스템(Three-dimensional imaging and display system(8,018,579)'. Image Credit : USPTO

다음 유투브 사이트에서 Apple3차원 이미징과 디스플레이의 컨셉 동영상을 확인할 수 있다(Youtube, 21 Aug 2011)).점점 얇아지는 스마트폰으로 2019년에는 1mm 이하로 줄어들어 휘는 디스플레이와 휘는 배터리만 탑재되고, 시스템, 메모리, 각종 어플들은 다 클라우드로 올라가는 클라우드 쉘(Cloud Shell)이 등장할 것이라는 인사이트를 주고 있고, 두 번째는 적외선 베이스의 버추얼 키보드로 5년 안에 스마트폰으로 융합될 것임을 보여주고 있으며, 세 번째가 홀로그래피이다.

2013년에 Apple은 이미 '머리와 눈/응시의 움직임을 감지해 반응하는 시스템(20130135198)')이라는 특허를 등록했는데, 이는 스마트폰을 제어하는 기술이다. 201310월에는 더욱 기술이 혁신된 '눈동자/응시 추적 시스템으로 TV의 이벤트나 객체가 움직이는 것까지 제어하는 시스템(20130265227)')이라는 특허를 등록했다. 따라서 이들 Apple의 기술들과 프라임센스의 기술들이 융합되어 혁신적인 AR/VR을 구현할 것으로 보인다.

 4<그림> Apple의 눈동자/응시 추적 시스템(20130265227). Image Credit : USPTO

이러한 눈동자/응시 인식기술을 갖고 있는 기업이 프라임센스이다. 특히 TV 분야에 특화된 특허를 보유하고 있는데, 201312월에 등록한 '응시 베이스의 디스플레이 제어(20130321265)')라는 특허와 '위치 베이스 디스플레이 상호작용(20130321271)')이라는 특허 기술이다. 이 두 가지 기술은 20128월에 등록한 '3차원 UI(8,166,421)')라는 특허와 20135월에 등록한 '광학 패턴 프로젝션(20130120841)')이라는 특허를 더욱 발전시킨 것이다.

5

<그림> 프라임센스가 보유한 '응시 베이스의 디스플레이 제어(20130321265)''위치 베이스 디스플레이 상호작용(20130321271)' 특허 기술. Image Credit : USPTO

따라서 프라임센스는 모든 AR/VR의 원천 기술을 확보하고 있는 기업이라고 보아야 할 것이다. 그러니 iTV를 개발하고 있는 Apple로서는 이를 그저 지켜보고 있을 수는 없었던 것이다. Apple의 핵심역량과 프라임센스의 비전이 맞아 떨어졌던 것이다.

2-2. 사용자의 신체 환경에 자동 조율되는 카(Car)

Apple20143월에 스위스 제네바의 모터쇼에서 그간 개발한 카플레이(CarPlay)를 공개하고 메르세데 벤츠(Mercedes-Benz)C-Class를 통해 데모했다. 다음 유투브에서 관련 동영상을 확인 할 수 있다(Youtube, 04 Mar 2014)).

AppleCarPlay에서 더 나아가 내부 파킹 시스템에서 블루투스 4.0 저에너지(BLE) 기술을 이용해 차를 찾는 '자동차 위치 찾기(20130103200)')라는 특허를 등록했으며, 2014년에는 'GPS 기능으로 자동차를 찾는 시스템(20140028477)')이라는 특허를 등록했다. 또한 본인 자동차나 렌터카의 좌석, 거울, 기후 관리, 라디오를 운전자에게 최적화하여 구성해주는 시스템(20130197674))이라는 특허를 등록했다. 이 특허기술은 사용자의 키, 다리의 길이, 눈의 위치에 따라 좌석이 앞뒤로 움직이고 거울의 각도가 자동으로 조절되는 기술이다.

6

<그림> Apple의 운전자에게 최적화된 환경을 구성해주는 특허(20130197674). Image Credit : USPTO

Apple은 더 나아가 20143월에 '자동차의 매뉴얼이나 고장 난 부품을 찾아 그 정보를 Car PlayiPhone에 나타내 주는 기술(20140077972)')이라는 특허를 등록했다. 이는 자동차를 중심으로 하는 클라우드 베이스의 사물인터넷(IoT)에 관한 특허이다. 자동차가 고장이 났을 때 어떤 부품이 고장이 났는지를 알려주고, GPS 등을 통해 근처의 자동차 수리 점이나 판매점도 동시에 나타내 준다. 또한 부품이 아니더라도 자동차 관리에 대한 매뉴얼도 포함되어 있다. 자동차의 부품이 약 3만개나 되는데 차후에는 이를 모두 관리해주고 시리(Siri)를 이용해 매뉴얼을 읽어달라고 할 수도 있다. 또한 특허에는 이를 동영상으로 제공하는 내용도 기술되어 있다.

 7<그림> 자동차의 매뉴얼이나 고장 난 부품을 찾아 그 정보를 Car PlayiPhone에 나타내 주는 Apple의 특허(20140077972). Image Credit : USPTO

20144월에는 '운전 중 문자 못하게 하는 잠금 기술에 관한 기술(8,706,143)'이라는 특허를 등록했다. 운전자나 동승자가 어디에 앉아 있는지 확인하고 안전한 지역과 안전하지 않은 지역으로 나누어 전화나 문자를 못하게 하는 기술에 관한 것이다.

8

<그림> Apple의 잠금 기술에 관한 특허(8,706,143). Image Credit : Patently Apple(22 Apr 2014))viaUSPTO

제너럴모토(GM)는 프라임센스의 자연상호작용시스템(Natural Interaction Systems)를 이용하여 '운전자의 키와 위치에 따라 운전대의 경사 위치를 자동적으로 조정해주는 시스템과 방법(20130325264)')이라는 특허를 2013년에 등록했으며, 이어서 '운전자의 머리 위치에 따라 거울까지 자동으로 조정해 주는 시스템과 방법(20130258512)')이라는 특허를 등록했다.

9

<그림> GM이 프라임센스 기술을 이용하여 등록한 '운전대의 경사 위치를 자동적으로 조정해주는 시스템과 방법(20130325264)''머리 위치에 따라 거울을 자동으로 조정해 주는 시스템과 방법(20130258512)'. Image Credit : USPTO

따라서 Apple의 프라임센스 인수는 앞으로 자동차 시스템과 관련된 다양한 프로젝트를 프라임센스의 자연상호작용시스템을 이용할 것이라는 것을 미리 예측해볼 수 있다. 분명 AppleiOS in the Car는 자동차를 홈(Home)이나 오피스(Office) 플랫폼으로 끌고 갈 것임이 확실하다. 미래의 자동차는 자동차가 아니라 홈이요 오피스가 될 것으로 필자는 예측하고 있다.

2-3. HMD/HUD 베이스의 3D AR/VR 게임(Game)

마지막으로 비디오 헤드셋(Video Headset) 또는 헤드업 디스플레이(HUD) 또는 헤드마운티드 디스플레이(HMD)를 살펴보자. Apple은 지난 2006년부터 HMD를 개발하기 시작해 2008년에 4월에 '헤드마운티드 디스플레이 시스템(20080088937)')'HMD에서의 최첨단 이미지 디스플레이(20080088529)')라는 특허를, 20099월에 '헤드마운티드 디스플레이 시스템(7,595,933)')20127월에 'HMD를 위한 주변처리(8,212,859)')라는 특허를 등록했다. 특히 'HMD를 위한 주변처리'라는 기술은 20084월에 등록한(20080088936) 특허를 연속 갱신한 것이다. 그리고 20127월에는 '해상도를 높이는 기술(20120188245)')에 대한 특허를 등록했다.

프라임센스의 HMD 관련 특허를 살펴보면, 2011년에 '빔 모니터가 달린 광학 프로젝터(20110114857)'), 2012년에 '패턴 프로젝터(20120038986)'),2013년에 '렌즈 어레이 프로젝터(20130038941)'),그리고 20135월에 '순응 프로젝터(20130106692)')라는 특허를 등록했다.

이중 '순응 프로젝터'라는 기술은 웨어러블 모니터(HMD)에서 구현되는 프로젝터 즉 아이글라시즈(eye-glasses)에 대해 설명하고 있다. 3D HMD의 왼쪽에 있는 센서에 의해 책의 이미지가 센싱되고 곧 바로 오른쪽의 미니 프로젝터로 띠워 주면, AR 정보를 보고 구매할 것인지 아닌지를 결정하게 하는 것이다. 기타 컴퓨터 화면이나 스마트폰이나 TV화면의 이미지들이 3차원으로 아이글라시즈에 입체적(stereoscopic)으로 나타나면 그야말로 3차원 세계를 즐길 수 있다. 게다가 응시 추적이나 머리 움직임이나 위치에 따라 이미지나 영상들을 제어할 수도 있다.

 10<그림> PrimeSense의 순응 프로젝터(20130106692)라는 특허 상에 나타난 아이글라시즈(eye-glasses). 160은 센서, 158은 미니 프로젝터. Image Credit : USPTO

또한 이외에 아이글라시즈는 외장 프로세서나 센싱 디바이스와 무선으로 연결이 가능하다. 한 예로 노베로(Novero)의 헤드셋을 들 수 있다. 따라서 Apple은 향후 iPod 혹은 iPhone을 아이글라시즈에 융합할 것으로 보인다.

11

<그림> 노베로(Novero)의 헤드셋. Image Credit : Novero

프라임센스는 특허 상에 더욱 많은 내용들을 기술하고 있는데, 제스처, 동작, 음성 등의 자연 인터페이스가 기존의 키보드, 마우스, 게임 콘트롤러 및 리모콘을 대체할 것으로 기술하고 있다.

예를 들어 2014426일 마이크로소프트(MS)X박스용 키넥트에 이어 동작 인식형 키보드 프로토타이프를 공개했다(Youtube, 26 Apr 2014)).문서 작업의 편의성 향상은 물론 PC 게임 조작에 새로운 혁신이 기대되고 있다. ‘Type-Hover-Swipe in 96 Bytes’)라는 이름의 이 키보드는 적외선 근접 센서를 탑재하고 있어 스마트폰처럼 손으로 키보드 위를 쓸어 내거나 제스처를 취하는 동작을 인식하게 된다. 공개된 영상을 보면 이 키보드는 일반 제품과 마찬가지로 문자 타이핑은 물론, 왼쪽 손바닥을 아래로 슬라이드 하면 커서가 밑으로 옮겨간다. 또 왼쪽 손가락을 밑으로 드래그 하면 화면이 스크롤 방식으로 내려간다. 여기에 오른쪽 집게손가락을 키보드 위에서 빙글빙글 돌리면 화면에 이미지가 삽입된다. 이는 2014320일에 특허 등록된 '제스처 주도의 키보드 기능들(20140078063)')을 바탕으로 구현 된 것이다.

12

<그림> MS의 제스처 키보드(20140078063). Image Credit : USPTO

Apple은 그간 피코 프로젝터(Pico Projector)나 미니 프로젝터를 개발해 수많은 특허를 확보했다. 그리고 이제 미니 프로젝터를 스마트폰이나 아이패드나 맥북에 융합하고자 하는데, 이제 그 가능성이 높아졌다. 프라임센스를 인수한 덕분이다

PrimeSense'순응 프로젝터(20130106692)' 특허를 보면 스마트폰에 융합된 미니 프로젝터를 볼 수 있다. 다소 크기가 크지만(bulky), 이는 디자인 특허가 아니라 기술 특허이기 때문에 스마트폰에 융합되는 개념만을 보여주는 것이다.

13 

<그림> PrimeSense'순응 프로젝터(20130106692)'라는 특허상에 나타난 스마트폰에 융합된 미니 프로젝터. 142는 센서, 140은 미니 프로젝터. Image Credit : USPTO

마지막으로 프라임센스의 특허를 하나 더 살펴보자. 프라임센스는 20109월에 '게임 시스템에서의 3D 공간과 상호작용(20100234094)')이라는 특허를 등록했다. 이 특허는 비디오 박스 게임이나 비디오 아케이드(Arcade)에서 게임을 즐길 수 있는 기술과 서비스이다. 또한 20138월에는 '깊이 정보를 이용한 사람의 얼굴 감지/인식(20130202161')이라는 특허를 등록했는데, 이는 얼굴을 감지하는 기술에 관한 것이다. 이것은 그간 수많은 특허를 받은 Apple의 얼굴인식(FR) 기술들과 융합되어 사람을 인식하는 서비스에서부터 범인을 인식하는 서비스까지, 아니 공간상의 사물인식(OR)까지 확대될 것으로 보인다.

14

<그림> 프라임센스의 특허상에 나타난 비디오 아케이드 게임(20100234094)과 얼굴을 감지하는 기술(20130202161). Image Credit : USPTO

3. 결론 인사이트 종합

결론적으로 프라임센스는 많은 AR/VR 특허를 보유하고 있지만 제품은 만들지 않았었다. 그러나 이제 Apple이 인수한 이상, 프라임센스의 AR/VR 관련 많은 비전들과 기술들은 Apple의 기존 제품 라인과 새로운 카테고리 라인에 융합될 것으로 보인다. iTV, iHome, iWatch, iCar, iGame에 이어 필자가 보기에는 3차원 프린팅으로 무장한 iKitchen에도 융합될 것으로 보인다. 요리를 3D AR/VR 요리법 영상과 함께 3차원 프린팅으로 용기들과 음식을 만들 수 있다. 이를 위해 가장 중요한 것이 물질 확보인데, Apple은 관련 액체금속(Liquid Metal), 세라믹, 플라스틱 물질들을 확보하는데 주력하고 있다.

필자가 예측하기에 5년 내에 3D AR/VU 시대가 등장할 것이다. Apple이 프라임센스를, FBI이 오큘러스 리프트를, 그리고 인텔(Intel)이 제스처 기술업체인 오메크(Omek)를 인수한 이유가 여기에 있다. 그러나 한국은 한참 뒤쳐진 느낌이다. 이제부터 분발할 필요가 있다.

1) AT&T – Electronic Device Control Based on Gestures(20120124516, 17 May 2012 <- 12 Nov 2010) via USPTO.

http://appft.uspto.gov/netacgi/nph-Parser?Sect1=PTO1&Sect2=HITOFF&d=PG01&p=1&u=%2Fnetahtml%2FPTO%2Fsrchnum.html&r=1&f=G&l=50&s1=%22201201

24516%22.PGNR.&OS=DN/20120124516&RS=DN/20120124516

2) Vuforia – https://www.vuforia.com/, http://www.youtube.com/user/vuforia

3) Youtube – VuforiaSmart Terrain(04 Sep 2013).

http://www.youtube.com/watch?v=UOfN1plW_Hw

4) Youtube – Vuforia Featured Apps Video Winter 2014(03 Jan 2014)

http://www.youtube.com/watch?v=b22ZmcagEGo

5) PrimeSense – IDENTIFYING COMPONENTS OF A HUMANOID FORM IN THREE-DIMENSIONAL SCENES(201

30230215, 5 Sep 2013 <- 21 Apr 2013) via USPTO

http://appft.uspto.gov/netacgi/nph-Parser?Sect1=PTO1&Sect2=HITOFF&d=PG01&p=1&u=%2Fnetahtml%2FPTO%2Fsrchnum.html&r=1&f=G&l=50&s1=

%2220130230215%22.PGNR.&OS=DN/20130230215&RS=DN/20130230215

6) PrimeSense – SCANNING DEPTH ENGINE(20130207970, 15 Aug 2013 <- 21 Apr 2013) via USPTO

http://appft.uspto.gov/netacgi/nph-Parser?Sect1=PTO1&Sect2=HITOFF&d=PG01&p=1&u=%2Fnetahtml%2FPTO%2Fsrchnum.html&r=1&f=G&l=50&s1=

%2220130207970%22.PGNR.&OS=DN/20130207970&RS=DN/20130207970

7) PrimeSense – INTEGRATED OPTOELECTRONIC MODULES(20130206967, 15 Aug 2013) <- 14 Feb 2013) via USPTO

http://appft.uspto.gov/netacgi/nph-Parser?Sect1=PTO1&Sect2=HITOFF&d=PG01&p=1&u=%2Fnetahtml%2FPTO%2Fsrchnum.html&r=1&f=G&l=50&s1=20130206967

8) PrimeSense – ANALYSIS OF THREE-DIMENSIONAL SCENES(20110293137, 01 Dec 2011 <- 11 Aug 2011) via USPTO

http://appft.uspto.gov/netacgi/nph-Parser?Sect1=PTO2&Sect2=HITOFF&p=1&u=%2Fnetahtml%2FPTO%2Fsearch-bool.html&r=0&f=S&l=50&TERM1=Analysis+of+THREE-DIMENSIONAL+SCENES&FIELD1=TTL&co1=AND&TERM2=PRIMESENSE&FIELD2=AS&d=PG01

9) PrimeSense – ANALYSIS OF THREE-DIMENSIONAL SCENES WITH A SURFACE MODEL(20130230234, 5 Sep 2013 <-21 Apr 2013) via USPTO

http://appft.uspto.gov/netacgi/nph-Parser?Sect1=PTO1&Sect2=HITOFF&d=PG01&p=1&u=%2Fnetahtml%2FPTO%2Fsrchnum.html&r=1&f=G&l=50&s1=20130230234

10) Apple – THREE-DIMENSIONAL DISPLAY SYSTEM(20080068372, 20 Mar 2008 <- 20 Sep 2006) via USPTO

http://appft1.uspto.gov/netacgi/nph-Parser?Sect1=PTO2&Sect2=HITOFF&p=1&u=%2Fnetahtml%2FPTO%2Fsearch-bool.html&r=1&f=G&l=50&co1=AND&d=PG01&s1=20080068372.PGNR.&OS=DN/20080068372RS=DN/20080068372

11) Apple – Three-dimensional imaging and display system(8,015,579, 13 Sep 2011 <- 21 Aug 2005) via

USPTO

http://patft1.uspto.gov/netacgi/nph-Parser?Sect1=PTO1&Sect2=HITOFF&d=PALL&p=1&u=%2Fnetahtml%2FPTO%2Fsrchnum.htm&r=1&f=G&l=50&s1=8,018,579.PN.&OS=

PN/8,018,579&RS=PN/8,018,579

12) Youtube – Apple_iPhone 5 Concept Features(21 Aug 2011)

http://www.youtube.com/watch?v=lzsBwnv_dAg

13) Apple – Electronic Devices With Gaze Detection Capabilities(20130135198, 30 May 2013 <- January 25, 2013;

Family ID: 73317650404) via USPTO

http://appft1.uspto.gov/netacgi/nph-Parser?Sect1=PTO2&Sect2=HITOFF&p=1&u=%2Fnetahtml%2FPTO%2Fsearch-bool.html&r=1&f=G&l=50&co1=AND&d=PG01&s1=20130135198.PGNR.&OS=DN/20130135198RS=DN/20130135198

14) Apple – SYSTEMS AND METHODS FOR COUNTERACTING A PERCEPTUAL FADING OF A MOVABLE INDICATOR(2

0130265227, 10 Oct 2013 <- 06 Apr 2012) via USPTO

http://appft1.uspto.gov/netacgi/nph-Parser?Sect1=PTO2&Sect2=HITOFF&p=1&u=%2Fnetahtml%2FPTO%2Fsearch-bool.html&r=1&f=G&l=50&co1=AND&d=PG01&s1=20130265227

15) PrimeSense – Gaze-Based Display Control(20130321265, 5 Dec 2013 <- 07 Aug 2013) via USPTO

http://appft.uspto.gov/netacgi/nph-Parser?Sect1=PTO1&Sect2=HITOFF&d=PG01&p=1&u=%2Fnetahtml%2FPTO%2Fsrchnum.html&r=1&f=G&l=50&s1=%2220130321

265%22.PGNR.&OS=DN/20130321265&RS=DN/20130321265

16) PrimeSense – POINTING-BASED DISPLAY INTERACTION(20130321271, 5 Dec 2013 <- 7 Aug 2013) via USPTO

http://appft.uspto.gov/netacgi/nph-Parser?Sect1=PTO1&Sect2=HITOFF&d=PG01&p=1&u=%2Fnetahtml%2FPTO%2Fsrchnum.html&r=1&f=G&l=50&s1=%22201303

21271%22.PGNR.&OS=DN/20130321271&RS=DN/20130321271

17) PrimeSense – Three-dimensional user interface(8,166,421, 24 Aug 2012 <- 13 Jan 2009, PPD : 20090183125, 16

Jul 2009) via USPTO

http://patft.uspto.gov/netacgi/nph-Parser?Sect1=PTO1&Sect2=HITOFF&d=PALL&p=1&u=%2Fnetahtml%2FPTO%2Fsrchnum.htm&r=1&f=G&l=50&s1=8,166,

421.PN.&OS=PN/8,166,421&RS=PN/8,166,421

18) PrimeSense – Optical pattern projection(20130120841, 16 May 2013 <- 6 Jan 2013) via USPTO

http://appft.uspto.gov/netacgi/nph-Parser?Sect1=PTO1&Sect2=HITOFF&d=PG01&p=1&u=%2Fnetahtml%2FPTO%2Fsrchnum.html&r=1&f=G&l=50&s1=%22

20130120841%22.PGNR.&OS=DN/20130120841&RS=DN/20130120841

19) * Youtube – Apple CarPlay Demonstration – Mercedes-Benz 2015 C-Class(04 Mar 2014)

http://www.youtube.com/watch?v=Y1f6L_PnOG0

* Youtube – Apple CarPlay demonstration in the 2014 Mercedes Benz C-Class(04 Mar 2014)

http://www.youtube.com/watch?v=xiwRg_2GDGU

20) Apple – METHOD FOR LOCATING A VEHICLE(20130103200, 25 Apr 2013 <- 20 Oct 2011) via USPTO

http://appft1.uspto.gov/netacgi/nph-Parser?Sect1=PTO2&Sect2=HITOFF&p=1&u=%2Fnetahtml%2FPTO%2Fsearch-bool.html&r=1&f=G&l=50&co1=AND&d=PG01&s1=20130103200.PGNR.&OS=DN/20130103200RS=DN/20130103200

21) Apple – 'VEHICLE LOCATION SYSTEM' via a locked-in GPS feature (20140028477, 30 Jan 2014 <- 24 Jul 2012) via USPTO

http://appft1.uspto.gov/netacgi/nph-Parser?Sect1=PTO1&Sect2=HITOFF&d=PG01&p=1&u=%2Fnetahtml%2FPTO%2Fsrchnum.html&r=1&f=G&l=50&s1=%2220

140028477%22.PGNR.&OS=DN/20140028477&RS=DN/20140028477

22) Apple – AUTOMATIC CONFIGURATION OF SELF-CONFIGURABLE ENVIRONMENTS(20130197674, 1 Aug 2013 <-

30 Jan 2012) via USPTO

http://appft1.uspto.gov/netacgi/nph-Parser?Sect1=PTO1&Sect2=HITOFF&d=PG01&p=1&u=%2Fnetahtml%2FPTO%2Fsrchnum.html&r=1&f=G&l=50&s1=%22

20130197674%22.PGNR.&OS=DN/20130197674&RS=DN/20130197674

23) Apple – Identifying and Presenting Information based on Unique Vehicle Identifier (20140077972, 20

Mar 2014, <- 20 Sep 2012) via USPTO

http://appft1.uspto.gov/netacgi/nph-Parser?Sect1=PTO2&Sect2=HITOFF&p=1&u=%2Fnetahtml%2FPTO%2Fsearch-bool.html&r=1&f=G&l=50&co1=AND&d=PG01&s1=20140077972.PGNR.&OS=DN/20140077972RS=DN/20140077972

24) Apple – Driver handheld computing device lock-out' with various sensors(8,706,143, 22 Apr 2014 <- 12

Dec 2008) via USPTO

http://patft.uspto.gov/netacgi/nph-Parser?Sect1=PTO1&Sect2=HITOFF&d=PALL&p=1&u=%2Fnetahtml%2FPTO%2Fsrchnum.htm&r=1&f=G&l=50&

s1=8,706,143.PN.&OS=PN/8,706,143&RS=PN/8,706,143

25) Patently Apple – Apple Granted 56 Patents Today Covering Magic Mouse and a Method of

Locking-Out Drivers from using an iDevice for Texting(22 Apr 2014)

http://www.patentlyapple.com/patently-apple/2014/04/apple-is-granted-56-patents-today-covering-

magic-mouse-and-a-method-of-locking-out-drivers-from-using-an-idevice-for-texting.html

26) GM – SYSTEM AND METHOD FOR AUTOMATICALLY ADJUSTING A STEERING TILT POSITION(20

130325264, 5 Dec 2013 <- 4 Jun 2012) via USPTO

http://appft.uspto.gov/netacgi/nph-Parser?Sect1=PTO1&Sect2=HITOFF&d=PG01&p=1&u=%2Fnetahtml%2FPTO%2Fsrchnum.html&r=1&f=G&l=50

&s1=%2220130325264%22.PGNR.&OS=DN/20130325264&RS=DN/20130325264

27) GM – SYSTEM AND METHOD FOR ADJUSTING VEHICLE MIRRORS AUTOMATICALLY

BASED ON DRIVER HEAD POSITION(20130258512, 3 Oct 2013 <- 2 Apr 2012) via USPTO

http://appft.uspto.gov/netacgi/nph-Parser?Sect1=PTO1&Sect2=HITOFF&d=PG01&p=1&u=%2Fnetahtml%2FPTO%2Fsrchnum.html&r=1&f=G&l=50&s1=

%2220130258512%22.PGNR.&OS=DN/20130258512&RS=DN/20130258512

28) Apple – Head mounted display system(20080088937, 17 Apr 2008 <- 9 Nov 2006) via USPTO

http://appft.uspto.gov/netacgi/nph-Parser?Sect1=PTO2&Sect2=HITOFF&p=1&u=%2Fnetahtml%2FPTO%2Fsearch-bool.html&r=1&f=G&l=50&co1=AND&d=PG01&s1=20080088937.PGNR.&s2=Apple.AS.&OS=DN/20080088937

+AND+AN/Apple&RS=DN/20080088937+AND+AN/Apple

29) Apple – Enhanced image display in head-mounted displays(20080088529, 17 Apr 2008 <- 13 Oct 2006) via USPTO

http://appft.uspto.gov/netacgi/nph-Parser?Sect1=PTO2&Sect2=HITOFF&p=1&u=%2Fnetahtml%2FPTO%2Fsearch-bool.html&r=1&f=G&l=50&co1=AND&d=PG01&s1=20080088529.PGNR.&s2=Apple.AS.&OS=DN/20080088529

+AND+AN/Apple&RS=DN/20080088529+AND+AN/Apple

30) Apple – Head mounted display system(7,595,933, 29 Sep 2009 <- 9 Nov 2006) via USPTO

http://patft1.uspto.gov/netacgi/nph-Parser?Sect1=PTO1&Sect2=HITOFF&d=PALL&p=1&u=%2Fnetahtml%2FPTO%2Fsrchnum.htm&r=1&f=G&l=50&s1=

7,595,933.PN.&OS=PN/7,595,933&RS=PN/7,595,933

31) Apple – Peripheral treatment for head-mounted displays(8,212,859, 3 Jul 2012 <- 13 Oct 2006; PPD :

PPD : 20080088936, 17 Apr 2008 <- 13 Oct 2006) via USPTO

http://patft1.uspto.gov/netacgi/nph-Parser?Sect1=PTO1&Sect2=HITOFF&d=PALL&p=1&u=%2Fnetahtml%2FPTO%2Fsrchnum.htm&r=1&f=G&l=50&s1=

8,212,859.PN.&OS=PN/8,212,859&RS=PN/8,212,859

32) DISPLAY RESOLUTION INCREASE WITH MECHANICAL ACTUATION(20120188245, 26 Jul 2012 <- 20 Jan 2011) via USPTO

http://appft1.uspto.gov/netacgi/nph-Parser?Sect1=PTO2&Sect2=HITOFF&p=1&u=%2Fnetahtml%2FPTO%2Fsearch-bool.html&r=1&f=G&l=50&co1=AND&d=PG01&s1=20120188245.PGNR.&OS=DN/20120188245RS=DN/20120188245

33) PrimeSense – OPTICAL PROJECTOR WITH BEAM MONITOR(20110114857, 19 May 2011 <- 15 Nov 2010) via USPTO

http://appft1.uspto.gov/netacgi/nph-Parser?Sect1=PTO2&Sect2=HITOFF&p=1&u=%2Fnetahtml%2FPTO%2Fsearch-bool.html&r=1&f=G&l=50&co1=AND&d=PG01&s1=20110114857

34) PrimeSense – PATTERN PROJECTOR(20120038986, 16 Feb 2012 <- 8 Aug 2011) via USPTO

http://appft1.uspto.gov/netacgi/nph-Parser?Sect1=PTO2&Sect2=HITOFF&p=1&u=%2Fnetahtml%2FPTO%2Fsearch-bool.html&r=1&f=G&l=50&co1=AND&d=PG01&s1=20120038986

35) PrimeSense – Lens Array Projector(20130038941, 14 Feb 2013 <- 6 Aug 2012) via USPTO

http://appft1.uspto.gov/netacgi/nph-Parser?Sect1=PTO2&Sect2=HITOFF&p=1&u=%2Fnetahtml%2FPTO%2Fsearch-bool.html&r=1&f=G&l=50&co1=AND&d=PG01&s1=20130038941

36) PrimeSense – Adaptive Projector(20130106692, 2 May 2013 <- 23 Dec 2012) via USPTO

http://appft1.uspto.gov/netacgi/nph-Parser?Sect1=PTO2&Sect2=HITOFF&p=1&u=%2Fnetahtml%2FPTO%2Fsearch-bool.html&r=1&f=G&l=50&co1=AND&d=PG01&s1=20130106692

37) Youtube – Type-Hover-Swipe in 96 Bytes: A Motion Sensing Mechanical Keyboard(26 Apr 2014)

http://www.youtube.com/watch?v=Y3dUeGNIX4M

38) MS Project website – http://research.microsoft.com/en-us/projects/typehoverswipe/

39) MS – GESTURE-INITIATED KEYBOARD FUNCTIONS(20140078063, 20 Mar 2014 <- 12 Dec 2012) via USPTO

http://appft1.uspto.gov/netacgi/nph-Parser?Sect1=PTO2&Sect2=HITOFF&p=1&u=%2Fnetahtml%2FPTO%2Fsearch-bool.html&r=1&f=G&l=50&co1=AND&d=PG01&s1=20140078063

40) PrimeSense – INTERACTION WITH 3D SPACE IN A GAMING SYSTEM(20100234094, 16 Sep 2010 <- 7 May 2010) via USPTO

http://appft.uspto.gov/netacgi/nph-Parser?Sect1=PTO1&Sect2=HITOFF&d=PG01&p=1&u=%2Fnetahtml%2FPTO%2Fsrchnum.html&r=1&f=G&l=50&s1=%22

20100234094%22.PGNR.&OS=DN/20100234094&RS=DN/20100234094

41) PrimeSense – Enhanced face detection using depth information(20130202161, 8 Aug 2013 <- 28 Jan 2013) via USPTO

http://appft.uspto.gov/netacgi/nph-Parser?Sect1=PTO1&Sect2=HITOFF&d=PG01&p=1&u=%2Fnetahtml%2FPTO%2Fsrchnum.html&r=1&f=G&l=50&s1=%22

20130202161%22.PGNR.&OS=DN/20130202161&RS=DN/20130202161

차원용 소장/교수/MBA/공학박사/미래학자 

아스팩기술경영연구소(), 국제미래학회 과학기술위원장, ()창조경제연구회 이사, ()한국지식재산상업화협회 부회장연세대학원/KAIST IP-CEO 겸임교수