※ 이미지 출처 : https://medium.com/google-design/redesigning-android-emoji-cb22e3b51cc6

왜 이모지(emoji)를 사용할까? 스크린 너머 상대방의 표정과 목소리 없이 텍스트로만 소통하는 상황에서 이모지는 감정적 뉘앙스를 더해 준다. 과거 키보드 글자들로 구성된 이모티콘(emoticon)에서 더 나아가, 그림으로 구성된 이모지는 매우 다양한 의미를 표시할 수 있다. 2015년, 옥스포드 올해의 단어로 ‘😂’ 이모지가 선정되었다. 2010년대 Unicode Consortium이 이모지를 공식적으로 채택해 플랫폼과 상관없이 표준화된 체계가 생긴 이후로 이모지의 사용은 급격하게 늘어났다. 디지털 환경에서 통용되는 새로운 글로벌 언어인 셈이다. 이모지는 사용자의 이미지와 감정을 더 생생하게 전달할 수 있는 방향으로 진화하고 있다. 사용자의 감정을 읽고 더 적합한 이모지를 추천하는 것에서 출발해 몇 년 전에는 영상인식을 기반으로 3D 애니메이션으로 사용자의 표정이 그대로 표현되는 이모지도 등장했다. 이번 design close up에서는 이모지 사용과 관련된 기술 특허들을 살펴본다.





※ 이미지 출처 : https://postcron.com/en/blog/improve-your-facebook-organic-reach/
 


참고링크 : https://mashable.com/2017/06/08/facebook-emotion-patents/

페이스북은 사용자의 표정과 제스처 인식을 바탕으로 이모지 사용 경험을 개선하는 기술을 개발했다. 페이스북은 이전에도 사용자가 콘텐츠를 확인할 때마다 카메라에 비치는 사용자의 표정에서 감정을 추적하여 콘텐츠에 대한 반응을 살피는 특허를 낸 적이 있다. 위의 특허도 유사한 시스템을 바탕으로 한 것으로, 인식한 결과와 대응되는 이모지로 변환한다.
 


참고링크 : https://mashable.com/2017/06/08/facebook-emotion-patents/)

안면 인식 외의 다른 방법으로 사용자의 감정을 추적하는 페이스북 특허도 있다. 이 특허는 사용자의 메시지 패턴을 바탕으로 감정을 예측하는데, 여기에는 대화의 맥락 뿐만 아니라 타이핑의 속도와 움직임, 위치 데이터까지 포함된다. 예측한 감정이 메시지에 잘 반영될 수 있도록 시스템이 텍스트 폰트와 사이즈를 바꾸거나 자동으로 이모지를 삽입한다.



 

※ 이미지 출처 : https://blog.emojipedia.org/apples-new-animoji/
 


애플의 “Emojicon Puppeting”특허는 트루뎁스 카메라를 장착한 아이폰X의 ‘애니모지’ 기능에 사용되었다. 이 기술은 사용자의 표정을 트래킹하여 3D이모지의 애니메이션에 그대로 반영한다. 마치 이모지가 사용자의 아바타, 꼭두각시 인형처럼 그대로 반응하는 기술이다. 이 기술은 기기에 두 가지 센서인 이미지 센서(image sensor)와 깊이 센서(depth sensor)가 달려 있음을 전제로 한다. 기기에 장착된 이미지 센서와 깊이 센서가 사용자의 얼굴, 표정, 움직임 및 머리로부터 각각 이미지 정보 및 깊이 정보를 수집한다. 이를 바탕으로 트래킹 포인트로 구성된 메쉬가 생성된다. 이 메쉬의 트래킹 포인트는 이모지의 트래킹 포인트에 투사되는 방식이다.





※ 이미지 출처 : https://www.apple.com/uk/newsroom/2018/06/apple-previews-ios-12/
 

※ 이미지 출처 : https://www.patentlyapple.com/patently-apple/2019/06/apples-patent-for-creating-motion-based-3d-facial-models-for-memoji-was-published-today.html

애플의 iOS12 업데이트와 함께 발표된 기능인 미모지(Memoji)는 사용자가 직접 자신이 원하는 모습, 혹은 자신과 닮은 모습으로 커스터마이즈하는 애니모지다. 애플은 최근 유저의 사진이나 영상을 바탕으로 3D 모델을 추출하는 기술에 대한 특허를 출원했다. 이 기술은 사용자의 모습과 똑같은 미모지를 생성하는 데 쓰일 것으로 예상된다. 이 기술은 사용자의 자세나 표정을 추적해 3D모델을 생성하는 데 머신 러닝 네트워크를 사용한다. 머신 러닝 네트워크는 유저의 이목구비의 위치나 표정 혹은 자세를 분명하게 모델에 반영하기 위해 여러 번의 정제 과정을 거친다.
 


참고링크 : https://www.patentlyapple.com/patently-apple/2019/06/apples-patent-for-creating-motion-based-3d-facial-models-for-memoji-was-published-today.html




 
※ 이미지 출처 : https://news.samsung.com/my/interview-ar-emoji-can-be-a-visual-ai-assistant-developers-on-the-galaxy-s10-ar-emoji 



참고링크 : https://androidcommunity.com/samsung-may-be-developing-video-call-technology-with-ar-emoji-20180424/

삼성은 애플의 애니모지에 이어 AR이모지 기능을 출시했다. 복잡한 3D 스캐닝을 바탕으로 얼굴 움직임을 동물 캐릭터에 반영했던 애니모지와 달리, 삼성의 AR이모지는 사용자의 사진 한 장을 바탕으로 사용자와 유사한 현실적인 아바타를 생성한다. AR이모지의 현실적인 모습에 불호를 표시하는 반응도 있었지만, 삼성이 이후 출원한 특허는 AR이모지가 단순히 사용자의 즐거움 뿐 아니라 화상 통화의 대역폭 문제를 해결하기 위해 쓰일 수 있다는 점을 시사한다. 특허에 의하면, 화상통화는 높은 대역폭을 필요로 하며, 본질적으로 데이터 전송을 위한 이미지 시퀀스의 생성과 압축 과정 때문에 통화 품질이 느려진다. 또한 카메라가 화면에 직접 장착되어 있지 않기 때문에 화상 통화 중에 눈을 마주칠 수가 없다. 특허는 대역폭을 줄이면서 사용자의 표정과 움직임을 실시간으로 보여줄 수 있는 시스템으로 사용자의 실제 모습 대신 ‘3D 메쉬 모델’을 사용하는 방법을 제안한다.




 
※ 이미지 출처 : https://www.independent.co.uk/life-style/gadgets-and-tech/news/apple-homepod-siri-emoji-patent-a8769556.html

애플의 최근 특허는 스마트 스피커에 내장되는 인공지능 보이스 어시스턴트에 이모지의 모습을 적용하는 방법을 제안한다. 특허에 의하면, 유저의 목소리에서 감정을 인식하면 스피커의 디스플레이에서 이모지 아바타가 그에 맞게 대응하거나 상반되는 반응을 보여 준다. 유저에게 전달되는 콘텐츠에 따라서도 반응이 달라진다. 예를 들어 사용자가 보이스 어시스턴트에게 생일 선물 구매에 대한 정보를 요청하면 보이스 어시스턴트의 아바타는 결과를 전달하면서 밝은 표정을 띤다. 특허상에 묘사되는 스마트 스피커는 애플의 스마트 스피커 홈팟(HomePod)과 매우 유사하다고 한다. 앞으로 이 특허가 애플의 제품에 어떻게 적용될 지 기대해 볼 만하다.

 




 
※ 이미지 출처 : https://indeema.com/blog/desimoji-emojis-stickers-is-it-the-future-of-communication

이모지는 디지털 시대에 감정을 전달하는 보조수단이다. 앞서 살펴본 기술들도 사용자의 감정을더 편하고 정확하게 커뮤니케이션하기 위한 기술들이었다. 한편으로 이모지의 역할은 텍스트를 꾸미거나 분명한 의도를 전달하는 것까지 확장되기도 한다. 표정을 나타내는 이모지 말고도 여러 사물이나 개념을 표시하는 이모지들이 계속 더해지고 있고, 문화나 젠더의 다양성을 반영하기 위한 논쟁과 업데이트들이 이뤄졌다. 이모지의 역할은 어디까지 확장될 수 있을까? 앞으로 이모지가 여러 플랫폼과 기기에서 다양한 용도로 활용될 미래를 기대해 본다. 



 

글｜디자인맵 편집부