최근 강력한 공중 초음파에 관한 다양한 연구가 이루어지고 있다. 그 중의 하나인 공중 초음파를 이용한 촉각 제시의 연구가 2008년에 시작됐다. 강력한 공중 초음파의 비선형 효과를 활용하는 기술의 대표 예로는 파라메트릭 어레이라고 하는 초지향성 스피커가 있는데, 그 기원은 1980년대까지 거슬러 올라간다. 파라메트릭 어레이와 촉각 제시의 페이즈드 어레이(Phased array)(이후 Airborne Ultrasound Tactile Display, AUTD)의 구성 요소는 거의 동일했지만, AUTD에서는 집속 빔에 의해 공간의 1점에 보다 강한 음장을 만들려고 한 것이 약간의 차이였다. 수천 파스칼이 넘는 음압, 즉 전형적인 공중 파라메트릭 어레이보다는 두 자리 이상 높은 에너지 밀도에 의해 촉각을 생성할 수 있다는 것이 확인되어 초음파 촉각 제시의 연구가 순조롭게 시작됐다.

 

이때 개발된 초음파 페이즈드 어레이는 강력 공중 초음파를 쉽게 만들어낼 수 있는 귀한 장치이기도 했다. 주변의 물체에 조사해 보면 경량 물체를 움직일 수 있는데다가, 음향류의 생성, 액체의 기화 촉진 등 현저한 효과를 눈앞에서 확인할 수 있어 공중 초음파 연구 영역이 확대되기도 했다.

 

촉각을 제시하는 기술도 그 후 크게 발전하게 됐다. 3차원 물체를 잡은 듯한 감각이나, 손 전체를 감싼 듯한 감각을 포함해 일정한 만능성을 가지고 촉감을 재현할 수 있는 단계에까지 도달했다. 이하에서는 이러한 촉감 재현 기술에 대해서 그 경위와 현황을 소개한다.

 

지금까지의 연구 현황

 

공중 햅틱스(Haptics), 즉 초음파에 의한 비접촉 촉각 제시의 기원은 필자 연구실의 이와모토(岩本) 등이 2008년에 실시한 연구로 알려져 있다. 페이즈드 어레이로부터 초음파를 1점에 집속해 방사압의 강도를 시간 변화시킴으로써 촉각을 제시할 수 있다는 것이 처음으로 실증됐다. 이렇게 생성된 촉각과 공중 영상을 동기시킨 데모가 호시(星) 등에 의해 2009년에 이루어졌으며, 2013년에는 Bristol 대학에서 Carter 등에 의한 다점 제시의 알고리즘이 제안되는 동시에 유력한 스타트업기업, Ultrahaptics(나중에 Ultraaleap)이 설립됐다.

 

또한 2015년경까지 공중 버튼이나 아이콘을 촉각 피드백을 느끼면서 조작하는 몬나이(門内) 등의 ‘공중 촉각 터치패널’, 프로젝터 영상과 비접촉 촉각을 중첩하는 하세가와(長谷川) 등의 ‘촉각 프로젝터’, 그리고 3차원 영상과 공중 촉각 제시를 동기시킨 이노우에(井上) 등의 HORN, 마키노(牧野) 등의 ‘시촉각 클론’ 등이 시연 전시됐다.

 

당시에는 ‘비접촉임에도 불구하고 촉각이 느껴진다’라는 의미로 주목받았지만, 재현되는 촉각은 현실의 물체 접촉과는 상당히 다른 특수한 감각으로 한정되어 있었다. 약한 진동이 느껴지기는 해도 현실의 물체에 닿았을 때와 같은 실체감 높은 촉각 제시는 어렵다고 생각되고 있었다. 그러한 가운데 2018년부터 JST CREST ‘실체화 영상’ 프로젝트가 실시됐다. 인터랙티브한 공중 영상에 촉각을 부여하고 공중 영상에 물리적 실체감을 부여하는 것을 목표로 한 프로젝트로, 이것에 의해 촉각 제시 기술이 크게 발전했다.

 

그동안 Bristol 대학, Sussex 대학, Glasgow 대학, Ultraaleap 등의 연구 그룹을 중심으로, 컴퓨터 조작을 보조하는 촉각 피드백을 비롯해 여러 가지 실장 형태나 애플리케이션이 검토됐다. Spatiotemporal modulation(STM)법, 즉 초점을 공간적으로 이동시킴으로써 강한 촉각을 일으키는 기법도 Frier 등에 의해 제안됐다.

 

이하에서는 특히 초음파에 의해 제시할 수 있는 촉감을 넓히는 시도 가운데 불연속적으로 생긴 발전을 소개한다. 다음에 설명하는 ‘촉감 재현’이라고 할 수 있는 다양한 촉각 제시를 위해서는 대규모의 페이즈드 어레이에 의해 워크 스페이스를 둘러싸는 구성, 혹은 그것에 준하는 대면적 페이즈드 어레이의 이용이 전제가 된다. 현재까지의 기술로 장치를 만들면 상당히 대규모의 것이 되므로 전문이 다른 연구실에서 ‘좀 시험 삼아 해볼까’하는 수준이 될 수 없다. 어디까지나 최근의 실용성은 도외시하고 진행된 연구 성과라는 것을 미리 밝혀 둔다. 이하에서 소개하는 대부분이 필자 연구실의 성과인 것은 그 때문이다. 다른 그룹의 연구를 의도적으로 숨긴 것은 아니다.

 

또한 쉽게 워크 스페이스를 둘러쌀 수 있는 초음파 디바이스의 개발은 별도로 진행하고 있으며, 그것에 대해서도 시기를 보아 소개하고 싶다. 공중 햅틱스 연구의 최종적인 목표는 폭넓은 실용화인 것도 강조해 두고 싶다.

 

촉각 재현의 촉각 제시 기술

 

1. 강력 음파의 생성

초음파 촉각 제시 초기에, 생성되는 방사압이 작은 것은 가장 심각한 문제였다. 방사압은 초음파 반사면 상의 음향 에너지 밀도에 비례하고 있어, 제시 장소의 음압을 높임으로써 제시력이 증대한다. 그러나 초음파 발생 소자의 출력 강도를 높이기만 하면 목적이 달성되는 것은 아니므로 주의가 필요하다.

 

호시의 해설 논문에서 지적하고 있듯이 공중 초음파를 평면파로서 전파할 수 있는 음압에는 상한이 존재한다는 것이 알려져 있다. 즉, 음원으로부터 일정 거리만큼 떨어진 지점에 센서를 배치해 음원의 진폭을 증대해 가면, 관측 음압은 머지않아 한계에 이르게 된다. 이 상한치의 존재는 음압이 의도치 않게 과대하게 될 위험을 떼어 놓아 안전성을 높여주는 한편, 촉각 제시력의 한계를 나타내는 수치이기도 하다. 이 한계치를 높이기 위한 실용적 방법은 그림 1과 같이 다방향으로부터(광각으로부터) 초음파를 집속시키는 것이며, 이 집속 각도가 충분히 크면 104Pa를 넘는 초점 음압도 생성할 수 있다는 것이 스즈키(鈴木) 등의 실험으로 확인됐다.

 

 

따라서 필자의 연구실에서는 장치가 대규모로 커지는 불이익에 대해서는 눈을 감고, 대면적 페이즈드 어레이에 의해 가능한 한 높은 음압의 분포를 형성하면서 실험을 했다. 이하에서 소개하는 것은 그러한 대형 페이즈드 어레이를 이용해서 얻은 성과이다.

 

2. 물리적인 압력 분포 재현

공중 초음파에 의한 촉감 재현의 첫걸음은 음장 재현, 즉 가상 물체와 피부의 접촉 상태에 따른 힘 분포를 예상한 대로 재현하는 기술이다. 다점 집속 기술로는 Gerchberg-Saxton(GS) 알고리즘이나 Levenberg-Marquardt(LM)법 등을 적용한 유효한 방법이 제안됐다. 이때 한 가지 제약은 디바이스가 발생할 수 있는 방사압에 여유가 없고 모든 초음파 소자를 풀가동시킬 필요가 있다는 것이다.

 

발생해야 할 음압 분포로부터 페이즈드 어레이의 구동 패턴에 대한 역문제를 푼 결과, 페이즈드 어레이의 일부 소자만이 강하게 출력하는 구동 패턴이 얻어진 경우를 생각해 보자. 이 구동 패턴에 비례하면서 ‘모든 소자의 출력이 정격에 들어가는 것’이라는 제약이 가해지면, 대부분의 소자가 쉬게 된다. 이때 페이즈드 어레이로부터 송출되는 총 음향 파워는 각 소자가 최대 진폭으로 구동되는 경우보다 항상 작아지고, 그것은 그대로 방사력(방사압의 총합)이 작은 것을 의미한다. 거기서 최대 인가력을 크게 한다고 하는 관점에서는 각 소자의 구동 진폭은 일정하게 하면서 위상만을 변화시켜 소정의 방사압 분포를 형성할 수 있는 것이 바람직하다. 이러한 구동 패턴을 찾아내는 것은 가능할까?

 

위와 같은 제약 속에서도 양호한 해를 얻을 수 있는 알고리즘이 이미 제안되어 있으며, 앞에서 말한 GS나 LM을 포함한 기법이 마츠바야시(松林) 등의 문헌에 정리되어 있다. 각 소자의 구동 진폭이 일정하다는 것은 언뜻 보면 매우 강한 제약이지만, 타깃 상에서 방사압이 소정의 값이 되어 있으면 되고 초음파 위상은 임의여도 된다는 자유도가 이것을 가능하게 한다.

 

주파수 40kHz의 초음파를 이용하는 경우, 그 파장은 8.5mm 정도이다. 워크 스페이스를 둘러싸도록 페이즈드 어레이를 배치한 경우에는 반파장 정도의 영역까지 집속시킬 수 있기 때문에 손가락 끝 상에도 압력 분포를 만들어 나누는 것이 가능하다. 그림 1 (a)와 같은 평면에 대한 접촉압 분포뿐만 아니라 초음파의 회절도 고려하면서 다양한 국소 형상을 재현할 수 있다는 것을 마츠바야시 등이 제시하고 있다. 그림 2 (b)에 나타낸 연구에서는 손가락이 유연체 접촉할 때의 접촉 면적 변화 차이에 의해 탄성 차이를 제시할 수 있다는 것도 검증됐다.

 

 

3. 압각의 재현

공중 초음파에 의한 제시력에는 실용상의 한계가 있어, 가상 물체와 접촉하는 깊이에 따른 힘을 그대로 인가하는 것만으로는 촉감의 일부밖에 재현할 수 없다. 특히 압각, 즉 시간적으로 완만하게만 변화하는 힘에 대해서는 촉각의 한계치를 넘을 수 없어 그 감각의 제시는 어렵다고 생각되고 있었다. 그 때문에 초기의 촉각 제시는 진동 자극에 한정되어 있었는데, 예를 들면 그 압력을 200Hz로 AM 변조하는 방법이 많이 사용되고 있었다. 다만 여기서 느껴지는 것은 명확한 ‘진동각’으로, 물체에 닿거나 파지하거나 할 때에 느껴지는 촉감과는 다른 것이었다.

 

최근의 모리사키(森崎) 등의 연구에 의해 LM 변조(Lateral Modulation)에서 그 변동 주파수를 10Hz 이하로 설정하고, 또한 초점 변위의 스텝을 충분히 세밀하게 해 불필요한 진동 성분이 발생하지 않도록 함으로써 의사적인 압각을 얻을 수 있다는 것이 밝혀졌다. 충분히 주의를 기울이면 완전히는 정지하고 있지 않지만, 체감적으로는 상당히 압각에 가까운 감각이 재현된다. 피부 상의 어떤 영역에 물리적으로 정상의 압력을 가한 경우, 그 감각은 순응에 의해 시간이 지남에 따라 약해진다. 반면에 이 의사 압력은 자극을 주고 있는 동안, 그 지각 강도를 유지한다. 이때 체감되는 압각을 그림 3과 같이 실제 압각과 비교해 보면, 물리적으로 받고 있는 힘보다 몇 배 이상의 큰 힘이 느껴지는 것을 확인할 수 있다. 순응이 진행된 정압과 비교한 경우에는 그보다 훨씬 더 큰 정압으로 느껴진다.

 

 

압력이 재현되게 됨으로써 역학량에 기인하는 촉감 요소가 거의 다 갖추어진 것이 된다. 즉 물리적인 인가력과 공간해상도에는 일정한 제약이 있지만, 그 범위에서 일종의 만능성을 가지고 촉감을 재현하기 위한 도구가 갖추어졌다고 할 수 있다.

 

4. 냉각의 제시

촉감을 구성하는 물리적 자극의 주요 구성 요소는 역학적 작용과 열적 작용이다. 물체에 닿았을 때의 온도 변화에 따라 열전도도의 차이를 구분할 수 있는데, 그것이 질감의 지각에 중요한 역할을 한다. 또한 접촉 물체로부터 전해지는 온도의 정보는 촉각의 인상이나 정신적인 효과에 강하게 영향을 미치는 파라미터이기도 하다. 비접촉의 피부 온도 상승은 사가(嵯峨)의 제안과 같이 적외선 등의 조사에 의해 실현할 수 있다고 생각되지만, 비접촉의 냉각 제시는 어렵다고 생각되고 있었다. 이에 대해 최근 물의 상온 미스트가 떠다니는 가운데 피부에 초음파를 집속시키면, 피부 표면 부근의 기화열에 의해 그림 4와 같이 냉각이 생긴다는 것이 나카지마(中島) 등에 의해 확인됐다. 그림 4의 예에서는 초음파 조사 직후부터 0.5s 사이에 3K의 온도 저하가 보이며, 이것은 일반적인 펠티어 소자(Peltier device) 등에 의한 냉각과 비교해 손색이 없는 냉각 속도이다. 또한 초점 위치 제어에 의해 냉각 스폿을 이동해 그 이동을 지각할 수 있다는 것도 확인했다.

 

 

5. 여러 가지 감각의 재현

소정의 압력 분포가 실시간으로 생성되어 압각도 재현할 수 있다면, 그 분포를 생성함으로써 만능의 촉감 재현이 가능해진다. 그림 5는 그 개념을 설명하고 있다. 그림 5 (a)의 가상면을 따라 손가락을 움직였을 때에 압각이 재현되고, 그것이 천천히 변동하는 경우를 생각해 보자. 이 상황에서 손가락이 느끼는 촉각을 말로 표현하면 ‘미끈미끈’이 가장 가까울 것이다. 표면을 따라 손가락을 움직였을 때에 진동을 전혀 느끼지 못하는 것은 바로 미끈미끈한 표면에 닿았을 때이기 때문이다. 이 감각을 베이스로 하여 거기에 동적인 힘의 분포를 중첩할 수 있다. 예를 들면 압각에 중첩해서 진동을 중첩하면, 그림 5 (b)와 같은 미세한 표면 텍스처를 재현할 수 있다. 예를 들면 피부 표면에 주어지는 응력의 공간 패턴 중, 공간 파장 1mm 이하의 미세한 성분은 피부 수용기까지 거의 도달하지 않는다. 그러나 손가락을 대상 표면을 따라 이동시켰을 때에는 (시간 주파수는 높지만) 공간 주파수가 낮은 진동 성분이 생기고, 그것은 피부의 비교적 심층에 있는 파치니 소체(Pacinian corpuscle)라고 불리는 수용기에서 감도 좋게 검출된다. 이 진동 성분을 중첩함으로써 미세한 표면 요철에 의한 텍스처가 재현된다. 또한 압각의 공간 패턴을 그려냄으로써 그림 5 (c)의 A와 같은 직경 수 mm 정도까지의 돌기 분포―공간분해능으로서는 8mm 정도―가 재현된다. 40kHz의 초음파를 사용하는 현재의 시스템에서는 그림 5 (c)의 B에 닿았을 때와 같은 집중 하중의 감각은 재현할 수 없다. 그림 5 (d)는 이러한 기술을 이용해 공중 영상에 여러 종류의 촉감을 부여한 SIGGRAPH ASIA 2021의 데모이다. 동물의 코 부위는 미끈미끈하고, 그 주위는 복실복실, 덥수룩한 텍스처를 느낄 수 있다.

 

 

이와 같이 공간분해능과 물리적인 최대력에 제약이 있기는 하지만, 그 범위 내에서는 만능성을 가지고 촉감을 합성할 수 있다. 손을 얹거나 기대거나 할 수 있는 힘은 발생하지 않지만, 피부 자극은 상당히 확실한 재현이 가능하다.

 

현 단계에서 아직 일부만 알고 있는 것은 거기에 시공간의 패턴을 주어 원하는 촉감을 렌더링하는 계산 방법이다. 페이즈드 어레이에 적절한 신호를 보낼 수 있다면, 아마도 충분히 다양한 촉감이 재현되겠지만 그 신호를 어떻게 생성하면 좋은지는 아직 그 방법론이 발견되지 않았다. 또한 손가락을 빠르게 움직인 경우에도 촉감이 무너지지 않게 하기 위해서는 손가락 위치의 센싱과 피드백에 높은 시간 분해능·저지연성과 위치 정도가 요구된다. 완전한 촉감 재현을 목표로 한다면, 이러한 기술 개발의 여지도 매우 크다.

 

3차원 물체의 촉각 재현

 

앞에서 설명한 압력 분포 재현 기술을 3차원의 VR 물체에 적용해 임의의 방향에서 닿거나 파지하거나 하는 것도 어느 정도 가능하게 됐다. 그림 6은 2023년 11월에 개최된 COOL CHOICE 2023이라는 행사에서 시연 전시한 모습이다. 손 주위를 둘러싸는 전방위형의 페이즈드 어레이 배치에 의해 3차원 물체와 접촉하는 것이 재현되어 있다.

 

 

전시의 주제는 ‘날씨를 촉각으로 체감한다’라는 것으로, 빗방울을 모티브로 한 캐릭터가 체험자에게 말을 걸어오고 체험자가 그것에 자유롭게 접할 수 있다. 캐릭터는 슬라임처럼 부드럽고 체험자 손의 움직임에 연동해 변형되면서 압각이 재현된다. ‘물방울’이라는 이미지와 같은 부드러운 물체의 촉감은 손가락과 캐릭터의 상대 위치에 따라 생성되는 압각 자극에 의해 현 단계에서도 상당히 사실적으로 재현할 수 있다. 데모의 후반에서는 ‘손이 호우를 맞는 감각’ 등도 그럴듯하게 체험할 수 있다. 또한 이러한 전시 테마의 구상과 3차원 캐릭터의 시각적 디자인은 ㈜하쿠호도(博報堂)DY 미디어 파트너스의 시노다 히로유키(篠田 裕之)씨(필자와 동성동명이다) 등의 그룹이 했으며, 촉각 제시 장치의 개발과 렌더링은 주로 도쿄대학의 마츠바야시 아츠시(松林 篤)씨가 했다. 또한 페이즈드 어레이 시스템의 미들웨어와 개발 환경은 도쿄대학의 스즈키 하야테(鈴木 颯)씨는 개발했다.

 

맺음말

 

이상, 주로 촉감 재현이라는 관점에서 공중 초음파 촉각 제시 기술의 현황에 대해 소개했다. 앞에서 소개한 촉감 재현 기술의 대부분은 필자의 연구실에서 개발된 것이지만, 현재의 장치는 여전히 크기가 대규모라는 것도 다시 확인해 둔다. 앞에서 말한 Cool Choice 2023의 데모에서는 18×14 소자를 갖춘 초음파 페이즈드 어레이 유닛을 20대 사용해 동기 동작시켰는데, 이들은 결코 손쉬운 장치라고는 할 수 없다. 그 때문에 세계의 대부분의 연구자는 제스처 입력의 확인이나 동작의 유도 등 ‘촉감 재현’ 이외의 활용 영역의 연구를 우선하고 있는 것이 현재의 상황이다. 그러나 앞으로의 기술 개발에 의해 디바이스의 슬림화가 달성되면, 메타버스나 엔터테인먼트의 응용을 포함해 촉감 재현 기술의 실용화가 진전되어 갈 것으로 생각된다.

 

햅틱스 연구에서는 피부와 장치의 기계적 접촉이 전제되어 있어 재현성이 높은 실험, 특히 분포 촉각에 대한 계통적 실험이 어려웠다. 어떻게든 이것을 비접촉으로 할 수 없을까 하는 문제의식은 필자 그룹뿐만 아니라 많은 연구자가 느끼고 있는 부분이라고 생각한다. 2008년 이후 과학연구비와 CREST 등 적지 않은 연구비를 지원받아 현 단계에 도달한 것이지만, 일단 기술이 확립된 후에는 인간의 촉각을 효율적으로 해명하는 툴이라는 의의도 크다. 촉각을 완전 재현하기 위한 최소 자극 세트는 무엇인지, 멘탈 개선 효과가 가장 큰 촉각 자극은 어떤 것인지 등, 접촉식 자극 장치로는 탐색이 어려웠던 문제에도 대응할 수 있게 되고 있다.

 

또한 더 나아가 실용화의 진전과 함께 디바이스의 코스트가 내려가면, 현재 영상이나 음성을 간편하게 공유하고 있는 것과 같은 감각으로, 촉각을 공유하는 시대가 반드시 올 것이다. 매우 기대되지만, 기술이 한 걸음 더 나아가야 할 것이다.