신체에 물리적인 부드러움을 갖춘 로봇 암은 신체의 부드러움을 활용해 물체 조작을 학습하고 수행한다. 이 글에서는 이러한 형태학적 계산을 이용한 로봇의 물체 조작 학습에 관련된 연구 성과를 소개한다. 구체적으로는 유연 손목의 설계, 유연 손목을 이용한 물체 조작의 학습, 형태학적 계산에 의한 환경 인식, 환경 중의 물체를 이용한 형태학적 계산을 소개한다.

 

유연 로봇에 의한 물체 조작의 학습

 

신체에 물리적인 부드러움을 갖춘 로봇 암은 신체의 부드러움을 활용해 물체와 부드럽게 접촉할 수 있다. 로봇이 물리적인 부드러움을 활용해 물체와 부드럽게 접촉할 수 있으면, 물체나 로봇의 모델, 계측 및 실행의 오차를 접촉을 통해 보상할 수 있다. 물리적인 부드러움을 갖춘 로봇 암은 물체와 부드럽게 접촉하기 때문에 시행착오나 교시에 있어서 다양한 접촉을 적극적으로 시도하고, 안전하게 실패 행동을 시험하여 다양한 학습 데이터를 수집할 수 있다. 기계학습을 이용해 로봇의 제어칙이나 행동칙을 자율적으로 획득할 수 있으면, 모델화가 어려운 물리적으로 부드러운 신체의 제어칙을 획득할 수 있고, 수동으로 설계할 수 없을 정도로 다양한 행동을 만들어 내는 행동칙을 생성할 수 있다. 이상과 같이 신체에 물리적인 부드러움을 갖춘 로봇 암은 물체 조작의 학습과 수행에 독자적인 이점을 갖고 있다.

 

로봇이나 동물 등의 행위 주체가 신체, 환경 및 신경계의 상호작용 속에서 적응적인 행동을 창발할 때, 신체가 적응적인 행동을 만들어 내는 것을 형태형 계산(Morphological computation)이라고 부른다. 신체에 물리적인 부드러움을 갖춘 로봇 암이 신체의 부드러움을 활용해 물체와 부드럽게 접촉함으로써 물체 조작을 학습하고 수행하는 것도 형태형 계산이다. 필자 등은 형태형 계산을 이용한 로봇 물체 조작 학습을 탐구하는 가운데 로봇의 설계론, 학습법, 인식법을 개발해 왔다.

 

물체 조작 학습을 위한 유연 손목

 

1. 유연 손목의 설계

필자 등은 부품 삽입과 같은 접촉이 많은 물체 조작(Contact-rich manipulation)을 신체의 물리적인 부드러움을 활용해 학습하는 로봇 암을 설계했다. 신체의 물리적인 부드러움을 활용해 접촉이 많은 물체 조작을 학습하는 로봇에 필요한 요소로서, 필자 등은 물체 자세의 오차를 보상하는 큰 신체 부위의 변형과 확실한 학습을 가능하게 하는 암 끝 자세의 제어성을 중시했다. 신체의 물리적인 부드러움을 활용해 물체 조작을 수행하는 로봇 암을 설계하는 가운데 유연 손목의 개발에 이른 경위를 설명한다. 그림 1에 개발한 손목을 나타냈다.

 

 

신체의 물리적인 부드러움을 활용해 물체 조작을 수행하는 로봇 암의 설계에서는 물리적인 부드러움을 갖는 기계 요소인 유연 요소를 로봇의 신체에 부가한다. 유연 요소를 부가하는 로봇의 신체 부위 후보로는 손끝, 손목 및 관절을 들 수 있다. 부드러운 손끝으로서 부드러운 손가락을 로봇에 사용하면, 로봇은 유연하게 물체와 접촉할 수 있다. 부드러운 손가락을 로봇에 사용하면, 수동적으로 손가락을 물체 형태로 변형시켜 물체를 둘러싸 안정적으로 물체를 파지할 수 있다. 그러나 손끝에 부가되는 유연 요소는 탑재하기 위한 부피가 제한되어 있기 때문에 변형량이 다른 부위보다 작다.

 

한편, 직렬 탄성기구 등을 이용해 로봇 관절에 유연 요소를 탑재하면 부드러운 관절을 구성할 수 있다. 그러나 관절에 유연 요소를 부가하면 관절이 대형화되고, 유연 요소가 없는 경우보다 손끝 자세를 제어하기 어려워진다. 암 전체를 유연하게 하는 경우도 마찬가지로 손끝의 자세 제어가 어렵다. 반면, 손목에 유연 요소를 부가하면 손끝에 부가한 경우보다 큰 변위를 만들고, 손목 위에 있는 암 끝 자세의 제어성을 유지할 수 있다. 더불어 부드러운 손목을 사용하는 경우, 기존 로봇 암과 그리퍼 사이에 부드러운 손목을 장착하는 것만으로 기존의 단단한 로봇 암에 물리적인 부드러움을 부여할 수 있다. 이상의 이유로부터 필자 등은 신체의 부드러움을 활용해 물체 조작을 학습하는 로봇 암의 유연 손목을 개발했다.

 

공장에서 특정의 물체 조작을 반복하는 로봇 암이 자세 오차를 보상하기 위해 부드러운 손목을 사용하는 경우, 오차의 방향과 크기를 사전에 예상할 수 있기 때문에 예상한 오차를 보상하는데 충분한 자유도와 변위 크기를 갖춘 손목을 선택하면 된다. 반면, 다양한 물체 조작을 학습하는 로봇 암에 사용하는 유연 손목에 필요한 변위의 크기와 자유도는 사전에 정해지지 않는다. 이 때문에 개발한 손목에서는 손목의 제한된 공간에서 최대한으로 6자유도 변형하는 유연 요소를 갖추는 것을 목표로 설계했다.

 

개발한 손목은 암의 손끝에 장착하는 상부와 그리퍼에 장착하는 하부로 구성되며, 상부와 하부는 병렬하는 3개의 스프링으로 접속된다. 손목은 베이스에 놓인 공기압 실린더에 의해 와이어를 통해 구동된다. 실린더가 와이어를 당기면, 상부와 하부가 맞물려 외력에 의해 손목이 변형되지 않는 단단한 상태가 된다. 와이어가 느슨해지면 상부와 하부가 떨어지고, 그리퍼가 받은 외력에 의해 손목의 스프링이 변형하게 된다. 하부는 상부에 대해 6자유도로 변위한다. 이 손목은 단단한 상태와 부드러운 상태뿐만 아니라, 와이어 길이를 바꿈으로써 손목 강성을 연속적으로 조정할 수 있다. 와이어에 견인되어 스프링이 크게 줄어든 상태에서는 손끝의 접촉력으로 스프링이 줄어들기 어려워 큰 항력을 만들고, 스프링 작게 줄어드는 상태에서는 작은 항력을 만든다.

 

기존의 유연 손목 설계에 있는 것처럼 변형하는 방향마다 다른 스프링을 사용하는 경우, 스프링 각각을 지지하는 구조체가 필요해지고 손목이 대형화된다. 반면, 개발한 손목은 변형 방향과 대응하지 않는 병렬하는 3개의 스프링을 사용함으로써 점유 부피를 줄였다. 또한 구동장치를 손목 내부에 두는 경우, 외부와 접속하는 와이어가 불필요해지는 대신에 손목의 무게와 점유 부피가 증가해 변위에 쓸 수 있는 공간이 줄어들게 된다. 반면, 개발한 손목은 와이어 구동을 이용해 외부에 구동장치를 두기 때문에 손목의 제한된 공간을 최대한 활용한 6자유도의 대변형이 가능하다.

 

2. 유연 손목을 이용한 물체 조작의 학습

필자 등은 개발한 유연 손목을 이용해 유연한 로봇 암에 의한 물체 조작의 학습 기법을 제안했다(그림 2). 개발한 손목을 사용하면 손목의 유연성이 물체 간의 자세 오차를 보상하기 때문에 적은 변수로 표현된 상태를 제어하는 것만으로 접촉이 많은 물체 조작의 동작 각각을 수행할 수 있다. 이러한 장점을 살려 필자 등은 신체의 유연성을 활용해 단시간에 물체 조작을 학습하는 기법을 제안했다. 이 학습 기법은 접촉, 접근, 축 맞춤, 삽입 등 여러 서브 태스크로 부품 삽입 작업을 분할, 서브 태스크의 실현에 필요한 적은 변수를 관측하고 제어하는 모델 기반 강화학습 기법이다. 이 기법에서는 서브 태스크의 완료 조건은 사람이 제공하고 있었다. 이후 연구에서는 부품 삽입 서브 태스크 완료에 따른 촉각 특징을 학습하는 모델 기반 강화학습 기법을 제안했다. 개발한 유연 손목을 이용함으로써 다양한 접촉 행동을 훈련 중에 만들어 내고, 3축 분포 촉각 센서로 촉각 패턴을 학습함으로써 서브 태스크 완료를 적확하게 판단하는 데 충분히 다양하고 많은 데이터를 획득할 수 있다.

 

 

개발한 유연 손목을 갖춘 로봇 암은 접촉력에 따라 유연 요소가 변형되기 때문에 단단한 암보다 과잉의 힘이 잘 발생하지 않는다. 이러한 장점을 살려 필자 등은 유연 암이 실패와 성공의 교시 궤적 양쪽을 활용해 부품 삽입을 학습하는 기법을 개발했다. 이 학습 기법에서는 사람이 로봇을 조작해 부품 삽입을 수행하고, 실패와 성공 양쪽의 궤적을 로봇에 제공한다. 단단한 로봇은 실패 동작에서 과잉의 힘이 발생해 긴급 정지나 부품 및 로봇의 파손이 발생하게 된다. 반면, 부드러운 로봇은 과잉의 힘이 발생하는 것을 피할 수 있기 때문에 실패의 궤적을 수집하기 쉽다.

 

개발한 유연 손목을 갖춘 로봇 암은 사람과 안전하게 힘을 주고받을 수 있다. 이러한 장점을 살려 필자 등은 사람이 로봇에 힘을 가함으로써 물체의 계측 오차에 대해 강건한 부품 삽입을 학습하는 기법을 개발했다. 이 기법에서는 초반에는 로봇 학습을 돕도록, 후반에는 학습을 방해하도록 사람이 로봇에 힘을 가한다. 이로 인해 학습이 어려운 초반에는 사람의 도움을 빌려 학습을 효율화할 수 있고, 후반에는 사람에 의해 방해받음으로써 더 강건한 제어칙을 획득할 수 있다.

 

신체에 물리적인 부드러움을 갖춘 로봇의 신체는 복잡하게 변형하기 때문에 단단한 로봇보다 상태 전이를 나타내는 다이내믹스 모델을 설계하는 것이나 학습하는 것이 어렵다. 그래서 필자 등은 부드러운 로봇 암이 과거 경험을 활용해 새로운 부품 삽입을 효율적으로 학습하기 위해 과거 환경에서 학습한 다이내믹스 모델을 집약해 이용하는 모델 기반 강화학습을 제안했다.

 

신체에 물리적인 부드러움을 갖춘 로봇 암은 신체의 부드러움을 활용해 물체와 부드럽게 접촉함으로써 접촉이 많은 물체 조작을 학습하고 수행할 수 있는 장점이 있다. 이러한 장점을 살리기 위한 기법으로 필자 등은 부드러운 로봇 암이 적극적으로 만들어 내는 접촉을 동반한 물체 조작을 효율적으로 학습하기 위해 접촉의 방식에 따라 다이내믹스 모델을 분할해 효율적으로 학습하는 복수 모델을 학습하고 이용하는 모델 기반 강화학습 기법을 제안했다.

 

이상에서 소개한 기법은 물리적인 부드러움을 활용해 로봇이 물체 조작을 학습하는 기법이다. 이러한 기법은 이하에 설명하는 물리 리저버 계산을 이용하고 있지 않다. 다만, 훈련이나 수행의 운동 중에 로봇 신체의 물리적인 부드러움을 활용한 적응적인 행동이 만들어지고 있다. 이 적응적 행동을 물리 리저버 계산으로 파악, 분명하게 로봇의 행동을 만들어 내는 계산에 포함함으로써 소개한 강화학습 기법이나 역강화학습 기법과 물리 리저버 계산을 통합한 기법으로 발전시킬 수 있다.

 

물체 조작 학습의 기초가 되는 형태형 계산

 

1. 형태학적 계산에 의한 환경의 인식

단단한 로봇 신체는 운동 지령에 의해 계획한 궤적을 따라 움직이고, 로봇의 운동에 의해 환경 중의 물체를 움직인다. 반면, 신체에 물리적인 부드러움을 갖춘 로봇의 신체는 운동 지령에 의해 생기는 움직임에 더해 환경 중의 물체로부터 받은 접촉력으로 수동적으로 움직인다. 이 수동적인 운동을 통해 로봇은 환경 중의 물체가 갖춘 성질을 이해할 수 있다. 로봇의 신체와 환경 중의 물체가 상호작용하는 운동에서 감각 입력의 시계열을 이용해 인식 과제를 푸는 것은 형태형 계산의 일종이다. 특히, 감각 입력의 크기를 신경 세포의 활성도로 간주해 신체를 리저버 네트워크로서 파악하고, 로봇의 신체 운동을 활용해 물리 리저버 계산을 사용할 수 있다.

 

필자 등은 날갯짓 로봇에 의한 물리 리저버 계산을 이용한 풍향 추정법을 제안했다(그림 3). 이 날갯짓 로봇은 필름으로 된 가볍고 부드러운 날개를 가지고 있으며, 날개에는 부드러운 여러 개의 변형 센서를 갖추고 있다. 이 변형 센서는 충분히 부드럽기 때문에 부드러운 날개의 유연함을 유지한 채로 날개의 움직임을 계측할 수 있다.

 

 

실험에서는 로봇의 날개를 구동해 날갯짓하게 하고, 전방이나 측방 등 여러 방향에서 바람을 쐬어 변형 센서의 값을 계측했다. 날개 변형의 시계열은 풍향에 따라 변한다. 이 때문에 센서의 시계열 정보로부터 풍향을 추정하는 학습에서 단순한 식별 모델을 이용해 풍향의 추정에 성공했다.

 

이는 물리 리저버 계산을 이용한 날갯짓 로봇에 의한 풍향 추정이다. 동일한 틀에서 유연 로봇도 조작 물체를 식별할 수 있고, 상태나 형태 등의 특성을 추정할 수 있다.

 

2. 환경 중의 물체를 이용한 형태학적 계산

앞에서 말한 날갯짓 로봇 연구에서는 물리적인 부드러움을 갖춘 신체 부위의 변형을 이용해 계산했다. 물리 리저버 계산은 운동 등 물체의 상태 변화를 이용한 계산이기 때문에 물리 리저버 계산에 쓸 수 있는 물체는 로봇 신체에 한정되지 않는다. 필자 등은 매질을 통해 환경 중의 물체를 움직임으로써 자신의 신체에 더해 환경 중의 물체를 물리 리저버 계산에 이용할 수 있다는 것을 보였다.

 

실험에서는 근본에 모터를 갖추고 실리콘으로 된 부드러운 암을 물을 채운 수조에 넣어 움직이고, 모터로 움직인 암에서 거리를 둔 장소에 다른 실리콘을 넣었다(그림 4). 각각의 실리콘에는 부드러운 변형 센서를 내장해 실리콘 변형을 계측했다. 이 변형 센서는 충분히 부드럽기 때문에 실리콘의 유연한 변형을 방해하지 않고 계측할 수 있다. 구동된 암의 움직임에 의해 수조 안의 물이 모터로 휘저어져 운돈하고, 물의 움직임을 받아 다른 실리콘도 운동한다. 이들 실리콘 암, 물 및 다른 실리콘은 서로 힘을 주고받으며 서로의 운동을 형성하고 때로는 주기적인 운동으로 서로 끌어당긴다.

 

 

해석에서는 운동 지령과 센서 값을 계측한 후, 계측한 운동 정보로 계산 과제를 풀 수 있는지를 조사했다. 그 결과, 모터로 운동시킨 실리콘 암의 정보만이 아니라, 다른 실리콘 정보도 같이 사용한 쪽이 계산 과제를 해결하는 성능이 향상됐다. 즉, 신체뿐만 아니라 물과 같은 매체를 통해 환경 중의 물체도 이용해 계산할 수 있다는 것을 알았다.

 

맺음말

 

이 글에서는 형태학적 계산을 이용한 로봇의 물체 조작 학습에 관련된 연구 성과로서 유연 손목의 설계, 유연 손목을 이용한 물체 조작 학습, 형태학적 계산에 의한 환경의 인식, 환경 중의 물체를 이용한 형태학적 계산을 소개했다. 필자 등은 신체의 물리적인 부드러움을 활용해 물체 조작을 수행하는 로봇 암의 유연 손목을 개발하고, 유연 손목을 활용해 접촉이 많은 물체 조작을 학습하는 기법을 개발했다. 더불어 필자 등은 물리 리저버 계산을 이용해 신체의 물리적인 부드러움을 활용해 환경을 인식하는 기법을 개발하고, 매질을 통해 환경 중의 물체를 물리 리저버 계산을 하는 기법을 개발했다.

 

앞으로의 과제는 신체의 물리적인 부드러움을 활용한 물리 리저버 계산을 이용한 물체 조작에 적합한 로봇의 신체 설계법 및 물리 리저버 계산을 이용한 인식, 제어, 행동 계획과 역강화학습, 강화학습의 통합이다. 이러한 과제들이 해결되어 신체의 물리적인 부드러움을 활용해 물체 조작을 수행하는 로봇의 새로운 아키텍처가 실현되기를 기대하며 이 글을 마친다.