KR102016208B1 - 규칙적인 패턴이 형성되어 있지 않는 재료를 센서로 활용하는 방법과 센싱 시스템 - Google Patents

Abstract

본 발명은 머신러닝을 이용한 센싱 방법에 관한 것이다.
본 발명에 따른 센싱 방법은, 소정의 수단을 사용하여 외부 자극에 대하여 검출 가능한 신호를 생성하는 재료의 임의의 위치에 자극을 복수 회 가하는 단계와, 컴퓨터가 상기 자극을 통해 생성된 신호를 사용하여 머신 러닝을 수행하는 단계와, 컴퓨터가 머신 러닝을 통해 도출한 모델을 이용하여 상기 재료에 가해지는 자극의 위치 또는 정도를 예측하는 단계를 포함한다.

Description

규칙적인 패턴이 형성되어 있지 않는 재료를 센서로 활용하는 방법과 센싱 시스템 {METHOD FOR USING MATERIALS HAVING NO REGULAR PATTERN AS SENSOR AND SENSING SYSTEM}

본 발명은 머신러닝을 이용한 센싱 방법과 센싱 시스템에 관한 것이다.

전자 피부라고 불리는 인공 피부를 제조하기 위한 끊임없는 노력이 진행되어 왔고, 기능적인 성능의 측면에서는 실제 인간의 피부에 근접한 수준이 되었다.

그리고 전자 피부 성능을 좌우하는 주 요소는, 접촉 위치 및 당해 위치의 변형(또는 압력)을 인식하는 것을 구비한 촉각 감지다.

이러한 전자 피부용으로 다수의 변형(strain) 센서가 개발되어 있다. 기존의 전자 피부에 있어서 어떠한 변형 센서 타입을 고려하더라도, 모든 전자피부에 구비되는 공통적인 구성은, 소위 특정 영역에 대한 패턴(pattern)이라고 불리는 장치 요소의 규칙적인 배열이다.

이러한 패턴, 즉 단층 또는 다층에 대한 다중 모드 배열은 신뢰성 있는 전자 피부를 구현하는데 필수적이고, 이것이 없이는 시스템적으로 피부의 특정 영역에 대한 압력 분포를 검출할 수 있는 방법이 없다.

이와 관련하여, 저항형, 정전용량형, 유도형, 압전저항형, 광학형, 자성형, 바이너리형, 압전전기형, 또는 유압형 센서 장치와 같이 다양한 형태의 촉각 또는 위치센서가 개발되어 있다.

그런데, 이 모든 센서들은, 검출된 신호를 처리하기 위한 논리회로 설계를 구비한 다층 기판 상에 장치 요소의 특정한 패턴을 구비한다. 예를 들어, 저항 터치패널용으로 개발된 층 사이에 배치된 극히 단순한 스페이서(spacer) 패턴부터, 복잡한 와이어 배열을 구비한 변형게이지 센서용 패턴과 TFT 배열 패턴과 같이 극히 복잡한 패턴에 이르는 다양한 형태가 있다.

또한, 패턴의 제조방법도 단순한 프린팅법부터 복잡한 반도체 공정을 사용하는 것까지 매우 넓은 간극이 있다. 그런데 신뢰성 높은 전자 피부를 저가로 제조함에 있어서 패턴 형성 공정은 주요한 장벽의 하나가 되고 있다.

또한, 종래의 전자 피부에 관한 센싱 장치에서는 부하의 위치인식은 가능하였으나, 부하의 압력정도는 인식하기 어려운 문제점도 있다.

미국 공개특허공보 2013/0287271

본 발명의 일 과제는, 머신 러닝 기법을 사용하여, 전자 피부를 비롯한 다양한 장치에 사용되어, 부하의 위치 인식뿐 아니라, 부하의 정도를 정확하게 측정할 수 있는 센싱 방법과 이 센싱 방법을 적용한 센싱 시스템을 제공하는 것이다.

본 발명의 다른 과제는, 머신 러닝 기법을 사용하여, 패턴이 형성되지 않은 재료를 사용하여도, 부하의 위치 인식과 부하의 정도를 측정할 수 있는 센싱 방법과 센싱 시스템을 제공하는 것이다.

상기 과제를 해결하기 위한 본 발명에 따른 센싱 방법은, 소정의 수단을 사용하여 외부 자극에 대하여 검출 가능한 신호를 생성하는 재료의 임의의 위치에 자극을 복수 회 가하는 단계와, 컴퓨터가 상기 자극을 통해 생성된 신호를 사용하여 머신 러닝을 수행하는 단계와, 컴퓨터가 머신 러닝을 통해 도출한 모델을 이용하여 상기 재료에 가해지는 자극의 위치 또는 정도를 예측하는 단계를 포함한다.

또한, 상기 센싱 방법에 있어서, 상기 검출 가능한 신호를 생성하는 재료를 복수 개의 가상 섹터로 구분하여 각 섹터에 상기 자극을 복수 회 가하고, 각 섹터별로 생성된 신호를 사용하여 머신 러닝을 수행할 수 있다.

또한, 상기 센싱 방법에 있어서, 상기 생성된 신호와 함께 자극을 가한 위치 좌표를 사용하여 머신 러닝을 수행할 수 있다.

또한, 상기 센싱 방법에 있어서, 상기 재료는 단순화의 측면에서 규칙적인 패턴이 형성되어 있지 않은 물질이 가장 바람직하나, 일정한 패턴이 형성되어 있는 것도 센싱을 하는 기능의 측면에서는 제한 사항이 되지 않는다.

또한, 상기 센싱 방법은, 상기 센싱 방법은, 전자피부, 터치 패널, 플렉서블 키보드, 수화 통역 장갑, 사회기반 시설의 안전진단, 위장관에서의 운동성과 연동운동장애 진단, 또는 대면적 스트레인 게이지의 센서에 사용될 수 있다.

또한, 상기 센싱 방법에 있어서, 복수 개의 가상 섹터로 구분하여 자극을 가할 경우, 단일 섹터별로 수직 하중을 가하거나, 다중 하중을 2개 이상의 섹터에 가할 수 있다.

또한, 상기 센싱 방법에 있어서, 가상 섹터로 구분하지 않고 임의의 위치에 자극을 가할 때도, 단일의 수직 하중을 가하거나, 여러 위치에 수직 하중을 동시에 가할 수 있다.

상기 다른 과제를 해결하기 위한 본 발명에 따른 센싱 시스템은, 외부 자극에 대하여 검출 가능한 신호를 발생하는 재료와, 상기 재료에 자극을 복수 회 가하고 생성된 신호를 사용하여 머신 러닝을 수행하여 도출된 모델을 저장하는 저장 수단과, 상기 모델을 이용하여 상기 재료에 가해지는 자극의 위치 또는 정도를 연산하는 연산수단을 포함한다.

또한, 상기 센싱 시스템에 있어서, 상기 검출 가능한 신호를 생성하는 재료를 복수 개의 가상 섹터로 구분하여 각 섹터에 상기 자극을 복수 회 가하고, 각 섹터별로 생성된 신호를 사용하여 머신 러닝을 수행할 수 있다.

또한, 상기 센싱 시스템에 있어서, 상기 생성된 신호와 함께 자극을 가한 위치 좌표를 사용하여 머신 러닝을 수행할 수 있다.

또한, 상기 센싱 시스템에 있어서, 상기 재료는 단순화의 측면에서 규칙적인 패턴이 형성되어 있지 않은 물질이 가장 바람직하나, 일정한 패턴이 형성되어 있는 것도 센싱을 하는 기능의 측면에서는 제한 사항이 되지 않는다.

또한, 상기 센싱 시스템은, 전자피부, 터치 패널, 플렉서블 키보드, 수화 통역 장갑, 사회기반 시설의 안전진단, 위장관에서의 운동성과 연동운동장애 진단, 또는 대면적 스트레인 게이지의 센서용일 수 있다.

본 발명에 따른 센싱 방법과 센싱 시스템에 의하면, 머신 러닝을 통해, 센싱 시스템에 가해지는 부하의 위치와 정도를 정확하게 측정할 수 있다.

또한, 본 발명의 일 실시예에 의하면, 규칙적인 패턴이 없이도 센싱 시스템에 가해지는 부하의 위치와 정도를 정확하게 예측할 수 있어, 인공 피부와 같은 영역의 제조비용을 현저하게 절감할 수 있다.

또한, 본 발명의 일 실시예에 의하면, 재료의 표준화가 어느 정도 이루어질 경우, 특정 재료의 학습결과를 동종의 다른 재료에도 적용할 수 있게 되어, 학습 비용을 크게 절감할 수 있다.

또한, 본 발명의 일 실시예에 의하면, 예를 들어 PDMS 기지에 균질하게 분포된 CNT를 구비한 압전저항 복합필름과 같은 단순한 시트 또는 필름을 사용하여, 대면적에서도 구현될 수 있을 뿐 아니라 신뢰성 높은 변형(및 위치) 감지가 가능하면서, 동시에 규칙적인 패턴이나 다층 구조를 필요로 하지 않는다.

또한, 본 발명의 일 실시예에 의하면, PDMS 기지의 경화제 분율, CNT 첨가비율, 시트의 두께 등을 제어하면 약한 촉감 수준에서부터 고통을 느끼는 수준까지 광범위한 압력 감지가 가능하다.

또한, 본 발명의 일 실시예에 의하면, 단순한 단일 섹터별 수직하중 이외의 복잡한 다중하중이 두 개 이상의 섹터에 작용하는 경우도 DNN의 학습으로 센싱가능하다.

도 1은 본 발명의 실시예에서 전자 피부로 사용한 CNT/PDMS 복합 필름의 개략도이다.
도 2는 본 발명의 실시예에 따른 전자 피부의 머신 러닝을 위한 CNT/PDMS 복합 필름에 부하를 가하기 위한 장치(나무 막대 및 장난감 손가락)와 전기적 신호를 검출하기 위한 단자(가운데 도면)의 배치를 나타낸 것이다.
도 3은 본 발명의 실시예에 따른 전자 피부의 학습 및 테스트용 시스템의 구성도이다.
도 4a는 도면의 오른쪽에 나타낸 일축 인장 시험편에 대해 1Hz의 주파수를 갖는 주기적 하중에 대한 시간의 함수로서 하중(변위 또는 압력) 및 전기 저항을 나타내는 플롯을 나타낸 것이다.
도 4b는 1, 3 및 6Hz의 주파수에서 일축 인장 시험편에 대한 전기 저항 대 변위의 플롯을 나타낸 것이다.
도 4c는 8개의 프로브 단자 전극 신호 vs. 6×6 섹터 위치에서의 변위(압력) 및 0 ~ 1.2MPa의 압력 범위에서의 압력 대 변위 곡선(아래의 오른쪽)을 나타낸 것이다.
도 5는 본 발명의 실시예에서 적용한 딥 러닝을 위한 계층도이다.
도 6은 본 발명의 실시예서 사용한 데이터 세트 구조를 나타낸 것이다.
도 7a는 본 발명의 실시예에서 사용한 4, 8 및 16 피츄어(feature)를 갖는 위치 인식용 DNN 아키텍처를 나타낸 것이다.
도 7b는 본 발명의 실시예에서 사용한 8 및 16 피츄어를 갖는 압력 인식용 DNN 아키텍처를 나타낸 것이다.
도 8은 가상의 섹터 구분없이 실제 좌표를 얻기 위한 회귀형 DNN 아키텍처를 나타낸 것이다.
도 9는 본 발명의 실시예에서 수행한 36(6×6)개의 가상 섹터의 각각에 대해 예측된 것에 대한 측정된 변위(압력)의 플롯을 나타낸 것이다.
도 10은 본 발명의 실시예에서 수행한 36개 섹터 각각에 대한 예측 압력 대 실험 압력의 플롯을 나타낸 것이다.
도 11은 특정 섹터 위치(6×6 섹터 매트릭스의 4번째 행과 3번째 열)에서 압력 함수로서의 8개의 전기 저항 곡선으로, 높은 압력 측정을 위한 두껍고 단단한 시트(도 11(a))의 것과, 낮은 압력 검출을 위한 얇고 부드러운 필름(도 11(b))의 것을 나타낸 것이다.

이하 본 발명의 바람직한 실시예에 대해 설명하나, 본 발명이 하기 바람직한 실시예에 한정되어 해석되어서는 안 되며, 본 발명의 개념 범위 내에서 다양한 형태의 변형이 가능할 수 있는 것으로 해석되어야 한다.

CNT/PDMS 압전저항 복합 필름의 제조

상용의 MWCNT(다중벽 탄소나노튜브(Multi-Walled Carbon Nanotube), '이하 CNT'라고 함, 나노 머티리얼 테크놀러지사)와 PDMS(Sylgard® 184 Silicone Elastomer)를 사용하여, 도 1에 개략적으로 도시된 바와 같이, CNT가 무작위로 분포된 균질한 복합재를 합성하였다.

CNT는 길이 5㎛, 직경 20nm의 다중벽을 가진 것을 사용하였고, 플라스틱 실린더 용기에 액상 PDMS를 넣고 1중량%의 CNT를 혼합하고 교반한 후 PDMS를 경화시킴으로써 압전저항 패치를 제조하였다.

구체적으로, PDMS 내에서 CNT의 응집이 없는 균질한 분산을 위하여, 10mm의 직경을 갖는 알루미나 볼(alumina ball) 약간을 투입하고, 플래너터리 전단 믹서를 사용하여 2시간 동안 400rpm의 속도로 교반하였다. 이후, PDMS 경화제를 PDMS 중량의 10%가 되도록 첨가한 후, 20분간 플래너터리 전단 혼합기에 유지하였다. 마지막으로 복합재 내에 기포가 트랩되지 않도록 20분간 진공상태에서 탈가스 처리를 수행하였다. 유리판 상에, 몰드를 준비하고 닥터 블레이드 기법을 사용하여, 압전저항 CNT/PDMS 복합재를 주조하였다. 그리고 유리 기판을 60℃에서 30분간 가열하여, CNT/PDMS 복합재가 가로×세로×두께 치수가 40mm×40mm×5mm가 되도록 고화시켰다.

또한, 얇은 필름을 형성하기 위하여, 0.1mm, 1mm, 및 2 mm의 깊이를 갖는 다른 몰드도 사용하였고, PDMS 경화제 조절을 통해 시트의 탄성 특성을 다양하게 하였다.

이러한 과정을 통해, 도 2의 가운데 사진에서 확인되는 바와 같이, 표면에 어떠한 패턴 구조도 형성되지 않은 CNT-PDMS 복합 시트를 제조하였다.

학습 및 테스트 데이터의 수집

도 2의 가운데 사진에 보인 바와 같이, 몇 가닥의 구리 선을 CNT-PDMS 패치의 측면에 20mm의 간격으로 배치된 CNT-PDMS 단자에 연결되었다. 또한 CNT-PDMS 패치의 중앙에는 그라운드를 배치하고 직류 5V 바이어스를 가하였다.

여러 가지의 저항 측정 프로브 단자는 패턴이 없는 센서 패치에서 중요한 역할을 하기 때문에, 각 측면에 1개에서 4개의 프로브를 다양하게 사용하였다. 도 2는 본 발명의 실시예에서 각 측면에 2개의 프로브를 연결한 패치(중앙)의 실제 사진이다.

또한, 시험 단계의 구성도를 도 3에 나타내었다. 도 3에 보인 바와 같이, 본 발명의 실시예에 따른 전자 피부용 학습 및 테스트는, 부하를 가하는 장치(Instron 3000)와 이 장치에 장착된 시편과 이 시편으로부터 전기적 신호를 검출하는 프로브와, 상기 장치로부터 받은 하중 및 변위 데이터와 프로브에서 회로를 거쳐 받은 전기 신호 데이터를 디지털로 변환하는 DAQ와, 변환된 데이터를 연산하고 상기 장치에 신호를 전달하는 컴퓨터를 포함하여 이루어진다.

패치 학습은 인스트론 E3000을 사용하였다. 전체 압전 저항 패치 영역은, 가상적으로 m×m 섹터(m = 4, 6 및 10)로 분할되었다. 이러한 가상 섹터 분할로 손가락 접촉 면적에 상응하는 정도의 단일 섹터 면적(즉, 공간 해상도)이 부여된다.

인스트론 E3000에는, 도 2의 우측에 보인 바와 같이, 둥근 선단을 가지는 실린더형 바를 장착하여, 시스템적으로 압전 저항 패치의 선택된 섹터 영역을 가압하도록 하였다.

또한, 가압지점을 변경하기 위하여, 가동 x-y 스테이지 상에 압전 저항 패치를 배치하였다.

각각의 섹터에 반복적인 가압을 통해, 패치의 측면에 배치된 4개, 8개 및 16개의 프로브(probe)로부터, 도 4(c)에 나타낸 바와 같이, 전기적인 저항 데이터를 수집하였다. 이러한 과정을 통한 학습 데이터 세트를 수집과 병행하여, 학습 데이터용의 스틱에 비해 연질이고 인간의 손가락에 더 가까운 인공적인 플라스틱재의 손가락을 사용하여 테스트 데이트 세트를 별개로 수집하였다.

DNN (Deep Neural Network) 구성

기본적으로 본 실시예의 DNN 구성은, 도 5에 나타낸 바와 같이, 두 개의 채널로 구성된다. 그 하나는 위치인식용이고 다른 하나는 변형(압력)인식용이다.

이들 두 개의 채널은 실제 감지 상황에서는 동시에 작동된다. 입력데이터는 n-차원(1×n) 벡터로 벡터화되고, 벡터의 요소는 n 단자 전극(n=4, 8, 및 16)의 각각으로부터 측정된 실제 저항 값의 개수를 의미한다. 입력벡터 요소의 개수(n), 즉 입력벡터의 차원은 입력 피츄어(feature) 수로 표현할 수 있다.

압력(0에서 1.2MPa)의 특정 레벨이 관련 섹터에 가해지고, 가압 중에 데이터가 수집된다. 그 결과, 본 실시예에서는 각 섹터당 1500개의 n-차원 입력벡터를 수집하였고, 10회의 독립적인 측정이 각 섹터에서 수행되었으며, 그리하여 전체적인 학습 데이터 세트는 6×6 섹터에 대하여 540,000(1,500×36×10)개의 n-차원 입력벡터를 구성하였다.

본 실시예의 학습 데이터 세트 구조 및 테스트 데이터세트 구조를 도 6(a) 및 6(b)에 개략적으로 나타내었다. 위치인식용 레이블(출력) 데이터는 6×6 매트릭스의 행과 열을 지시하는 섹터 좌표이고, 변형(압력)용 레이블 데이터는 실제 수치이다. 테스트 데이터 세트는 유사한 데이터 구조를 가지나, 2회의 독립적인 측정만이 각 섹터에서 행하여졌다. 무엇보다도 주목할 점은 테스트 데이터 세트는 각 섹터 학습 데이터 세트에 사용된 목재 바(bar)와 다른 장난감 손가락에 의해 독립적으로 준비된 것이다.

CNT-PDMS 재의 압전 저항이 변형속도에 영향을 받지 않는다는 점이 입증되어 있다. 이는 압전 저항이 단지 절연체인 PDMS 기지에서 전도체인 CNT 분포의 순간적인 상태에만 영향을 받고, 변형속도에는 영향을 받지 않는 것을 의미한다.

압전 저항은 도 4(a) 및 4(b)에서 보인 바와 같이, 부하 주파수에 관계없이 변형(변위 또는 압력)에 완벽하게 선형적인 관련성을 나타내는 것으로 입증되었다.

본 발명에 있어서, '압력'이라는 표현은 '변형' 및 '변위'와 함께 사용될 수 있다. '압력', '변위' 및 '변형'이라는 용어는 실제적인 관점에서 출력 신호로서 동등하게 취급되어야 한다. 왜냐하면, 이들 모두 비탄성 거동이나 소성 거동이 없이 정적 및 동적 조건에서 완벽하게 선형적인 관계이기 때문이다. 결과적으로, 여기서 사용된 용어에 어떠한 차이도 없다.

본 발명의 실시예에 있어서, DNN 아키텍처는 중간(은닉)층의 수, 각 층의 노드 수(뉴런), 활성화 함수(activation function)의 세부내용, ReLU(Rectified Linear Unit), 드롭 아웃(dropout), 배치 크기(batch size), 에포크 제어(epoch control), 및 유효성 검사 세트 설정 등에 의해 분류된다.

입력층의 노드 수는 피츄어 수, 입력 벡터 차원 및 프로브 단자 전극 수와 같다.

최종 아키텍처, 즉 중간(은닉)층의 수와 ReLU의 채택으로 매개변수화된 DNN 아키텍처와 각 층의 노드 수는 많은 시도를 통해 결정되었다.

본 발명의 실시예에서는, 입력층에 8개의 노드가 있고 출력층에 36(6×6) 노드가 있는 DNN 아키텍처에 대해서만 구체적으로 학습 및 테스트 결과를 도출하는 과정을 제시하고, 입력층에 16개 노드와 4개의 노드가 있는 다른 DNN 아키텍처와 학습 및 테스트 결과는 표 1에 요약하여 제시한다.

학습 및 테스트 결과와 함께 DNN 아키텍처 버전이 아래의 표 1에 요약되어 있으며 4개, 8개 및 16개 노드가 있는 DNN 아키텍처의 개략도를 도 7a(위치인식용)과 도 7b(압력인식용)에 나타내었다.

이중, 16개 노드의 경우 학습 및 테스트에 대해 약간 더 높은 정확도를 얻을 수 있다. 그러나 단순화를 위해서는, 더 적은 피츄어(본 발명의 실시예에서는 더 적은 수의 프로브 단자 전극)가 유리할 수 있으므로, 8-프로브 단자 전극을 포함하는 장치가 16개의 전극을 갖는 것보다 더 바람직할 수 있다. 반면, 4개 노드를 갖는 경우, 학습 및 테스트 정확도가 상당히 저하되어 위치 인식을 정확하게 예측하는데 어려움이 있을 수 있다.

이에 따라, 본 발명의 실시예에서는, 전극 수와 정확도 사이의 최적화를 위해, 16㎠ 영역에 대한 패턴 없는 전자 피부용으로 8개의 노드를 사용하였다.

또한, 4 피츄어, 8 피츄어 및 16 피츄어 및 16 레이블(즉, 4×4 섹터 구분 사례)을 갖는 DNN에 대해서도 데이터 세트를 생성하였으나, 당연히 학습 및 테스트의 정확성이 4×4 섹터에 비해 훨씬 좋기 때문에 그 결과를 생략하였다.

그 이유는, 섹터 분할을 미세하게 하는 것이 보다 정교한 센서를 구현하는데 바람직하기 때문이며, 6×6 섹터로 구분하여 얻은 데이터는 전자 피부를 실제 피부에 가깝게 보다 사실적으로 시뮬레이션할 수 있게 한다.

위치인식용 DNN

이상과 같은 이유로, 본 발명의 실시예에서는 8개의 피츄어와 36개의 레이블의 DNN에 초점을 맞추며, 8개 프로브 단자에서 수집된 전기 저항 신호를 위치인식용 DNN에서 8차원 입력벡터로 사용하였다.

위치인식용 DNN 아키텍쳐는 도 5에 도시된 바와 같이, 입력층과 출력층을 포함하여 총 4개의 연결된 층으로 구성된다.

입력층에서 출력층으로 각 층에 속하는 8-5760-1152-144-36개의 노드가 있다. 단순한 선형 활성화 함수가 입력층에서 3번째 층까지 적용되었지만 마지막으로 연결된 층의 활성화 함수는 softmax 함수를 적용하였다. 3개의 은닉층에 대해 max(0,x) 임계값을 갖도록 활성화 함수를 적용하는 ReLU(Rectified Linear Unit)가 3개의 은닉층에 채택되고, 30%의 드롭아웃을 도입하였다. 0.25의 확인비율로 확인은 매 100 세대마다 시행되었다.

학습 정확도는 개별 학습 데이터 기준에서 98.97% 였고 특정 섹터에 대한 그룹(레이블이 같은 1,500개의 입력 벡터로 구성된 데이터 세트를 그룹으로 간주했다)에서 모든 데이터를 함께 묶을 때 100% 정확도에 도달했다. 100% 정확도는 특정 섹터(레이블)을 지칭하는 1,500개의 입력 벡터로 구성된 데이터 세트와 가장 빈번하게 매칭되는 레이블이 실제 그 특정 레이블일 확률을 말한다.

즉, 본 발명의 실시예에 따른 DNN 모델은 하나의 실패도 없이 360개의 학습 데이터 세트 그룹의 레이블을 정확하게 예측할 수 있었고, 360개의 학습 데이터 세트 그룹이 360번의 독립적인 터치를 나타내므로, 모든 터치가 DNN에 의해 성공적으로 인식되었다.

종래의 DNN 셋업에서는 일반적으로는 학습 데이터를 분리하여 테스트에 사용하는 것이 통상적이다. 그러나 본 실시예에서는 이 기준을 따르지 않고 대신 DNN의 강건성을 확보하기 위해 완전히 다른 기구(장난감 손가락)를 사용하여 테스트 데이터 세트를 별도로 준비했다.

테스트 데이터 세트는 압력 하에서 섹터를 지정하는 해당 레이블과 함께 8차원 벡터였다. 테스트 데이터 세트 크기는 학습 데이터 세트 크기보다 작았으며 레이블이 있는 108,000(1500×36×2) 입력 벡터를 포함한다. 이 테스트도 또한 개별 데이터 기반과 그룹 데이터 기반으로 실행되었다.

또한, 본 실시예에서는 테스트용 학습 데이터 세트의 20%를 따로 설정하여 전형적인 학습 및 테스트를 수행하였고, 이 전형적인 테스트 결과는 개별 데이터 기반일 때 99.78%와 그룹 데이터 기반일 때 100%였다. 이는 순간적으로 감지된 8개의 전기 저항값으로부터, ~10^-4 초의 시간 분해능으로 매 순간마다 99.78%의 정확도로 정확한 터치 지점을 찾아내는 것을 의미한다. 또한, 전형적인 케이스의 그룹 데이터 기반 테스트 정확도는 100%에 달했다.

장난감 손가락을 사용한 개별 데이터 기반 테스트 정확도는 96.19%로 얻어졌고, 장난감 손가락을 사용한 그룹 데이터 기반 테스트 정확도는 97.22%에 달하였다.

그룹 데이터 기반 테스트 정확도는 72번의 임의의 터치 테스트에서 비롯되었으며, 이는 압력을 받고 있는 해당 섹터를 지정하는 데이터 세트를 생성했다. 이를 위해서는 데이터 세트에서 1,500개의 입력 벡터를 테스트해야 하며 가장 자주 일치하는 레이블이 그룹 데이터가 나타내는 올바른 섹터로 간주되었다. 위치 인식에 대한 그룹 데이터 기반 테스트 정확도는 97.22%인데, 이는 72개의 데이터 세트 중 2개의 데이터 세트만을 놓친 것으로, 72개의 터치 중 DNN이 2개의 터치만 잘못 표시한 것을 의미한다.

그런데 잘못 인식된 2개도 정확한 위치에 인접한 것으로, 본 실시예에서 제안한 피부의 공간 해상도가 손가락 끝 접촉 영역보다 훨씬 작은 약 6.6mm이었기 때문에 발생한 것으로, 이러한 종류의 오류는 실제 피부에서도 발생할 수 있는 것이다.

아래 표 1에 나타난 바와 같이, 16개의 프로브 단자 전극에 대한 테스트에서는 100%의 정확도를 얻기 때문에 전술한 실시예(8개의 프로브 단자 전극 사용)에서 터치 위치 인식의 작은 오차는 감지 단자 수에 기인한 것이므로 큰 의미는 없는 것이라고 할 수 있다. 16개의 프로브 단자 전극을 사용한 경우에, 개별 데이터 기반 테스트 정확도는 99.28%이며, 그룹 데이터 기준의 테스트 정확도는 100%에 달했다. 즉, 모든 터치가 16 피츄어 DNN 모델에서 올바르게 인식되었다.

한편, 전술한 8 피츄어 DNN 모델도 제대로 작동할 뿐 아니라 그 결과도 충분히 받아들일 수 있는 수준이므로, 시스템의 단순화 관점에서는 8 피츄어 DNN 모델이 더 적합할 수 있다.

모든 시트 (6×6 섹터로 가상분할되고, 6.6mm의 공간 해상도 가짐)	위치 인식	DNN 아키텍처 (각 레이어에서의 노드 수)
		개별기반 학습정확도(%)	개별기반 테스트 정확도(%)
		그룹기반 학습정확도(%)	그룹기반 테스트 정확도(%)
	압력 감지	DNN 아키텍처 (각 레이어에서의 노드 수)
		%RMSE	MAE
16 프로브 단자 전극	위치 인식	16-1024-256-64-36
		99.96	99.28
		100	100
	압력 감지	16-4096-1024-128-1
		3.96	0.053
8 프로브 단자 전극	위치 인식	8-5760-1152-144-36
		98.97(89.16)	96.19(85.54)
		100(99.72)	97.22(100)
	압력 감지	8-2048-256-1
		3.12(3.49)	0.045(0.030)
4 프로브 단자 전극	위치 인식	4-2304-576-144-36
		87.87	51.32
		99.17	50
	압력 감지	-

또한, 본 발명자들은 전술한 것과 같이 사전 설정된 매트릭스에서 섹터 번호를 통해 위치를 식별하는 모델과 함께, 정확한 터치 포인트를 실제 위치로 예측하는 회귀형(regression-type) DNN 모델도 개발하였다.

도 8은 이 회귀형 DNN 모델의 아키텍처를 나타낸 것이다.

회귀형 DNN 모델을 사용할 경우, 전자 피부 시트 영역의 실제 좌표(x 및 y)를 지정하는 두 개의 값을 얻을 수 있다. 회귀형 DNN 모델을 사용하여 매우 높은 공간 해상도가 얻어졌으며, 아래 표 2와 같이, 회귀형 DNN에 의해 0.78±0.44 mm의 해상도로 모델링이 가능하였다.

	X 좌표	Y 좌표	평균
%RMSE	3.24819833793	3.26769092788	3.2579446329
RMSE	0.113686941827	0.114369182476	0.114028062152
MAE	0.0848900556112	0.0943837681678	0.0896369118895
해상도	0.78 ± 0.44 mm

변형(압력) 평가용 DNN

변형(압력) 평가를 위한 또 다른 DNN은, 도 5에 도시된 바와 같이, 각 층에 속하는 8-2048-256-1 노드로 구성된 아키텍쳐로 별도로 구성되었다. 압력을 받고 있는 특정 섹터에 속한 데이터 세트만을 압력 평가용 DNN의 학습 및 테스트에 사용되었다. 압력을 받고 있는 정확한 섹터 위치는 위치인식 DNN으로 하중 초기에 특정되었기 때문이다.

따라서, 도 5에 도시된 바와 같이, 해당 압력값에 연계된 15,000개의 입력 벡터를 레이블로 사용하여 학습 및 테스트를 완료하였다. 은닉층에 대한 활성화 함수는 단순한 선형 함수였고 위치인식 DNN의 경우와 마찬가지로 ReLU가 적용되었다. 그러나 압력 평가 DNN의 마지막 층의 활성화 함수는 softmax가 아닌 단순한 선형 함수이므로, 최종 출력 값은 변위를 나타내는 실제 숫자이며, 이는 선형적인 관계에 기인한 변형 또는 압력으로 간주될 수 있다.

테스트는 또한 장난감 손가락 데이터를 사용하여 구현되었으며, 이는 각 섹터당 1,500개로, 전체적으로 54,000개의 입력 벡터에 해당한다.

본 실시예에서는 1,500개의 테스트용 입력 벡터를 초기 테스트 데이터 세트로 1000개, 확증 테스트 데이터 세트로 500개로 무작위로 나누었다.

1,000개의 초기 테스트 입력 벡터와 해당 압력값이 DNN 테스트에 사용될 때, 테스트 정확도는 수용할 수 없는 정도였으며, 예측 값과 실험 값 사이에는 불일치가 나타났다. 36개 섹터의 각각에 대해 예측된 것에 대한 측정된 변위(압력)의 플롯을 도 7에 나타내었다. 예측된 압력은 실험 데이터로부터 현저하게 벗어났으며, 도 9에 나타난 바와 같이, 대각선에서 벗어난 비선형 곡선이 형성되었다. 이러한 이탈은 흩어진 유형이 아니라 단지 편향된(변형된) 특징이다.

이는 단순한 데이터 변환에 의해 보정이 가능하다는 것을 의미한다. 이와 관련하여, 본 실시예에서는 2차 다항식 함수를 회귀 모델(ln(y)=β₀+β₁x+β₂x²)로 도입하여 회귀 분석을 하였으며, 회귀 분석 결과는 도 9의 빨간색 선으로 표시하였다.

그 후, 500개의 입력 벡터와 출력 압력 값으로 구성된 확증 테스트 데이터 세트를 사용하여 DNN을 테스트하였고, 회귀분석의 데이터 변환을 통합했다. 최종적으로, 본 실시예에서는 DNN과 비선형 회귀에 기초한 신뢰할 수 있는 압력 인식용 예측 모델을 얻었다.

도 10은 36개 섹터 각각에 대한 예측 압력 대 실험 압력의 플롯을 나타내는 확증 테스트 데이터 세트를 보여준다. DNN 모델링과 후속 회귀 분석은 실험적으로 측정된 압력과 예측된 압력 사이의 완전한 선형 관계를 달성하기 위해 확증적인 테스트 데이터 세트 변환을 만들었다. 이러한 계산 과정을 통해 압력 하의 특정 섹터 위치에서 높은 정확도로 압력 수준을 즉각적으로 예측할 수 있었다. 36개 섹터에 대한 평균 RMSE는 3.12%로 추정되며, 이는 DNN이 실제 인공 피부에 적용될 때 완벽하게 받아들여질 수 있는 수준이다.

공간 해상도 및 압력 감지도

본 발명의 실시예에 제안된 전자 피부의 압력 감지를 위한 공간 분해능은 센서의 기능을 향상시키는데, 본 발명의 전자 피부는 추가적으로 장치의 구조를 물리적으로 변경하는 노력을 하지 않고도 매우 쉽게 공간 해상도를 조절할 수 있는 것이다.

본 발명의 실시예에 따른 전자 피부의 경우, 학습 조건의 변경, 예를 들어 피츄어의 수(프로브 단자의 수), 가상 면적 분할 방식 및 데이터의 양을 변화시킴으로써 공간 분해능의 조절이 가능하다.

본 발명의 실시예에서 6×6 분할 전자 피부에 대해 6.6mm의 공간 해상도를 얻었다. 이러한 공간 해상도는 보다 미세한 가상 세분화를 채택하고 프로브 단자의 수를 증가시킴으로써 더 낮출 수 있으며, 이를 위해 전자 피부의 구조 자체를 변경할 필요가 없다.

예를 들어, 40×40mm 크기의 전자 피부 시트를 10×10 가상 섹터와 16개의 프로브 단자를 사용하여 학습시킬 경우, 공간 해상도를 약 4mm로 낮출 수 있는데 최첨단 촉각 센서의 공간 해상도가 약 2.5mm인 점을 고려할 때, 매우 우수한 결과라고 할 수 있다.

본 발명에 있어서 가상 세분화 설계의 자유도는 기본적으로 무한하므로, 어떤 해상도라도 달성할 수 있으나, 본 발명의 실시예의 픽-블록 타입(pick-block type) 테스트는 시간과 비용 문제로 인해 전술한 바와 같이 제한된 해상도로 시험되었다.

이러한 점을 고려하여, 전술한 표 2의 결과와 같이, 회귀형 DNN을 도입한 모델링에서는, 실제 공간 좌표(x 및 y)를 0.78±0.44mm의 해상도를 구현할 수 있었으며, 이 결과는 종래의 패턴을 기반으로 하는 센싱 장치가 따라올 수 없는 높은 수준의 공간 해상도이다.

또한, 본 발명의 실시예에 따른 DNN 모델은 8개의 전기 저항 신호로부터 단일 압력 값을 예측하므로, 종래의 압력 감지 시스템보다 빠른 시간 프레임(<10^-4 초)에서 높은 압력 감지도를 확보하는데 훨씬 유리하다. 이에 비해, 종래의 패턴화된 센서 매트릭스로 구성된 전자 피부의 경우, 특정 위치에서 압력 감지를 담당하는 단일 센서가 작동하여 해당 위치의 압력 값을 감지한다.

종래의 패턴화된 센서 매트릭스로 구성된 전자 피부의 경우, 특정 위치에서의 압력 값은 일대일 관계에 기초한 단일 압력 대 저항 곡선으로부터 예측된다.

이에 비해, 본 발명의 실시예에 따른 DNN 구동 전자 피부의 경우, 압력 감지를 위해 적어도 8개의 저항값으로부터 1개의 압력값을 예측하는 소위 8 대 1 유도(derivation)를 하기 때문에, 종래의 1 대 1 유도에 비해 훨씬 더 민감한 압력 예측 값을 제공할 수 있다. 특히, 작은 구배의 노이즈가 많은 데이터를 사용하는 경우 유리할 수 있다.

일 예로, 도 11은 특정 섹터 위치(6×6 섹터 매트릭스의 4번째 행과 3번째 열)에서 압력 함수로서의 8개의 전기 저항 곡선으로, 높은 압력 측정을 위한 두껍고 단단한 시트(도 11(a))의 것과, 낮은 압력 검출을 위한 얇고 부드러운 필름(도 11(b))의 것을 나타낸 것이다.

도 11의 모든 압력 대 저항 곡선은 신뢰성이 높은 압력 감지가 가능할 수준의 낮은 노이즈를 갖는 구배를 나타내고 있으나, 노이즈가 훨씬 많은 다른 경우에도 감지가 가능하다. 이는 본 발명에 따른 DNN 구동 전자 피부(센서)의 경우에는 다수의(예를 들어 8개 또는 16개) 압력 대 저항 곡선을 사용하기 때문이다.

Claims (11)

1. 규칙적인 패턴이 형성되어 있지 않고 외부 자극에 대하여 검출 가능한 신호를 생성하는 재료를 복수 개의 가상 섹터 또는 좌표로 구분하고, 소정의 수단을 사용하여 상기 각각의 가상 섹터 또는 좌표에 자극을 복수 회 가하는 단계와,
   컴퓨터가 상기 각각의 가상 섹터 또는 좌표에 가해진 자극에 의해 생성된 신호를 포함하는 학습 데이터를 수집하는 단계와,
   컴퓨터가 수집된 학습 데이터의 신호를 입력 벡터로 사용하여 머신 러닝을 수행하는 단계와,
   컴퓨터가 머신 러닝을 통해 도출한 모델을 이용하여 상기 재료에 가해지는 자극의 위치 또는 정도를 예측하는 단계를 포함하는 방법을 통해, 규칙적인 패턴이 형성되어 있지 않는 재료를 센서로 활용하는 방법.
2. 삭제
3. 삭제
4. 삭제
5. 제1항에 있어서,
   상기 센서는, 전자피부, 터치 패널, 플렉서블 키보드, 수화 통역 장갑, 사회기반 시설의 안전진단, 위장관에서의 운동성과 연동운동장애 진단, 또는 대면적 스트레인 게이지의 센서용인, 규칙적인 패턴이 형성되어 있지 않는 재료를 센서로 활용하는 방법.
6. 삭제
7. 외부 자극에 대하여 검출 가능한 신호를 발생하는 재료와,
   상기 재료에 자극을 복수 회 가하고 생성된 신호를 사용하여 머신 러닝을 수행하여 도출된 모델을 저장하는 저장 수단과,
   상기 모델을 이용하여 상기 재료에 가해지는 자극의 위치 또는 정도를 연산하는 연산수단을 포함하는 센싱 시스템으로,
   상기 재료는 규칙적인 패턴이 형성되어 있지 않고,
   상기 머신 러닝은, 규칙적인 패턴이 형성되어 있지 않고 외부 자극에 대하여 검출 가능한 신호를 생성하는 재료를 복수 개의 가상 섹터 또는 좌표로 구분하고 소정의 수단을 사용하여 상기 각각의 가상 섹터 또는 좌표에 자극을 복수 회 가하는 단계와, 컴퓨터가 상기 각각의 가상 섹터 또는 좌표에 가해진 자극에 의해 생성된 신호를 포함하는 학습 데이터를 수집하는 단계와, 컴퓨터가 수집된 학습 데이터의 신호를 입력 벡터로 사용하여 머신 러닝을 수행하는 단계를 포함하여 이루어지는, 센싱 시스템.
8. 삭제
9. 삭제
10. 삭제
11. 제7항에 있어서,
    상기 센싱 시스템은, 전자피부, 터치 패널, 플렉서블 키보드, 수화 통역 장갑, 사회기반 시설의 안전진단, 위장관에서의 운동성과 연동운동장애 진단, 또는 대면적 스트레인 게이지의 센서용인, 센싱 시스템.

Images