스마트폰으로 두드려 사물을 인식하는 신기술 개발

- 카메라나 RFID없이 사물에 접촉만으로도 98%정확도로 인식 -

□ 기존 사물 인식 기법과 다르게 카메라나 RFID 등 전자태그 없이 접촉만으로도 높은 정확도로 사물을 인식하는 신기술이 개발되었다.

□ 한국과학기술원(총장 신성철) 전산학과 이성주 교수 연구팀이 스마트폰으로 두드려 사물을 인식하는 신기술을 개발했다고 과학기술정보통신부(장관 최기영, 이하 ‘과기정통부’)는 밝혔다.

□ 전자기기를 통해 사물을 인식하는 기법에는 사진을 촬영하는 방법과 RFID 등 전자 태그를 부착해 전자신호로 구분하는 방법 등이 있다.

 ◦ 그러나, 이러한 방법들은 카메라를 이용해 사진을 찍어야 한다는 번거로움과 어두운 환경에서는 사용하지 못한다는 점, 전자 태그의 가격부담과 인식하고자 하는 모든 사물에 태그를 부착해야만 높은 정확도로 사물을 인식할 수 있다는 단점이 있다.

□ 반면, 이번에 이성주 교수 연구팀에 의해 개발된 “노커 기술”은 카메라 등 별도의 기기를 쓰지도 않고도 높은 정확도로 사물을 인식할 수 있어 기존 기술의 한계를 뛰어넘은 것으로 평가된다.

 ◦ 노커 기술은 물체에 “노크”를 해서 생긴 반응을 스마트폰의 마이크, 가속도계, 자이로스코프로 감지하고, 이 데이터를 기계 학습 기술을 이용, 분석해 사물을 인식하는 기술을 말한다.

 ◦ 연구팀이 책, 노트북, 물병, 자전거 등 일상생활에서 흔히 접할 수 있는 23종의 사물로 실험한 결과 혼잡한 도로, 식당 등 잡음이 많은 공간에서는 83%의 사물 인식 정확도를 보였고, 가정 등 실내 공간에서의 사물 인식 정확도는 98%에 달했다.

□ 이번 연구 결과는 일상 생활에서 스마트폰을 활용한 다양하고, 새로운 서비스를 가능하게 할 것으로 기대되는데,

 ◦ 실제로 연구팀은 빈 물통을 스마트폰으로 노크하면 자동으로 물을 주문하거나, 사물인터넷(IoT) 기기를 활용하여 취침 전 침대를 노크하면 불을 끄고 알람을 자동으로 맞추어 주는 등 “노커기술”의 구체적인 활용 사례 15개를 선보이기도 하였다.

□ 이성주 교수는 “이번 연구성과는 특별한 센서나 하드웨어 개발 없이 기존 스마트폰의 센서 조합과 기계학습을 활용함으로써, 스마트폰 사용자라면 누구나 쉽게 사용할 수 있어 더욱 의미가 크다.”라며

 ◦ “사용자와 사물의 상호작용을 보다 쉽고 편하게 만들어주는 기술인 만큼 활용 분야도 매우 다양할 것으로 기대된다.”라고 밝혔다.

□ 본 연구는 과기정통부 차세대정보컴퓨팅기술개발사업 및 정보통신‧방송 기술개발사업의 지원으로 수행되었으며, 지난달 유비쿼터스 컴퓨팅 분야 저명 학회인 ACM UbiComp에도 발표된 바 있다.

 ※ 논문명 : Knocker : Vibroacoustic-based Object Recognition with Smartphones

 ※ 저자 : 이성주 교수, 이보원 교수, 공태식, 조현성 총 4명

 ◦ 연구팀은 이번 연구 성과를 바탕으로 학습이 되지 않은 영역에서도 사용 가능한 모바일 센싱 기법 개발도 추진하고 있다.

[연구결과 개요]

1. 연구배경

 ◦ 기존의 사물 인식 기법은 일반적으로 두 종류로 나뉜다. 첫째는 촬영된 사진을 이용하는 방법으로 카메라를 이용해 사진을 찍어야 한다는 번거로움과 어두운 환경에서는 사용하지 못한다는 단점이 있다. 둘째는 RFID 등의 전자 태그를 부착해 전자신호로 구분하는 방법으로 태그의 가격 부담과 인식하고자 하는 모든 사물에 태그를 부착해야 한다는 비현실성 때문에 상용화에 어려움을 겪었다. 

 ◦ 최근 미국 Carnegie Mellon University의 Chris Harrison 교수가 이끄는 Future Interfaces Group 연구팀에서 전자기기가 내는 독특한 전자파 (Electromagnetic noise)를 이용한 사물 인식 기법을 제시하였지만, 상용 스마트폰 외에 추가적인 안테나 장착이 필요하며 사물 인식 범위가 전자기기로 제한된다는 한계가 있다.

2. 연구내용 

 ◦ 본 연구는 카메라와 별도의 기기를 쓰지 않고 상용 스마트폰으로 사물을 인식할 수 있는 ‘노커’ 기술을 제시한다. 노커 기술은 물체에 ‘노크’를 해서 생긴 반응을 중 소리를 스마트폰의 마이크, 진동을 가속도계와 자이로스코프로 감지하고, 이 데이터를 기계학습 중 한 종류인 Support Vector Machine을 통해 분석해 사물을 인식한다. 노커는 이러한 멀티 모달(mult-modal) 센싱 방법을 통하여 노이즈에 취약한 소리의 한계를 모션 센서 (가속도계 및 자이로스코프) 로 극복하는 기술이며, 스마트폰에 탑재되어 있는 센서만을 이용하므로 추가적인 장비가 필요 없다는 것이 장점이다. 

 ◦ 연구팀은 책, 노트북, 물병, 자전거 등 일상생활에서 흔히 접할 수 있는 23종의 사물로 실험한 결과 혼잡한 도로, 식당 등 잡음이 많은 공간에서는 83%의 사물 인식 정확도를 보였고, 가정 등 실내 공간에서의 사물 인식 정확도는 98%에 달하는 것을 확인했다. 또한, 스마트폰 케이스를 착용한 실험에서도 인식률의 차이가 별로 없는 것으로 밝혀져, 연구의 실용성 보여주었다. 

 ◦ 한편, 상용 스마트폰 (Google Pixel 2)으로 구현한 노커의 사물 인식에 소요되는 시간은 0.2초 (230 ms)로 다양한 사물과의 실시간 상호작용을 가능케 한다.

 

3. 기대효과

 ◦ 연구팀의 노커 기술은 스마트폰 사용의 새로운 패러다임을 제시했다. 예를 들어 빈 물통을 스마트폰으로 노크하면 자동으로 물을 주문할 수 있고, IoT 기기를 활용하여 취침 전 침대를 노크하면 불을 끄고 알람을 자동 설정하는 등 총 15개의 구체적인 활용 방안을 선보였다. 이러한 활용방안 외에도 사용자가 원하는 사물과 기능을 직접 추가 할 수 있으므로, 그 활용 방안이 무궁무진 하다.

[그림설명]

[그림 1] 물병에 노크 했을 때의 예시. 노커는 물병에서 생성된 고유 반응을 스마트폰을 통해 분석하여 물병임을 알아내고, 그에 맞는 서비스를 실행 시킨다. 예) 물 주문

 

[그림 2] 노커에 사용되는 센서와 작용 방향 

 

[그림 3] 노커의 사물 고유 반응 센싱 및 기계학습을 통한 분류 과정

 

[그림 4] 23개 사물에 대해 스마트폰 센서로 추출한 노크 고유 반응 시각화 

<출처 : 과학기술정보통신부>