외곽선 검출을 이용한 식물자동인식 분류 알고리즘
The Categorization Algorithms Using Edge Detection for Plant Recognition System
Article information
Abstract
As smart phones are becoming new means of gathering and sharing information, the demands for the smart phone ‘apps’ providing plant information and data are also increasing. This study is to provide the algorithms to identify plants using their leaves and is also to feature the digitized leaf data to be stored in the database to be used for plant identification applications. Outline ‘edge’ data of the leaf are extracted by using SP Sweeping algorithm, and the plant species are categorized and identified by applying six algorithms: H/W ratio, top-tip ratio, bottom-tip ratio, gradient of edge points, distance between edge point and the center, and second degree polynomial approximation algorithms. Thirty two species have been selected and used to validate the algorithms. H/W ratio and top-tip ratio have been found to be very effective algorithms to distinguish many species. Moreover, gradient and distance methods have shown the recognizable differences between species, and Bhattacharyya distances have been found to be a great data to be stored as a part of analysis data for run-time comparison by application. Additionally, this study also has confirmed the feasibility of additional identification categories using the features of petiole and tip as well as characteristics of the leaf margin.
I. 서론
국내 스마트폰 사용자는 2014년 7월을 기준으로 3,900만을 넘 어서면서 계속적인 증가 추세를 보이고 있다(http://www.msip.go.kr/index.do). 이와 함께 스마트 폰 시장에서는 콘텐츠에 해당 되는 애플리케이션의 영향력이 동반 상승 추세에 있으며 다수의 시 장 참여자들이 고객의 요구와 시대경향을 반영한 다양한 모바일 서 비스로 치열한 경쟁을 하고 있다. 반면 이와 같은 상황에서도 식물 정보와 관련된 애플리케이션이나 서비스는 극히 적은 수로 서비스 되고 있으며, 그 유형 또한 e-book 형태나 사전 등의 정보 전달 수준 에 머물고 있다. 모바일 디바이스의 발전과 사용자들의 시대적 욕 구가 반영된 식물정보 애플리케이션 서비스가 필요로 되는 시점이 다. 본 연구는 애플리케이션 형태의 지능형 모바일 서비스의 한 방 향을 제안함에 있어 필요로 되는 식물인식 및 분류 전산화 과정의 알고리즘 개발을 목적으로 하고 있다.
모바일을 이용한 식물정보 서비스의 요구는 정확한 식물의 분류 와 인지에서 시작한다. 특히 사용자가 대상 식물을 모르고 있다면 식물 분류 및 인지 방법의 필요는 절대적이 된다. 최근의 가장 지능 화된 식물 인식과 분류 기술 중의 하나가 모바일 디바이스의 디지 털카메라에서 획득한 식물 잎 영상데이터의 분석을 통한 자동 생체 인식 시스템이다. 이와 같은 영상처리를 통한 식물 자동인식 전산 화 개발은 2000년도 이후 최근에 이르면서 다양한 연구들이 보고 되고 있으나 아직까지 국내 스마트폰 애플리케이션 시장에서 상용 화한 사례는 찾아보기 힘들다. 이 같은 식물인식 전산화 연구 중 가 장 일반적이고 많이 다루어지고 있는 분류 기준은 잎자루를 제외한 엽형의 형태를 기준으로 하는 방식(Wang et al., 2005; Gao et al., 2010)으로 외곽선 추출을 기초로 하고 있다. 또한 일반 식물분류학 적 기준인 국부적인 엽선의 톱니의 형태를 추출(Qi and Yang, 2003)하거나 잎의 골격과 잎맥의 특성을 추출 비교(Gu et al., 2005)하는 알고리즘 연구들이 있었으며, 엽색에서 색 커브를 인식 하여 식물의 종을 구분(Prasad et al., 2011)하거나 나무껍질의 텍 스처를 추출 비교(Chi et al., 2007)하고 꽃의 색상, 대칭성, 꽃의 수 를 기준(Lang et al., 2007)으로 엽형 이외의 특징을 대상으로 하는 등 다양한 접근을 시도하고 있다. 또한 획득된 데이터와 기존 표준 데이터들과의 비교 및 분류 기법으로는 입력 변수와 출력 변수를 비교하여 얻은 차이를 줄여나가도록 은닉층의 구성요소인 노드에 가중치를 주어 조절하는 과정을 안정화 될 때까지 반복하는 신경망 알고리즘이 다수 제안되었고 오류율을 최소화하려는 신경망과 같 은 기존의 방법들과는 다르게 종 간 사이에 존재하는 여백(margin) 을 최대화하여 일반화 능력을 극대화시키는 SVM (Support Vector Machine)분류기 사용 또한 보고되었다. 확률론적 신경망 알고리즘(Wu et al., 2007; Gu et al., 2005)들은 잎의 넓이, 길이, 면적 등의 특징을 이용하여 은닉층을 구성하고 가중치 조절의 반복 과정을 통하여 잎을 분류하였으며 SVM 분류기(Qi and Yang, 2003)는 잎의 외곽선을 일정 크기의 영역으로 나누고 각 영역의 부 분적인 잎 이미지를 이용하여 엽선의 톱니 형태와 톱니 형태가 아 닌 잎의 분류기준을 결정하여 잎을 구별하였다.
현재까지 보고된 대부분의 연구들은 하나 혹은 소수의 분류기준 을 전산화하여 영상 분석에 이용하고 있다. 사용된 전산화 기준은 식물의 특성상 환경에 따라 특성이 동일하지 않고 개체 간 차이를 지니므로 상호 보완될 수 있는 다중의 분류기준의 적용이 보다 효 과적일 수 있다. 본 연구에서는 스마트폰에서 획득된 디지털영상 분석을 전제로 하며 애플리케이션 시스템의 분류기준으로 사용될 수 있는 잎의 특성들을 전산화하고 이를 기반으로 하는 다중 분류 기준 체계를 마련함으로써 보다 정확한 식물 분류 전산화 기법을 제안하고자 한다.
II. 연구방법
1. 식물재료
연구에 사용된 식물재료는 실내 관엽식물 32종으로 일반 화훼시 장에서 흔히 유통되고 있으며 개체들 간의 형태적 변이가 심하지 않은 종류로 선정하였다. 본 연구는 외곽선기반으로 형태적 특징을 비교 분류하는 알고리즘의 개발로 연구 초기 단계에서 각 식물의 전형적인 기준 형태를 데이터 베이스화 하고 이후 계속되는 연구를 통해 변이에 대한 정보를 추가하고자 한다.
사용된 식물들의 디지털영상 자료는 본 연구의 협력기관인 농촌 진흥청 원예특작과학원 도시원예연구실로부터 제공된 35종류의 식물 데이터 중 선별된 32종류의 각 10장의 디지털 이미지 데이터 들을 사용하였다(Fig. 1). 또한 개발 과정 중 삼성 스마트폰 SHV- 300S와 애플사의 iPhone5를 이용하여 영상을 획득하고, 연구용 데이터베이스 구성과 영상 분석 재료로 이용하였다.
Plant materials.
2. 잎의 외곽선 검출 과정
본 연구는 디지털 영상 내에서 추출한 잎의 형태적 특징 요소를 전산화하는 과정으로, 각 잎의 형태는 외곽선 추출에 의해서 데이 터를 획득하였다. 외곽선 추출은 독자적으로 개발한 Sweep(SP) 외곽선 검출 알고리즘을 이용하여 검출하였으며, 검출된 외곽선을 이용하여 형태적인 특징요소들을 결정하고 정의하였다.
잎의 외곽선 검출 과정은 Fig. 2와 같이 전처리 과정, 외곽선 검 출과정, 데이터 재조합과정으로 구성되어진다. 전처리 과정에서는 획득한 이미지 내에 존재하는 불필요한 잡음(noise)들을 제거 혹은 완화시키기 위해 gaussian blur filter 처리와 외곽선을 뚜렷하게 하 는 sharpening filter를 차례로 처리하였다.
Edge detection algorithm procedure.
외곽선 검출과정에서는 대상 이미지의 밝기 차이에 따라 다르게 적용되었으나, 대부분 Sobel 외곽선 검출 알고리즘을 이용하여 외 곽선의 데이터를 수집하였다. 또한 특허 출원한 Sweep(SP) 외곽 선 검출 알고리즘을 적용하여 이미지 데이터들을 격자형 단편으로 분리한 후 수평·수직 방향 스위핑과 45도 사선 방향 스위핑을 이용 하여 데이터들을 세밀화 하였다. 이때, 스위핑은 사용자가 미리 정 해 놓은 방향으로 여러 픽셀라인을 탐색하면서 외곽선에 해당되는 조건을 만족하는 픽셀을 탐색하는 방법이다. 분리된 단편들의 데이 터들을 재조합하는 과정에서는 edge shift와 point connection process가 적용된 edge extraction과 edge simplification 단계를 거쳐 다음 클래스인 분류 카테고리 연산에 적합한 외곽선 데이터를 결과로써 획득하였다.
의도하는 식물잎의 형태적 특성 분류기준들은 전산화가 가능한 요소이어야 하며 일반 스마트폰과 같은 모바일 디바이스에서 구동 되어지므로 최대한 적은 연산량과 처리시간을 필요로 하고 모바일 디바이스의 원활한 처리 한계 내에서 기능되는 요소로 개발하였다.
3. 알고리즘 전산화 및 검정 방법
본 연구에서 H/W ratio, Top tip ratio, Bottom tip ratio, 등분각 연장선과의 교차점 상호간 위차 정보, 등분각 연장선과의 교차점을 이용한 거리정보, 근접이차함수 비교 등 총 6가지 항목에 대하여 의 도 시스템의 식물분류 기준으로 결정하고 이를 정의 및 알고리즘 전산화를 실행하였다. 또한 각 기준을 이용한 상호 비교를 위해 매 칭 알고리즘을 제안하고 이의 검증을 위해 SAS 9.2 version 을 사 용하여 유의성을 p < 0.05 수준에서 Duncan's multiple range test 를 실시하였다.
III 결과 및 고찰
1. 결과
1) 분류 카테고리 알고리즘 전산화
H/W(Height/Width)는 식물의 형태 중 엽 폭(H)과 중심선의 길 이(W:잎자루와 잎몸의 결합부위에서 잎 끝에 이르는 거리)의 비율 로 나타내었다(Fig. 3). 식물 잎 전역의 형태 비를 나타내는 주요한 구분 요소로 사료된다.
H/W ratio.
Top tip ratio는 잎을 그림 Fig. 4에서와 같이 수평으로 놓았을 때 양 끝 선단을 잇는 중심선으로부터 위쪽으로 가장 먼 외곽선상 점에서 잎자루방향 끝점까지 수직으로 연장된 선에 이르는 최단거 리의 값과 중심선길이의 비율(L/W)로 나타내었다. 본 카테고리 또 한 전체적인 잎의 유형을 결정짓는 유용한 분류기준이다.
Top tip ratio.
Bottom tip ratio는 잎을 그림 Fig. 5에서와 같이 수평으로 놓았 을 때 Top tip ratio와는 반대 양 끝 선단을 잇는 중심선으로부터 아 래쪽으로 가장 먼 외곽선상 점에서 잎자루방향 끝점에서 수직으로 연장된 선에 이르는 최단거리의 값과 중심선길이의 비율(L/W)로 나타내었다. 본 카테고리는 Top tip ratio와 함께 중심선을 기준으 로 잎몸의 대칭여부를 결정할 수 있다.
Bottom tip ratio.
등분각 연장선과의 교차점 상호간 위차 정보는 수평 장축선의 중앙에서부터 10도씩 증가되는 등분각별로 연장선을 긋고 잎의 외 곽선과 만나는 36개의 교차점들 중 이웃하는 두 점의 위차를 기울 기 값으로 산출하여 그 변화를 상대 비교로 나타낸다(Fig. 6). 점 a1 의 좌표를 (x1, y1), 점 a2의 좌표를 (x2, y2)라 할 때 기울기는 (y2-y1)/((x2-x1) 으로 계산되어 진다. 이때, 각 x, y좌표는 이미지 상의 픽셀의 좌표이며 이미지의 y축은 아래쪽으로 증가하므로 일 반 수학에서의 기울기와 비교하였을 때 +/- 부호가 반대이다.
Gradient of edge points with 360-degree central angle.
등분각 연장선과의 교차점을 이용한 거리정보는 잎자루의 끝과 잎 끝 부분을 연결한 기준선 ab의 중앙점으로 부터 360개로 등분된 등분각의 연장선이 추출된 잎 이미지의 외곽선과 만나는 점의 좌 표 혹은 길이를 기반으로 그 변화의 특성을 전산 데이터화하였다 (Fig. 7).
Distance from the center to the edge point for each 1-degree central angle.
근접이차함수 비교는 외곽선의 절반을 이용, 외곽선을 이루는 점들에 가장 유사한 이차곡선을 도출하고 함수의 계수값을 비교함 으로써 유사성을 검증하는 방식이다(Fig. 8). 본 연구에서는 하나 의 샘플에서 상하좌우 모두 네 개의 곡선을 이용하여 곡선을 도출 하고 함수의 계수값을 상대비교 할 수 있도록 하였다.
Second degree polynomial approximation.
도출 알고리즘의 식이
각 계수값은 다음을 이용하여 산출할 수 있다.
각 계수값은 다음을 이용하여 산출할 수 있다.
2) 분류기준 알고리즘 전산화
H/W ratio, Top tip ratio, Bottom tip ratio는 하나의 수치로 획 득되어 상대 비교분석이 단순하면서도 효과적인 분류기준이다. 이 중 H/W ratio는 32종류의 식물을 분석한 결과 0.235 ~ 1.316 사이 의 값으로 식물 종류에 따라 분포되었고 Top tip ratio는 0.060 ~ 0.702, Bottom tip ratio는 0.048 ~ 0.723 사이의 값으로 각각 측정 되었다. Table 1은 식물 종별로 10개 샘플을 대상으로 실시한 3가 지 분류기준에 대한 측정값들의 평균치와 이를 이용한 총 32종 식 물의 H/W ratio, Top tip ratio, Bottom tip ratio 분류기준 각각에 대한 식물간의 상호 상관관계 분석결과이다. p < 0.05 수준에서 Duncan's multiple range test를 실시한 결과에서 H/W ratio와 Top tip ratio는 재료식물들을 몇 가지 그룹으로 구분할 수 있는 식 물종류에 따른 유의한 차이로 변별성을 지닌 것으로 판정되나 Bottom tip ratio의 경우는 식물군들의 구분에 변별력이 없는 것으 로 분류기준으로 사용될 수 없는 것으로 판정되었다. 단 Bottom tip ratio의 경우 단독으로는 전산화 분류기준으로는 사용될 수 없으나 Top tip ratio와의 비교를 통해 중심선을 기준으로 상하의 대칭 정 도를 구분 지을 수 있는 응용된 기준으로 사용될 수 있을 것으로 사 료된다(Table 1).
Analysis on average values of each detection category for target plants.
Aglaonema siam aurora와 Ixora chinensis와 같이 형태를 추 정하는 H/W ratio가 각각 0.407과 0.409로 유의차가 없는 경우에 도 Top tip ratio가 추가 적용되면 잎의 좌우 치우침으로 추가 판별 할 수 있는 유용한 분류기준들의 조합 가능성을 나타내고 있다.
등분각 연장선과의 교차점을 이용한 거리정보는 디지털 이미지 데이터에서 외곽선을 추출하고 정의된 중심점을 기준으로 중심선 잎자루 끝에서부터 1°단위로 회전하며 외형 윤곽선까지 연장된 선 의 거리값을 측정하고 식물 종류별로 10개 샘플들의 평균값으로 히 스토그램을 작성하여 전산화하였다.
작성된 히스토그램으로 Fig. 9와 같이 식물 종 내와 식물 종류 간 의 명확하고 직관적인 패턴 차이를 확인할 수 있었다. Cyclamen persicum의 종 내 유사성을 보여주고 있는데 심장형 형태의 특성 인 히스토그램 양쪽 선단의 하향선이 샘플 모두에서 명료하게 나타 나고 있다(Fig. 9-A). 데이터베이스 32종 식물 중 형태별 특징을 잘 드러내는 5가지 식물을 비교하였는데, 심장형인 Cyclamen persicum과 피침형인 Aglaonema commutatum, 그리고 타원형 식물들의 히스토그램곡선을 보았을 때 형태별 식물들의 구분이 가 능할 것으로 사료된다(Fig. 9-B). 타원형식물 3가지(Dieffenbachia tropicmarienna, Anthurium andreanum., Ardisia pusilla)는 유 사한 패턴과 거리 정보를 가지고 있으나 Dieffenbachia tropicmarienna의 히스토그램과 비교하면 Anthurium andreanum은 양쪽 히스토그램 끝이 하향선을 그리고 있어 엽저가 안쪽으로 들어 가는 형태적 차이를 보이며 Ardisia pusilla의 히스토그램은 전체 적인 선이 결각으로 인해 곡선이 아닌 파형으로 나타나 종류 간의 형태적 구분의 가능성을 확인하였다(Fig. 9-B).
Analysis of the gradients of edge points with 1-degree central angle within the same plant and with different plants.
A: Comparison between individual samples of Cyclamen persicum.
B: Comparison between different types of plants.
등분각 연장선과의 교차점을 이용한 거리정보는 상위 대분류 기 준으로 제시한 H/W ratio, Top tip ratio, Bottom tip ratio와는 다르 게 1개의 수치가 아닌 360개의 수치조합으로 추출하였다. 이와 같 이 수치조합으로 제공된 식물 특성 패턴을 분류기준으로 채택하기 위해 상호비교 방법으로 바타차야 매칭(Bhattacharyya matching) 기법을 이용한 통계적 비교연산을 수행하였다. 바타차야 매칭은 히 스토그램으로 표현된 연속 혹은 불연속적인 두 데이터의 분포의 유 사성을 측정하는 통계학적인 알고리즘으로 다음과 같이 정의된다.
이때, H1은 데이터베이스에 저장되어 있는 이미지의 등분각 연 장선과의 교차점 거리정보 히스토그램 분포값이고 H2는 사용자로 부터 전송받은 이미지를 분석한 등분각 연장선과의 교차점 거리정 보 히스토그램 분포값을 나타낸다. 바타차야 매칭기법의 결과값은 0 ~ 1 사이의 값을 가지며 비교하는 두 이미지의 히스토그램 분포가 유사한 경우에는 0에 가까운 낮은 점수를 갖고 그렇지 않은 경우에 는 1에 가까운 높은 점수를 갖게 된다.
32가지 식물 별로 10개 표본들에서 데이터를 획득하고 이들의 평균값을 이용한 식물 종류 간의 바타차야 분석 결과는 Table 2와 같다. 전체 유사도 분석값은 0.010 ~ 0.205사이에 분포하면서 상대 비교의 유사성을 나타내고 있다. Syngonium podophyllum 사례 에서 상대비교 유사도는 같은 심형의 Anthurium andreanum에서 0.030으로 가장 유사하게 나타났고 거치를 갖는 Ardisia crenata 에서 가장 먼 0.129로 나타났다. 절대치가 아닌 일대일 상대비교 과정을 거쳐야하는 알고리즘이지만 식물특성 패턴 비교를 위한 유 용한 기법으로 사료된다. 결과값에 의해 가장 적은 값의 식물과 일 치할 가능성이 높다고 판정하게 된다. Table 2에서 Syngonium podophyllum의 경우 Anthurium andreanum, Ficus elastica, 그 리고 Fuchsia verrucosa와의 바타차야 결과 비교치가 각각 0.030 으로 동일하게 나왔으나 Table 1에서 나타내고 있는 H/W ratio는 각각 0.654, 0.599, 0.757 그리고 0.691을 나타내고 있어 이들 전 산화분류기준을 조합하면 다른 식물로 판정할 수 있다. 전산화한 식물분류 알고리즘들의 다중조합은 서로 간의 보조수단으로서 단 일 알고리즘을 사용할 때보다 높은 수준의 정확도를 보일 것으로 예상된다.
Comparison result of Bhattacharyya distances of the gradients of edge points with 1-degree central angle from various plants.
연구과정에서 초기에 제안되었던 분류 알고리즘 중 ‘등분각 연 장선과 교차점 연속점 상호간 위차 정보’는 식물 종류별 재현성이 낮았고 ‘근접이차함수 비교’는 표본에 따른 왜곡의 심화로 본 시스 템에 적합하지 않아 이들을 분류기준 제안에서 기각하였다.
2. 고찰
본 연구에서 제안한 6가지 잎 특성 카테고리를 이용한 식물 분류 알고리즘은 식물들의 외곽선 특성들을 기반으로 다중 카테고리를 생성하고 조합된 분류기준을 제작함으로써 단일 혹은 소수 카테고 리를 이용하는 선행 방법보다 신뢰성 높은 분류 알고리즘의 개발이 가능할 것이다. 조사된 형태 인식을 기반으로 하는 선행연구들 (Wang et al., 2005; Gao et al., 2010)은 소수의 기준을 적용하고 있는데 이는 대상 식물체의 작은 형태적 이상에도 완전히 다른 분 류 결과를 나타내게 된다. 또한 대상으로 하는 식물의 잎은 환경 등 의 외생요인에 의한 다양성이 존재하고 있어 제안된 각 알고리즘들 이 개별적으로는 절대적인 분류 기준이 될 수 없고 단일 혹은 소수 의 분류 알고리즘 적용은 분류 정확성에 대한 문제점을 야기할 수 있다. 그러므로 이후의 점진적인 연구를 통해 완성될 다중 조합알 고리즘은 분류 정확도와 신뢰성을 더 높일 수 있을 것으로 기대된다.
본 연구 과정에서 ‘등분각 연장선과의 교차점을 이용한 거리정 보’히스토그램에서 의도하지 않았던 엽저 및 엽선의 경향 그리고 결각의 유무 검출 가능성을 확인하게 되어 추가적인 알고리즘 개발 이 가능할 것으로 여겨진다.
IV. 적요
스마트 폰 사용자의 수가 점차적으로 증가함에 따라 모바일을 이용한 식물정보 관련 애플리케이션서비스가 필요 되어 지고 있다. 이에 본 연구는 식물정보 서비스 애플리케이션 개발에 필수 요소인 식물인식 및 분류 전산화 과정의 알고리즘을 제안하였다. 연구를 통해 독자적으로 개발한 Sweep(SP) 외곽선 추출 알고리즘을 이용 하여 외곽선을 검출하고 형태적인 특징요소를 정의하였으며 검출 된 외곽선을 이용하여 H/W ratio, Top tip ratio, Bottom tip ratio, 등분각 연장선과의 교차점 위차 정보, 등분각 연장선과의 교차점 거리 정보, 근접이차함수 비교 등 총 6가지 분류 기준을 전산화하였 다. 제안한 분류 기준의 유효성 검증을 위하여 총 32종의 식물을 재 료로 실험한 결과 H/W ratio과 Top tip ratio는 식물별 고유한 특성 을 기준으로 소수 그룹을 형성하고 구분할 수 있는 유효성을 가지 는 것으로 검증되었다. 등분각 연장선과의 교차점을 이용한 거리정 보는 식물 종류 간의 패턴 차이가 인정되었으며 이의 전산화를 위 하여 바타차야 비교연산법을 적용하여 상대비교 알고리즘을 완성 하였다. 또한 본 연구 과정에서 의도하지 않았던 엽저 및 엽선의 경 향 그리고 결각의 유무 검출 가능성을 확인하게 되어 추가적인 알 고리즘 개발이 가능할 것으로 여겨진다.