3차원 입체화상에 대한 모서리부근의 분석

이중, 윤도영

광운대학교 화학공학과

Analysis of Edge Region for 3-Dimensional Stereo Image

J. Lee and D.-Y. Yoon

Department of Chemical Engineering, Kwangwoon University, Seoul 139-701

서론

전산장비의 발전으로 이를 응용한 3차원 공간에 대한 전산구현 및 유체유동해석의 가능성이 제고되고 있다.  3차원 영상의 계측기술에는 크게 물체 표면에 직접 접촉해서 각 점의 3차원 좌표를 계측하는 접촉식과 주로 광학적 수단으로 계측하는 비접촉식이 있다.  이중에서 광학적 수단에 의한 비접촉 계측은 크게 나누어 측정기에서 빛을 조사하는 능동형과 화상정보만을 이용하여 계측하는 수동형이 있다. 능동형의 대표적인 예는 무아레법(Moire topography)이 있는데, 이 방법은 평행하고 간격이 같은 격자 패턴을 물체에 투영시켜 요철에 의해 변형된 패턴인 무아레 무늬를 관측함으로써 등고선과 유사한 입체 정보를 얻는 방법이다. 반면에 스테레오 카메라법은 인간이 두 개의 눈으로 물체를 보고 변위를 얻는 양안입체시의 구조와 동일하게 두 개의 다른 점에서 물체표면의 동일점을 관측하여 그 점에 대한 예상각으로부터 거리를 구하는 방법이며, 초음파나 레이저보다 정확도가 다소 낮지만 설치비가 적고 두 장의 스테레오 사진만 있으면 3차원 거리정보를 얻을 수 있다는 장점이 있어 최근 활발한 연구가 진행되고 있다.[1]  본 연구는 3차원 이미지를 효과적으로 저장함과 아울러, 이를 분석하는데 필수적인 기반 기법들을 제공하고 있다.  따라서, 본 연구진에 의하여 구현된 3차원입체영상모사기(CAMSI: Computer-Aided Management of Stereo Images, Beta version)[2]는 3차원 입체영상의 구현과 관련된 용도에 있어 직접적으로 사용될 수 있으며, 계면변형, 분자구조모사 및 열유체의 난류거동과 같은 다양한 3차원 전달현상의 해석시에 효과적으로 사용될 수 있을 것이다.  특히 본 연구에서는 다양한 3차원 입체구조중에서 모서리가 있는 경계부근의 수치해석기법을 확충함으로서 모서리의 경계구분의 신뢰성 확보와 함께 이를 기반으로 화상의 밝기(Brightness)와 세밀함(Sharpness)에 대한 특성함수를 도출하여, 화상유도기(Image Guide)등의 평가에 대한 적용가능성을 타진하도록 한다.

입체화상구현 알고리듬

인간은 좌,우 각각의 2차원영상으로부터 안구의 지각작용을 통해 3차원적 거리정보를 추출할 수 있다.  그러나 이러한 인간인식시스템에 대하여는 현재까지 완벽하게 설명되지는 않고 있다.  일반적으로 입체화상으로부터 3차원 구조를 추출하기 위하여 화상획득, 카메라 모델링, 특징점추출, 화상정합, 변위획득, 그리고 보간의 6단계를 거쳐야 한다. 이러한 단계들중에 가장 중요한 단계인 화상정합은 최근까지도 여러가지 방법들이 제안되고 있는데, 본 연구에서는 모든 화소에 대해 정합을 수행하는 영역기반방법을 사용하기로 한다.[1]  이 방법은 계산이 단순하며 부드럽고 연속적인 조밀한 변위정보를 얻을 수 있어 항공촬영사진등에 성공적으로 적용이 되고 있다.  반면에 한쪽 영상에서는 보이지만 다른 한쪽 영상에서는 보이지 않는 폐색영역이나 화소간의 밝기 변화가 빈약한 영역에서는 올바른 결과가 나오지 않는 단점이 있지만 계산이 단순하고 조밀한 변위를 구할 수 있는 장점이 있어 입체화상정합방법으로 많이 쓰이고 있다.  영역기반방법에서는 화소를 중심으로 일정한 크기의 창 내의 화소들과 대응점이라고 간주되는 화소들간의 유사도를 계산하여 가장 유사도가 큰 값을 갖는 화소를 대응점으로 정의하게 된다.  이와관련하여 유사도를 계산하는 방법에는 화소간의 밝기차를 보는 SSD(Sum of Squared Distance), SAD(Sum of Absolute Distance), 상관관계를 보는 NCC(Normalized Correlation Coefficient), 비슷한 화소의 개수를 보는 MPC(Mixed Pixel Count)방법등이 있다.  본 연구에서는 이들의 방법들에 포함하고 있는 중복계산을 제거하는 고속계산법을 적용하도록 한다.  후처리과정으로는 초기 대응점이 밝혀진 점들과 그들의 변위에 대한 정밀도의 확률을 계산하는 반복후원, 좌우 영상들을 각각 기준으로 계산한 변위의 일치여부를 확인하는 두영상제한과 고립점제한 그리고 대상 화소를 중심으로하는 일정한 크기의 창내의 화소들의 평균과 표준편차를 구하여 보간하는 시그마필터링의 단계를 거친다.  한편 거리정보에 필요한 변위의 식은 화소수의 함수로 설정된다.  이와같이 얻어진 화상정보들을 주파수영역으로 변환시켜서 화상의 주파수 성분의 해석과 공간영역의 상승적분을 수식화하기 위한 이산퓨리에변환(Discrete Fourier Transform)을 적용한다.  유한한 화상정보에 대한 N×N 크기의 화상에 대한 이산퓨리에변환식을 통해 계산된 픽셀값들에 대한 필터링을 통하여 윤곽선이 검출되는데 여기에서는 Gauss-Laplace 모델을 사용하기로 한다.  이는 무방향성이며, 모든 방향으로 고른 2차 미분의 연산자이다. 즉, 영상에 필수적인 국소 픽셀명암도함수와 거리함수를 가중적분시킨 후 Laplace 연산자를 적용하면 무방향성의 2계 미분의 효과를 얻을 수 있다.  본 연구에서는 각 픽셀에 중심을 두고 중심으로부터의 거리의 함수에 대한 마스크를 가중적분시키면서 이웃하는 픽셀에서의 가중적분값들의 부호를 비교하게 된다.  이때 이웃 픽셀의 가중적분값 가이에 역치를 적용하여 역치이상이면 윤곽점을 결정하였다.  이상에 나타낸 알고리듬은 본 연구의 프로그램 구현에서 핵심적인 내용이다.  이는 수집된 다수의 2차원 화상으로부터 입체화상을 구현하는데 사용되며, 이를 위하여 적절한 형태의 전처리과정을 통한 입체화상의 정합이 우선적으로 수행되어진다.  이를 적절히 후처리하여 최종적으로 3차원 곡면을 구현하는 과정에 도달하게 된다.

프로그램구현

입체화상구현을 위한 프로그래밍 언어는 C++이며 윈도우환경을 위해 아래 그림과 같이 MicroSoft사의 윈도우즈 9X와 NT에서 작동되도록 하였고, GUI(Graphical User Interface)기반하에 각 기능의 풀다운(pull-down)메뉴 선택방식과 대화상자를 통해 시각적이고 쉬운 변수 입력 인터페이스 방식을 택했다.  화상입력을 위해서 아래 그림2과 같이 광학적 특성이 동일한 CCD방식의 스테레오 카메라를 이용하여 스테레오 이미지를 촬영하였다. 이를 디지털 신호화하였고 압축파일의 정보 손실을 방지하기 위해 비압축 파일 형식인 BMP로 입력했다. 화상을 주파수영역으로 변환할 때 메모리 절약과 계산시간을 감소시키기 위해 DFT 대신 벡터기수 FFT알고리즘을 적용하였다. 연산 및 영상처리에는 Intel Pentium III (1GHz) 프로세서와 768MByte의 주메모리를 보유한 PC 컴퓨터를 이용하였다.  프로그램은 위와 같이 MDI형식으로 만들었으며 변수를 주어 실행 할 수 있게 하였으며 산출된 변위 히스토그램을 3차원적으로 화살표만으로 모든 각도로 변화하여 모습을 관찰 할 수 있게 제작되어 이용자의 편의를 도모하였다.  특히 화상유도기의 평가에 적절히 활용될 수 있도록 SSD, SAD, NCC와 MPC 의 banner를 구분하여 화상의 밝기와 인근화소간의 유사성의 특성을 조사할 수 있도록 하였다.[2]

결과 및 검토

Fig. 1은 전면에 둥근 물체와 삼각뿔이 위치한 복도에 대한 화상으로 크기는 256×256으로 흑백256계조를 가지고 있다.  여기서 화상에 대한 시각적 구현을 위해 산출된 변위들은 0∼255의 정수값으로 선형정량화시켜 0은 검정색, 255는 흰색으로, 그리고 중간 값들은 대응되는 명암으로 나타나게 된다.   이와같은 흑백의 256계조를 가진 그림을 윈도우 크기로부터 9×9크기까지 변화시키면서 SAD, SSD 와 NCC를 가하여 비교한 결과 전반적으로 SAD와 SSD가 공동적으로 3×3크기에서는 상당한 노이즈가 발생하는 경향이 있었으며, 윈도우 크기가 커지면 노이즈가 적어지나 미세한 부분의 정보가 사라지는 경향이 있으므로 적정한 윈도우크기가 변위정보추출에서 중요한 정보가 되고 있음을 알수 있었다. 또한 그림에서 표현된 각각의 화상에서, SSD의 경우에는 복도의 아래부근에서 오정합이 여러군데 발견되었고 벽부분에 있어서로 약각의 오정합이 나타났다.  NCC의 경우 벽부분의 변위히스토그램에서 오정합이 발견되었으며 윈도우 크기의 평균을 가한 정규화된 상호상관계수를 사용함해서 노이즈가 별로 없는 화상의 경우에는 정규화되지 않은 화상보다 정확한 변위히스토그램이 나오지 않는 경향이 발견되었다.  한편, SAD의 경우에는 벽, 복도아래부분, 복도윗부분이 다른 방법들보다 전부 정확히 변위히스토그램을 산출하는 경향이 나타났다.  MPC의 경우에는 3×3의 크기에서 노이즈가 너무 많이 나타나서 정합이 전혀되지 않는 것처럼 보이나 윈도우 사이를 증가시킨 9×9의 크기에서 화상이 향상되는 경향이 나타났다.  그러나 이경우에도 변위히스토그램의 경향을 알아볼수 있는 정도이지만, 여러군데 오정합이 발견되고 있다.  SSD의 경우 오차의 제곱이기 때문에 SAD보다 오차가 커지면 영향을 더욱 많이 받게 되는 것으로 보인다.  또한 LOG(Gaussian-Laplacian Operator)가 클 경우에는 전체적인 윤곽선들이 잘 나타나지만 미세한 윤곽선이 보이지 않는 경향도 나타나고 있다.  결과적으로 모서리와 같은 각진 화상에서는 노이즈가 제일 적은 SAD기법에 의한 방법이 화상을 가장 선명하게 잘 표현해주는 것을 알 수 있었다.

참고문헌

1. J. C. Russ, Image Processing Handbook, 3rd Ed., CRC Press (1999).

2. J. Lee, MS Thesis, Kwangwoon University, (1998).

Fig. 1. Stereo Image of Edge-Shape Object using CAMSI.