비선형 부분 최소자승법을 이용한 동적 공정 모델링

백 희정, 김 윤식, 정 신호, 윤 인섭

서울대학교 화학공학과

Dynamic Process Modeling using non-linear Partial Least Square(PLS)

Hee-Jung Baek, Yoonsik Kim, Shinho Jeong, En Sup Yoon

School of Chemical Engineering, Seoul National University

서론

화학공정은 제품의 경제성과 공정의 안정성을 두 가지 주된 목표로 하여 운전이 되며 이를 위해 제어와 최적화, 공정 데이터 획득과 보정 그리고 이를 이용한 이상감지와 진단, 원인제거를 통한 공정감시와 같은 일련의 작업을 수행한다. 본 연구에서는 다변량 통계분석기법중의 하나인 PLS를 적용하여 공장의 시운전과 조업중단 그리고 공정의 조업모드가 변화하게 되는 경우 공정 변수들 간의 상관구조(correlation structure)가 시간에 따라 변하게 되어 기존의 모델을 적용할 수 없게 되는 Process Dynamics의 문제를 해결하는 효과적인 동적 공정 모델링을 수행하고자 한다.

PLS 모델의 내적 관계(inner relation) 뿐만 아니라 outer relation(외적 관계)까지 비선형 시스템을 고려할 수 있도록 변형한 non-linear PLS모델을 dynamic Process Modeling에 적용하였다. 그 결과 공정변수의 시간적 추이가 품질변수의 추정에 영향을 미치는 동적 모델링에 효과적인 예측성능을 보여준다.

기존의 동적 모델링 기법(Dynamic empirical Modeling)

실험적인 데이터를 기본으로 하는 모델링(Empirical data-based modeling)은 연구되어지는 특별한 공정의 지식을 덜 필요로 하기 때문에 역학적 모델링(mechanistic modeling)에 대신하여 많이 이용된다. 실험적인 모델링은 중요한 공정의 거동, 시스템 output 또는 생산품의 질의 척도가 되는 실험적 데이터의 모음을 필요로 한다. 다변량 통계 회귀법과 신경망 학습 등은 추론 예측과 제어와 같은 실험적 모델을 세우기 위해 공정에서 자주 이용되고 있다. 동적 모델링 기법중 우리가 다루고자 하는 이산 회귀 모델은 다음과 같은 FIR(finite impulse response)(Qin et el., 1993)와 ARX(auto-regressive with exogenous inputs)기법이 있다.

FIR기법은 다음과 같은 식으로 주어진다.

[eqn: bold y ``(k)~ = ~SUM from { { j}=1} to n_u Bold B _j ``` bold u ``(k-j) ~+~ bold v ``(k)]

ARX기법은 다음과 같다.

[eqn: bold y ``(k)~ = ~SUM from { {i}=1} to n_y Bold A _i ``` bold u ``(k-i) ~+~SUM from { { j}=1} to n_u Bold B _j ``` bold u ``(k-j) ~+~ bold v ``(k)]

[eqn: bold u ```(k)] 와 [eqn: bold y ```(k)]는 각각 시간 [eqn: k]에서  process input and output data vector값이며 [eqn: bold v ```(k)]는 noise vector값이다. [eqn: bold A_i]와 [eqn: bold B_j]는 모델상수행렬이며 [eqn: n_u]와 [eqn: n_y]는 입력, 출력 변수를 위한 time lag값이다. 두 모델구조 모두 공정변수의 측정값이 이 time lag값에 기초한다. 이 연구의 이점은 정상상태 회귀기법이 공정데이터의 동적 표현에 의해 동적 공정의 모델링에 사용 될 수 있다는 점이다. 이는 동적 거동성을 지닌 모델을 시간에 따른 입력벡터의 차원의 확장을 수행함의 의해 정상상태 회귀기법에 적용할수 있는 이점을 가진다. 반대로 동적 회귀기법은 모델링 구조 내에 동적 특성을 포함한다.

Partial Least Square(PLS)

공정변수들(X)에 포함되어 있는 정보를 이용하여 품질 변수들(Y)에서의 변화를 예측, 모니터, 감지하는 방법을 사용하는데 이때 PCA에 이론적 바탕을 두고 X와Y의 관계를 짓는 방법이 PLS이다. 먼저 X와 Y공간 상에서 각각에 대해 PCA를 적용해서 다음의 식과 같이 분해한다. 이것을 외적관계(outer relation)이라고 한다.

[eqn: bold X~=~T bold P^T ~+~ bold E~=~ bold SUM from { { h}=1} to a ~ underline t_h ~ underline p_h ^T ~+~ bold E]

[eqn: bold Y~=~U bold Q^T ~+~ bold F~=~ bold SUM from { { h}=1} to a ~ underline u_h ~ underline q_h ^T ~+~ bold E]

이 외부 관계에서 X의 score vector([eqn: rm underline t_h] )와 Y의 score vector([eqn: rm underline u_h] )사이의 내적관계(inner relation)를 MLR 의 수행을 통해 다음식과 같이 이끌어 낸다.

[eqn: rm hat underline u_h ~= ~b_h underline t_h ~~~~(h=1, 2, …,a)]

[eqn: rm b_h ~=~ underline u_h ^T ` underline t_h ~/~ underline t_h ^T `underline t_h]

PLS가 PCR보다 나은 점은 내적관계를 통해 서로에 대한 정보를 공유한다는 점이다. 이 내적관계는 X의 score vector들을 Y의 데이터 공간을 잘 설명할 수 있도록 회전시키는 것을 의미하므로 X공간에서의 평면이 Y를 더 잘 예측할 수 있도록 기울어진다는 것을 의미하기도 한다.(Geladi et al., 1988) 그런다음 X의 score vector들에 대해 weight([eqn: rm w_h] )를 주어 그들 각각이 Y의 데이터 공간을 설명하는 정도를 정해준다. 이런 PLS를 이용하면 score vector들로 regression하므로 collinearity와 singularity 문제도 발생하지 않을뿐더러 X와 Y에게 서로 상관관계를 최대가 되게 한다. 수학적으로 PCA에서의 loading vector들은 covariance 행렬( S=XTX )의 고유벡터들이듯이 PLS의 loading vector들은 (XTY)(TTX)의 고유벡터들이다.

지금까지 설명한 PLS모델은 외적관계(PCA 모델)과 내적관계(회귀모델)에서 선형모델이 사용되었다. 따라서 X, Y 두 블록내의 변수들, 그리고 X, Y 블록간에 비선형성이 있을 경우는 적절하지 못하다. 이러한 문제를 해결하기 위해 변형된 PLS기법을 적용하였다. 이 방법은 Auto-associative 신경회로망을 기반으로 하는 비선형 PLS로 Auto-associative 신경회로망이 측정 변수(X) 및 추정 변수(Y)간의 비선형성을 다루는 전처리기 역할을 하고 있다.(Malthouse et el., 1997)

Dynamic Extension of the PLS Algorithm

앞에서 언급했듯이 화학공정의 동적 모델의 데이터는 각 공정에서 많은 수의 변수를 데이터로 모으기 때문에 같은 선상에 있는 변수이거나 높은 상관성을 가진 변수가 될 문제점을 가지고 있다. 이는 empirical dynamic 모델링의 경우 FIR 모델이나 ARX모델에서 더 심각하다. 공정변수 행렬인 X의 공정변수 u(k)는 시간에 따른 auto-correlation과 cross-correlation의 문제점을 모두 가지고 있기 때문이다. 즉 FIR이나 ARX모델은 다른 샘플링 시간에서 모여진 변수끼리나 공정변수 내에서의 correlation이 존재할 수 있다. 따라서 least squares approach는 신뢰성이 떨어진 모델 상관계수를 제공할 수도 있다. 이에 반해 제안되어진 동적 PLS 기법은 회귀 행렬 X가 ill-condition된 경우에도 공정변수 행렬(regressor, X)과 품질변수 행렬(output matrices)의 선형, 비선형 회귀를 통해 correlation문제를 해결할 수 있는 방법으로 강하게 제시되었다.

① 공정데이터의 동적표현

FIR 이나 ARX 모델을 기반하여 공정변수의 시간에 따른 추이를 보여주기 위하여 학습데이터를 time lag만큼 확장시켰다. 따라서 input extension이 확장되었고 충분한 시간적 추이에 따른 확장과 PLS기법의 적용은 multi-variate system의 약점을 보완하면서 동적 거동을 표현하고 예측해준다.

② 공정의 non-linearity 표현

공정의 심한 비선형성 문제의 해결을 위해 E. Malthouse(1993)가 제안한 auto-associative 신경회로망을 기반한 비선형 PLS를 적용하였다. 이는 병목층(bottle neck)으로 score값을 구해낸다. 이 의미는 NLPC(Nonlinear Principal Component)와 같은 의미로 공정변수 행렬(X)과 품질변수 행렬(Y)각각의 비선형성도 반영해준다. 외적관계의 비선형성 고려와 다시 신경망 학습을 통한 내적모델(regression model)의 비선형성 고려는 비선형성이 매우 강한 화학공정의 적용에 적합하다.

Case Study

화학공정 중에서도 비선형성이 매우 강하고 복잡한 고분자 중합 공정을 예로 택했다. styrene polymerization process(유기윤, 2000)이며 자유 라디칼 중합 메카니즘을 따른다고 가정한다. 추측되어지는 품질변수 값은 poly-styrene의 중합평균분자량이며 시간은 1분간격으로 1000회까지의 동적 거동성을 모사했다.  변화시켜주는 입력값은 feed flow rate와 jacket의 입력온도이다. 중합반응 후의 출력값은, 고분자 중합공정에서 가장 중요한 것은 poly-styrene의 평균 분자량과 conversion 정도이므로, conversion과 추측하고자 하는 중합평균 분자량이다. 다음 그림과 같은 환경이다. 1초부터 750초까지의 데이터로 학습시키고 나머지 245초간의 데이터로 test하였다. 입력값 feed flow rate와 jacket의 온도를 시간에 따라 변화시켰고 time scale이 크고 비교적 많은 데이터 관계로 25%의 잡음을 포함하여 모사하였다.

그림 . Shematic representation of the continuous styrene solution polymerization reactor

Linear PLS로 시행했을 경우와 내적 관계(inner relation)만 신경망으로 회귀한 NNPLS, 그리고 이 연구에 쓰인 Auto-associative신경회로망을 기본으로 하는 non-linear PLS로의 예측 결과를 mean square error(MSE)로 비교하였다. time lag을 3분으로 잡아 입력 행렬의 차원을 확장하였으며 Principal component는 비교를 위해 동일하게 2개로 잡았다. 앞으로 내적모델을 RBF(Radial Basis Function)신경망으로 학습한 RBF-PLS와 외적관계를 RBF로 적용한 non-linear PLS까지 적용하여 결과를 비교해 보려고 한다.

결과는 표에서 보듯이 중합공정의 강한 비선형성 때문에 dynamic 선형PLS같은 경우는 아주 큰 에러 폭을 보여주고 있고 내적모델 만이 비선형성을 가지고 있는 NNPLS의 경우도 만족스러운 예측 성능을 보여주고 있진 않다. 학습데이터의 에러와 비교해 볼 때 과적합(over-fitting)되어 있음을 쉽게 예측할 수 있다.

표 . Dynamic PLS의 예측 성능 비교

	MSE(test data)
Linear PLS	0.0698
Neural Network PLS(NNPLS)	0.0588
Non-linear PLS(NLPLS)	0.0179

결과

동적인 공정 모델링을 효과적으로 수행하기 위하여 동적거동성을 포함하도록 시간적 추이에 따라 확장된 데이터를 Auto-associative 신경망을 기본으로 하는 비선형PLS(내적, 외적 관계 모두 비선형성을 포함하는)모델에 적용하였다. 따라서 기존의 동적 모델들이 가지고 있었던 auto-correlation문제와 시간에 따른 데이터 간의 collinearity문제를 극복하여 동적 공정 모델링의 예측성능을 높였다.  앞으로 극복할 점은 Auto-associative 신경망의 학습속도 문제이다. 시간적 추이에 따른 입력 데이터 차원 확장으로 인해 학습속도 저하를 야기하기 때문이다.

감사

본 연구는 교육부의 두뇌한국21사업의 지원에 의해 이루어졌으므로 이에 감사드립니다.

참고문헌

□ S.J. Qin, Partial Least Squares Regression for Recursive System Identification, Proceedings of the 32nd Conference on Decision and Control, San Antonio, Texas, USA, December, 1993, pp.2617-2622

□ P. Geladi, B.R. Kowalski, Partial Least-Squares regression: a tutorial, Anal. Chim. Acta 185(1986) 1-17

□ Malthouse, E. C., Tamhane, A. C. and Mah, R. S. H.: Computers chem. Engng., 8, 875(1997)

□ 유기윤, "선형분수 선형 매개변수-변이 시스템의 부분공간 식별 및 제어", 박사학위논문, 서울대학교 응용화학부(2000)

□ G. Baffi, E.B. Martin, A.J. Morris, Non-linear dynamic projection to latent structures modelling, Chemometrics and intelligent lab. sys., 52(2000)5-22