[한국공공정책신문=김유리 기자]
◇ 전이학습의 개념
전이학습(transfer learning)이란 기계학습 분야의 기술로, 다른 작업에서 학습된 지식을 새로운 작업의 효과적인 가설을 효율적으로 찾아내기 위해 전이하는 기법이다. 흔히 사용되는 전이학습의 일종인 도메인 적응은 한 전문 영역(도메인)에서 학습한 모델을 다른 영역에 적합하게 만드는 알고리즘이다.
◇ 합성 신경 네트워크 모델의 전이학습
예컨대, 어떤 ‘합성 신경 네트워크 모델’에 동물의 화상 데이터를 대량으로 이용해 식별 태스크를 학습시켰다고 하자. 다음으로 식물의 이미지 데이터를 학습시키도록 했을 때, 마찬가지로 식물의 이미지 데이터를 대량으로 준비할 필요가 없다.
전이학습을 이용하면 동물의 이미지 데이터를 학습된 모델을 유용하여 소량의 식물의 이미지 데이터를 학습시키는 것만으로 식물의 식별 작업을 할 수 있게 된다. 일반적으로 교사와 학습 등에서는 대량의 데이터가 필요하고, 또한 학습시간도 방대하게 걸린다.
◇ 전이학습을 통한 시간 줄임
전이학습에서는 대상 도메인의 샘플 분포를 소스 도메인의 분포에 가깝게 함으로써 소스 도메인을 사용하여 학습한 식별기를 대상 도메인에 적용한다. 전이학습에서 이미 학습된 모델을 전용함으로써 대량의 데이터와 학습에 걸리는 시간을 크게 줄일 수 있다. 이러한 전이학습이 가능한 것은 학습된 모델이 노드 간 가중치를 재사용하고 있고, 모델이 이미 특정 도메인의 패턴 인식에 필요한 특징량 포인트를 억제하고 있기 때문인 것으로 본다.
◇ 전이학습 기술의 파인튜닝
전이학습의 유사한 기술에는 ‘파인튜닝(fine tuning)’이 알려져 있다. 양자 간에는 기술적 차이가 있어 전이학습에서는 기존 학습된 모델의 가중치 데이터를 변경하지 않고 그대로 사용하는 반면, 파인튜닝에서는 기존 학습된 모델의 가중치 데이터의 일부 재학습을 수행한다. 이와같이 재학습을 함으로써 파인튜닝에서는 보다 일반화 성능을 올릴 수 있다. 또한 ‘멀티태스크학습(Multi-Task Learning)’도 여러 과제를 수행하는 방법이지만 전이학습과 달리 처음부터 단일 모델로 여러 도메인의 과제를 푸는 것을 목표로 한다.
*주) 멀티태스크학습(Multi-Task Learning)은 기계학습과 심층학습의 한 분야로, 여러 작업을 동시에 학습하여 모델을 훈련하는 기법이다.
◇ 전이학습의 기계학습실시
기계학습을 실시하는 경우, 대량의 데이터를 이용해 교사가 있고 학습 등을 실시하는 것이 이상적이지만, 현실 세계에서는 항상 대량의 데이터가 입수 가능하다고는 할 수 없다. 또한 완전히 새로운 도메인 학습을 할 기회는 한정되어 있기 때문에 매번 방대한 학습시간을 들일 필요도 없다. 학습시간이 한정되고 적은 양의 데이터만 얻을 수 있는 많은 일반적인 경우에 전이학습이나 파인튜닝은 현실적이고 강력한 해결책이 될 수 있다.
이규철 / 법학박사(상법)
∙ AI·GPT, SDGs&ESG 코치 및 강사
∙ 100세대학 크리에이터 및 칼럼니스트
∙ 생성AI와 챗GPT, SDGs·ESG경영전략,
글로벌 MBAtoCEO, 리더의 필승전략,
100세대학 행복디자인 매뉴얼 등 27권
∙ 일본(와세다대),중국(복단대·화동정법대)
){kind=small}
){kind=small}
){kind=small}
){kind=small}