[한국공공정책신문=최진실 기자]
◇ 파라미터(Parameter)란?
파라미터(Parameter), 혹은 ‘파라미터 수(數)’란 언어모델이 가진 성능의 하나의 지표이다. 파라미터에는 ‘용량’, ‘데이터의 가중치’, ‘뉴런(Neuron) 수’ 등 몇 가지 요인이 존재한다. 기본적으로는 많아질수록 성능이 올라간다고 되어있지만, 과학습(Overfitting)과의 밸런스나 소비 전력(電力)과의 밸런스이다. 그리고 모델 동작의 불확실성을 초래할 가능성 등이 지적되고 있어 반드시 ‘파라미터 수’가 많은 쪽이 우위라고 단정할 수는 없다.
*참고) 뇌를 구성하는 주역은 신경세포이다. 신경세포는 전기 신호를 발하여 정보를 주고받는 특수한 세포이다. 그 수는 사람의 대뇌에서 약 160억 개, 소뇌에서 약 690억 개, 뇌 전체에서는 약 860억 개에 이른다. 신경세포끼리는 시냅스로 서로 연결되어 복잡한 네트워크(신경회로)를 형성하고 있다.
◇ 파라미터 수(數)의 개념
AI 모델, 특히 심층학습에서의 ‘파라미터 수(數)’라고 하는 것은 그 AI가 가지는 ‘학습의 양’이나 ‘복잡함’의 지표와 같다. 이 ‘학습의 양 = 용량’과 ‘복잡함 = 다양한 중량이라고 불리는 중요도의 값’ 등을 최초로 정의 내리고 있는 것이 파라미터 수(數)이다.
◇ 파라미터 수(數)의 사례
우리는 어떤 종류의 문제를 풀어가는 경우 여러 가지 공식이나 규칙을 외워서 사용한다. AI도 이러한 방식과 비슷하고, 많은 ‘규칙’이나 ‘지식’을 파라미터로써 가지고, 학습하고 있다.
예컨대, 레고 블록으로 생각해 보자. 레고 블록을 사용하여 다양한 형태의 물건을 만들 수 있지만, 블록의 수가 적으면 만들 수 있는 것도 단순한 것에 한정된다. 하지만 블록의 수가 많이 있으면 더 복잡하고 큰 것을 만들 수 있다.
◇ 파라미터 수(數)의 단점
단순하게 말하면 AI의 파라미터 수(數)도 이와 같아서 파라미터가 많을수록 AI는 복잡한 것을 판단하고 학습하고 처리할 수 있게 된다. 그러나 블록이 너무 많으면 어떤 것을 어떻게 조합해야 할지 모르게 될 수 있다. 과유불급이다. 이것은 AI에도 말할 수 있고, 파라미터가 너무 많으면 학습에 매우 오랜 시간이 걸리거나 반대로 잘 학습하지 못할 수 있다.
즉, 여기서 카포인트는 많은 것이 정의 되지 않는 것이 이 ‘파라미터 수(數)’이다. 물론 기술적인 혁신이 있고 용량에 대한 가중치 처리가 잘 시행되어 과학습에서 버그(bug)와 같은 증상이 개선될 수 있다면 단순히 파라미터 수(數)가 많은 쪽이 우위를 점하는 미래도 있을 수 있다. 그 밖의 단점으로는 파라미터 수의 증가는 많은 전기 소비량을 야기하기 때문에 에너지 문제에도 밀접하게 관련되어 있다고 할 수 있다.
이규철 / 법학박사(상법)
∙ AI·GPT, SDGs&ESG 코치 및 강사
∙ 100세대학 크리에이터 및 칼럼니스트
∙ 생성AI와 챗GPT, SDGs·ESG경영전략,
글로벌 MBAtoCEO, 리더의 필승전략,
100세대학 행복디자인 매뉴얼 등 27권
∙ 일본(와세다대),중국(복단대·화동정법대)
){kind=small}
){kind=small}
){kind=small}
){kind=small}