GPT-3.5와 GPT-4의 차이점 비교
(출처: ckybe - stock.adobe.com)
OpenAI가 개발한 사전학습된 생성변환기, 즉 GPT(generative pre-trained transformer) 모델 제품군은 전 세계를 말 그대로 ‘강타’했다. GPT 모델 제품군에 익숙하지 않은 분들을 위해 설명하자면, 이는 딥러닝을 사용하여 주어진 프롬프트에 대해 인간과 유사한 응답을 생성하는 일련의 언어 모델이다. 이러한 모델을 활용함으로써, 기존 자연어 처리 모델로는 불가능하지는 않더라도 달성하기 어려웠던 많은 작업들이 가능해졌습니다. 예를 들면 기사 작성, 아이디어 브레인스토밍, 코드 스니펫 작성과 같은 사례들이 여기에 포함된다. 제품 또는 기업의 워크플로우에 GPT를 통합하는 데 있어 최선의 결정을 내리려면 사용자는 각 기술 세대별 아키텍처, 기능, 성능의 차이를 이해할 필요가 있다. GPT-3.5와 GPT-4가 연이어 출시되고 그 속도와 가격의 차이를 고려할 때, 이러한 이해는 기업이 활용 사례에 적합한 모델을 선택하는 데 도움이 될 수 있다. 이를 위해 이번 글에서는 GPT-3.5와 GPT-4의 차이점에 대해 살펴볼 것이다.
GPT-3.5 및 GPT-4 개요
GPT-3.5는 GPT-3의 업데이트 버전으로서, GPT-3.5에서 1,750억 개였던 매개변수의 수가 3,550억 개로 약 2배 늘어났다. 이러한 증가로 인해 보다 정확한 예측과 프롬프트에 대한 더 복잡하고 미묘한 응답을 생성할 수 있게 되었다. GPT-3.5는 OpenAI의 애플리케이션 프로그래밍 인터페이스(API)를 통해 액세스할 수 있으며 개발자의 자체 제품이나 워크플로우에 통합할 수 있다.
GPT-4는 사람의 명령에 더 민감하게 반응하는, 훨씬 더 긴 응답 시간을 가진 가장 강력한 언어 모델이라고 주장한다. 2023년 5월 현재 OpenAI는 GPT-4의 정확한 매개변수 수를 공개하지 않았지만, 소문에 따르면 수조 개에 달할 수 있다고 한다. GPT-4는 에세이 쓰기, 더 복잡한 코드 작성, 이미지와 상호작용 등의 작업을 수행할 수 있다.
아키텍처, 기능, 성능
GPT-3.5와 GPT-4의 주요 차이점 중 하나는 아키텍처에 있다. GPT-3.5는 부분적으로 GPT-3와 동일한 아키텍처를 사용한다. 트랜스포머 기반 모델이 그것이다. 그러나 매개변수 수가 증가하여 학습 및 추론 중에 더 복잡한 계산을 수행할 수 있으므로 더 정확하고 섬세한 응답을 얻을 수 있다. 또한 이 아키텍처는 강화 학습과 사람의 피드백을 활용하여 성능을 향상시킴으로써 모델이 사람이 제공하는 안내에 따라 학습하고 사람의 명령을 따르는 능력을 향상할 수 있다. ChatGPT 형식으로 사용할 경우, 안전 계층이 추가되어 모델이 제공하는 답변이 유해하지 않도록 보장하는 가드레일 역할을 한다. ChatGPT 형식에 사용된 미세 조정 버전은 적시에 사람들과 대화해야 하기 때문에 속도에도 최적화되었다.
GPT-4는 GPT-3.5와 유사한 아키텍처를 사용하지만 이미지와 같은 멀티모드 입력을 허용하도록 훨씬 더 확장되었다. GPT-4는 디스코드 서버(Discord server)의 스크린샷부터 웹사이트의 손으로 그린 모형까지 거의 모든 이미지를 이해하고 설명할 수 있다. 심지어 이미지와 일치하는 웹사이트의 작업 코드까지 제공할 수 있다. 이는 텍스트 프롬프트만 받을 수 있었던 GPT-3.5에서 크게 업그레이드된 것이다. 또한 새로운 아키텍처와 모델 크기는 더 큰 입력 컨텍스트를 허용하므로 사용자는 한 번에 더 많은 토큰(‘워드(word)’에 해당)을 전송할 수 있다. 이전 GPT-3.5의 컨텍스트는 4,000개의 토큰이었지만, GPT-4의 컨텍스트는 모델에 따라 8,000개에서 32,000개까지 다양하다.
사용자 애플리케이션
언어 모델을 제품이나 워크플로우에 통합하고자 할 경우, 활용 사례에 따라 GPT-3.5와 GPT-4 중 하나를 선택해야 한다.
챗봇이나 가상 어시스턴트처럼 짧은 지연 시간과 저렴한 비용으로 정확하고 미묘한 언어 생성이 필요한 애플리케이션에는 GPT-3.5이 좋은 선택일 수 있다. 매개변수 수가 많아질수록 더 정확한 예측이 가능하므로 더 나은 사용자 경험을 제공할 수 있다. 또한 GPT-3.5는 이미 OpenAI의 API를 통해 사용할 수 있으므로 개발자는 GPT-4가 베타 버전으로 출시될 때까지 기다릴 필요 없이 바로 제품에 통합할 수 있다.
에세이 작성이나 코드 생성처럼 더 길고 복잡한 언어 생성이 필요한 애플리케이션에는 GPT-4가 더 적합할 수 있다. 매개변수 수가 많을수록 더 복잡한 계산이 가능하므로 이러한 유형의 작업에서 더 나은 성능을 발휘할 수 있다. 매우 큰 텍스트 블록을 읽거나 써야 하는 모든 작업 역시 GPT-3.5보다 GPT-4가 더 유리할 수 있다. 또한 입력이 텍스트이거나 이미지 같이 시각적 구성 요소가 있는 활용 사례는 GPT-4를 활용해야 한다. 이 모델은 GPT-3.5보다 비용이 더 많이 들기 때문에 사용자는 자신의 활용 사례에 GPT-4가 꼭 필요한지 신중하게 파악해야 한다.
맺음말
OpenAI는 특히 GPT-3.5와 GPT-4의 등장으로 언어 모델에서 가능한 것의 한계를 뛰어넘고 있다. 이 두 가지 아키텍처와 학습 데이터의 차이는 정확도, 속도, 비용 측면에서 특정 활용 사례와 제품 요구 사항에 따라 사용자에게 선택권을 제공한다. 챗봇을 위한 정확하고 미묘한 언어 생성을 원하든, 에세이 작성 및 코드 생성을 위한 더 복잡한 언어 생성을 원하든, 사용자는 필요에 맞게 GPT 모델을 사용할 수 있다. 이러한 모델은 계속 발전하여 언어 처리의 흥미로운 미래를 만들어갈 것이다.
벡스 심슨(Becks Simpson)은 개발자, 제품 디자이너, ML 전문가가 고객과 협력하여 AI 제품의 꿈을 실현하는 AlleyCorp Nord의 머신 러닝 리더이다. 여가 시간에는 고래를 감지하는 데 AI를 사용하는 또 다른 스타트업인 Whale Seeker와 협력하여 산업과 고래가 수익을 창출하며 공존할 수 있도록 돕고 있다. 그녀는 새로운 딥 러닝 방법을 조사하고 실제 문제 해결을 위해 연구를 직접 적용하는 것부터 AI 모델을 실전에서 훈련하고 배포하기 위한 파이프라인과 플랫폼을 설계하고 스타트업의 AI 및 데이터 전략에 대한 자문을 제공하는 것까지 딥 러닝과 머신 러닝 분야에서 다양한 업무를 수행했다.