 |
| ▲A.X 4.0의 대규모 학습(Continual Pre-Training, CPT)을 진행한 SK텔레콤 자체 구축 슈퍼컴퓨터 ‘타이탄’/사진=SKT 제공 |
[소셜밸류=최연돈 기자] SK텔레콤이 세계 최고 수준의 한국어 처리 능력을 갖춘 한국어 특화 대규모 언어모델(LLM) ‘A.X(에이닷 엑스) 4.0’을 오픈소스로 공개했다.
SK텔레콤은 3일 오전 글로벌 오픈소스 커뮤니티 허깅페이스(Hugging Face)를 통해 A.X 4.0의 표준 모델과 경량 모델 등 2종을 공개했다고 밝혔다.
이번에 공개된 A.X 4.0은 방대한 한국어 데이터를 학습해 국내 비즈니스 환경에 최적화된 성능을 제공하며, 데이터 보안을 고려한 설계와 로컬 환경 운영이 가능하다는 점이 특징이다.
SKT는 자체 설계한 토크나이저를 적용해 한국어 문장을 처리할 때 GPT-4o 대비 약 33% 높은 토큰 효율을 달성, 다른 LLM보다 높은 정보 처리용량과 비용 절감 효과를 동시에 갖췄다고 설명했다.
벤치마크 평가에서도 우수한 성과를 기록했다. A.X 4.0은 한국어 능력 평가 벤치마크인 KMMLU에서 78.3점을 기록해 GPT-4o(72.5점)를 앞섰으며, 한국 문화 이해도를 평가하는 CLIcK에서도 83.5점을 획득해 GPT-4o(80.2점)를 넘어섰다.
SKT는 A.X 4.0을 기업 내부 서버에 직접 설치해 활용할 수 있는 온프레미스 방식을 지원해 데이터 유출에 민감한 기업들도 안심하고 사용할 수 있도록 제공할 예정이다. 이미 A.X 4.0은 지난 5월 SKT의 에이닷 통화 요약 서비스에 적용돼 활용 중이며, 향후 SK그룹 내 다양한 서비스에 단계적으로 적용할 계획이다.
공개된 모델은 720억개 매개변수를 가진 표준 모델과 70억개 매개변수의 경량 모델로, 이용 목적과 환경에 따라 선택적으로 활용할 수 있다. SKT는 이번 모델 공개를 통해 국내 기업들이 자체 환경에서 AI 기술을 쉽게 활용하고 파생형 모델을 개발할 수 있는 기반을 제공하겠다는 계획이다.
SKT는 이달 중 수학 문제 풀이 및 코드 개발 능력이 강화된 추론형 모델과 멀티모달(이미지·텍스트 동시 처리) 능력을 갖춘 후속 모델도 공개할 예정이다. 김지원 SK텔레콤 AI Model Lab장은 “국내 비즈니스 환경에 최적화된 한국어 특화 LLM으로 지속적인 기술 개발을 이어가며 국내 기업의 AI 활용 저변을 넓힐 것”이라고 말했다.
[ⓒ 사회가치 공유 언론-소셜밸류. 무단전재-재배포 금지]
