 |
| ▲KT AX사업부문장 박상원 전무가 27일 서울 광화문 KT 웨스트빌딩에서 열린 간담회에서 발표하는 모습/사진=KT 제공 |
[소셜밸류=소민영 기자] 인공지능(AI) 시장의 경쟁축이 고성능 모델 개발에서 비용 효율성과 활용 능력으로 이동하고 있다. 기업들이 업무별로 여러 AI 모델을 사용하는 환경이 확산하면서 모델 선택부터 이용료 관리, 데이터 보안까지 통합 지원하는 플랫폼의 중요성도 커지고 있다. KT가 이러한 수요를 겨냥해 AI 모델 500개 이상을 연결하고 토큰 사용량을 최대 25% 줄이는 통합 플랫폼을 선보였다.
KT(대표이사 박윤영)는 27일 서울 종로구 광화문 웨스트(West) 빌딩에서 AI 모델 선택과 비용 관리, 보안 기능을 통합 제공하는 'KT 토큰팩토리(KT Token Factory)'를 공개했다. 오는 30일 기업 고객을 대상으로 서비스를 출시하고 향후 개인 고객과 글로벌 시장으로 사업을 확대할 계획이다.
토큰팩토리는 국내외 500개 이상의 AI 모델을 하나의 플랫폼에서 활용할 수 있도록 설계됐다. 고객은 번역·요약·코딩·추론 등 업무 목적에 맞는 모델을 선택하고 사용량 확인부터 비용 관리, 결제까지 통합적으로 처리할 수 있다.
AI 토큰은 인공지능이 입력된 질문을 분석하고 답변을 생성할 때 처리하는 기본 단위다. 일반적으로 입력과 출력에 사용된 토큰 수에 따라 이용 요금이 산정된다. 특히 AI 활용이 단순 질의응답에서 문서 분석과 업무 자동화, 복잡한 추론으로 확대되면서 토큰 사용량을 효율적으로 관리하는 기술이 기업의 AI 운영비를 좌우하는 주요 요소로 떠오르고 있다.
KT는 자체 개발한 AI 모델 자동 선택 기술인 '오토 모델 라우터(Auto Model Router)'를 적용했다. 질문의 난이도와 요구 품질, 비용 등을 분석해 단순 업무에는 경량 모델을, 복잡한 업무에는 고성능 모델을 배정하는 방식이다. 해당 기술은 글로벌 모델 선택 성능 평가인 '라우터아레나(RouterArena)'에서 종합 1위를 기록했다.
여기에 질문의 핵심 의미를 유지하면서 불필요한 표현을 줄이는 프롬프트 압축 기술을 결합해 토큰 사용량을 최대 25% 절감할 수 있도록 했다.
AI 모델을 업무별로 자동 배분하는 기술은 기업의 생성형 AI 도입에서 중요한 경쟁 요소로 꼽힌다. 모든 요청에 고성능 모델을 사용하면 비용 부담이 커지는 반면, 저비용 모델만 활용하면 복잡한 업무에서 답변 품질이 떨어질 수 있기 때문이다. 토큰팩토리는 이러한 비용과 성능 간 균형을 자동으로 조정하는 데 초점을 맞췄다.
KT는 국내 데이터센터에서 자체 AI 추론 서비스를 제공하고, 소버린 AI(Sovereign AI) 인프라를 기반으로 데이터 주권 확보를 지원한다. 또한 가드레일(Guardrail) 기술을 적용해 개인정보와 민감정보, 유해 표현 등을 점검하고 AI가 생성한 답변의 안전성도 검토한다.
아울러 KT는 글로벌 AI 플랫폼 기업 오픈라우터(OpenRouter)와 국내 최초로 공식 파트너십을 체결했다. 이를 통해 해외 AI 모델과 국내 AI 인프라를 연계하고, 국내에서 개발된 AI 모델의 해외 유통도 추진할 계획이다.
KT는 앞으로 AI 코딩과 에이전트(Agent), 기업용 AI 업무환경 분야의 전문기업들과 협력을 확대해 토큰팩토리를 기업의 AI 전환(AX·AI Transformation)을 지원하는 핵심 플랫폼으로 육성한다는 방침이다.
박상원 KT AX사업부문장 전무는 "AI 시장은 이제 누가 더 좋은 모델을 만드느냐보다 누가 AI를 더 쉽고 효율적으로 활용하도록 지원하느냐의 경쟁으로 빠르게 전환되고 있다"며 "토큰팩토리를 기반으로 고객의 AX 전환을 지원하고 대한민국 AI 생태계 성장을 이끄는 핵심 플랫폼으로 발전시켜 나가겠다"고 말했다.
[ⓒ 사회가치 공유 언론-소셜밸류. 무단전재-재배포 금지]
