← Blog
KRAFTON AI · TECH REPORT

A.X K2 Raon-Speech: 국내 최초 독자 개발 SpeechLM 공개

음성 이해부터 도구 호출, 음성 생성까지

최근 음성 AI 시스템은 사용자가 말한 내용을 이해하고, 필요한 정보를 찾거나 판단한 뒤, 다시 자연스러운 음성으로 응답하는 형태로 빠르게 확장되고 있다. 대표적으로 Amazon Alexa+나 Google Assistant 같은 음성 비서와 AI 스피커가 이러한 시스템의 실사용 예시다[1][2]. 이러한 시스템은 게임 속 캐릭터와의 실시간 대화, 차량·로봇 인터페이스, 상담 자동화, 외국어 학습 튜터처럼 사용자가 손을 쓰기 어렵거나 음성이 더 자연스러운 환경에서 활용될 수 있다.

음성 AI 시스템은 지금까지 주로 여러 모델을 이어 붙이는 방식으로 구현되어 왔다. 먼저 음성을 텍스트로 변환하는 음성 인식(STT) 모델이 입력을 처리하고, 텍스트 언어 모델(LLM)이 응답을 만든 뒤, 텍스트를 다시 음성으로 합성하는 음성 합성(TTS) 모델이 출력을 담당한다[3]. 이 방식은 구현이 단순하지만, 음성이 텍스트로 바뀌는 과정에서 억양, 감정, 화자 특성처럼 의도를 담은 비언어적 단서가 손실되기 쉽고, 이러한 손실은 이후 응답 품질에도 영향을 줄 수 있다[4]. 따라서 음성을 텍스트의 부가 데이터가 아니라 모델이 직접 이해하고 생성해야 하는 핵심 입력으로 다루는 SpeechLM이 필요하다.

우리는 이 문제의식에서 출발해 지난 4월 Raon-Speech를 공개했다. Raon-Speech는 사전 학습된 언어 모델의 텍스트 역량을 유지하면서도, 이를 음성 이해와 생성 능력을 갖춘 SpeechLM으로 전환할 수 있음을 보여주었고 영어와 한국어 영역에서 세계 최고 수준의 성능을 달성했다[5]. 다만 당시에는 언어 모델과 주요 음성 모듈 전반에 해외 기반 모델을 활용했다는 한계가 있었다.

이번 독자 AI 파운데이션 모델 프로젝트에서 우리는 두 가지를 목표로 삼았다. 첫째, 음성 인코더와 음성 코덱을 자체 학습해 SpeechLM 개발의 핵심 파이프라인과 음성 모듈 생산 역량을 내재화하는 것. 둘째, SKT가 개발한 독자 언어 모델 A.X K2 Light (20B-A3B)를 기반으로 음성 입력과 음성 출력을 모두 지원하는 고도화된 SpeechLM을 구축하는 것이다.

그 결과, 국내 최초로 독자 학습을 통해 개발된 음성 파운데이션 모델 A.X K2 Raon-Speech (21B A3B)를 공개했다. 이 모델은 Raon-Speech 평가 기준을 바탕으로 한 자체 평가에서 한국어 영역 1위를 차지했으며, 영어에서도 3위에 오르며 독자 모델의 경쟁력을 보여주었다.

그림 1과 표 1은 A.X K2 Raon-Speech의 전체 역량과 주요 비교군 대비 순위를 요약한 결과다.

2026-07-03T19:10:18.460814 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/ 0 25 50 75 100 LibriSpeech-c Fleurs-en TriviaQA WebQuestions LibriSpeech-TTS(WER) Seed-TTS(WER) KsponSpeech-TTS(CER) FDB WebSearch Emotion/ Speaker (KO) 🇰🇷 A.X K2 Raon-Speech 🇰🇷 Raon-Speech 🇨🇳 Qwen3-Omni 🇨🇳 Step-Audio 2 mini 🇨🇳 Qwen2.5-Omni 🇨🇳 Interactive-Omni 🇨🇳 Fun-Audio-Chat 🇰🇷 HyperCLOVA X 8B Omni 🇨🇳 Ming-Lite-Omni v1.5 ASR Spoken QA Speech Generation Tool-call Emotion/Speaker
그림 1. 주요 비교군 대비 A.X K2 Raon-Speech의 벤치마크 축별 성능 비교. 음성 인식, 음성 생성, SpokenQA, SpeechQA, 도구 호출, 감정 및 화자 인지 등 다양한 벤치마크 축을 포함하며, 각 점수는 벤치마크 축별 최고값을 기준으로 0-최댓값 정규화했다. 비교군은 표 5의 영어 성능 기준 상위 9개 모델 중 영어와 한국어를 모두 지원하는 모델만 선정했다.
한국어
순위
모델한국어영어영어
순위
1KRA.X K2 Raon-Speech0.720.753
2KRRaon-Speech0.700.791
3CNQwen3-Omni0.650.782
4KRHyperCLOVA X 8B Omni0.600.688
5CNMOSS-Audio0.580.6213
6CNQwen2.5-Omni0.550.735
7CNFun-Audio-Chat0.530.697
8CNStep-Audio 2 mini0.320.6710
9CNInteractive-Omni0.270.716
10CNMing-Lite-Omni v1.50.210.688
10USAF-Next0.210.6511
표 1. 주요 모델 종합 순위 요약. 종합 점수는 정확도, 판정 점수, 오류율 지표를 0–1 범위로 정규화한 뒤 영어와 한국어 과제 결과를 집계한 값이다. 전체 비교군과 집계 방식, 언어별 분석은 최종 성능 분석 문단을 참고.

우리가 A.X K2 Raon-Speech를 만든 과정

그림 2. A.X K2 Raon-Speech의 음성 이해 및 음성 생성 구조
그림 2. A.X K2 Raon-Speech의 음성 이해 및 음성 생성 구조. 음성 입력은 음성 인코더와 어댑터를 거쳐 언어 모델로 이어지고, 언어 모델의 hidden state는 음성 생성 모듈과 코덱 디코더를 거쳐 음성으로 복원된다.

A.X K2 Raon-Speech는 음성 입력을 이해하고, 텍스트 응답뿐 아니라 음성 출력까지 생성할 수 있는 구조로 설계됐다. 음성 이해 과정에서는 입력 음성을 음성 인코더에 통과시켜 음성 임베딩을 얻고, 이를 언어 모델의 입력 표현으로 사용한다. 음성 생성 과정에서는 언어 모델의 hidden state를 바탕으로 음성 생성 모듈이 음성 이산 토큰을 예측하고, 코덱 디코더가 이를 최종 음성으로 복원한다. 모델 규모는 음성 인코더 300M, 음성 코덱 90M, 기반 언어 모델인 A.X K2 Light로 구성된다. 여기에 음성 입력과 음성 출력을 위한 모듈을 결합한 최종 A.X K2 Raon-Speech는 21B A3B 규모이다. 아래에서는 먼저 음성 인코더와 음성 코덱을 자체 학습한 과정부터 살펴보고, 이어 A.X K2 Light를 SpeechLM으로 확장한 방법과 사후 학습 과정을 설명한다.

1. 음성 모듈을 자체적으로 학습

이번 프로젝트의 목표는 새로운 구조를 제안하기보다 독자적으로 수집·정제한 데이터와 학습 파이프라인만으로 경쟁력 있는 모델을 처음부터 학습할 수 있는지를 확인하는 데 초점을 맞췄다. 이는 데이터와 모델 구조를 동시에 바꿀 경우, 성능 차이가 어느 쪽의 영향에서 비롯됐는지 분리해 해석하기 어렵기 때문이다.

음성 인코더

A.X K2 Raon-Speech의 음성 인코더는 Qwen3-ASR-1.7B의 AuT 구조를 기반으로, 작은 decoder를 연결해 STT와 QA 과제를 풀도록 프롬스크래치 학습했다[6]. 표 2는 이렇게 학습한 음성 인코더와 Qwen AuT의 성능을 비교한 결과다. 성능 평가는 Raon-Speech의 음성 이해도 검증에 사용된 음성 인식(STT), SpokenQA, SpeechQA 벤치마크로 진행했다. 음성 인식은 영어 단어 오류율(WER)과 한국어 문자 오류율(CER)을 사용했고, SpokenQA와 SpeechQA는 정확도를 지표로 사용했다.

과제 / 지표영어한국어언어 평균
음성 인식96.7%104.6%100.7%
SpokenQA (정확도)90.3%104.8%97.6%
SpeechQA (정확도)98.8%100.2%99.5%
언어 종합 평균95.3%103.2%99.2%
표 2. Qwen AuT 대비 자체 학습된 인코더의 SpeechLM 하위 과제 상대 성능 (Qwen AuT = 100%)

특히 Qwen3-ASR-1.7B의 AuT가 약 4,000만 시간의 대규모 오디오 데이터를 학습에 활용한 반면, 본 모델은 이의 약 40분의 1 수준인 100만 시간의 오디오 데이터만으로 이와 유사한 성능을 달성했다.

각 벤치마크 과제의 입출력 형식과 예시는 표 3과 같다.

과제입력 → 출력간단 예시
음성 인식음성 → 텍스트사용자: <audio> Transcribe the audio into text.
응답: First, let's speak about our possible futures and how those are shaped by many agents of change.
SpeechQA음성 문맥 + 텍스트 질문 → 텍스트 답변사용자: <audio>
사용자: How old is the speaker?
응답: 16
SpokenQA음성 문맥 + 음성 질문 → 텍스트 답변사용자: <audio>
응답: Dry palms will produce the most heat when rubbed together because the lack of moisture or lubrication increases friction between the surfaces.
표 3. 음성 이해도 평가 벤치마크 과제의 입출력 형식과 예시

음성 코덱

A.X K2 Raon-Speech의 음성 코덱은 Moshi에 사용된 Mimi 코덱 구조를 기반으로 프롬스크래치 학습했다[7]. 음성 이산 토큰에 언어 모델이 처리하기 쉬운 의미 정보를 담기 위해 WavLM 기반 semantic distillation을 적용했다[8]. 다만 Moshi는 Mimi 구조를 제안했지만, 학습 데이터와 세부 학습 레시피는 공개하지 않았다. 따라서 우리는 여러 코덱 학습 레시피를 직접 설계하고 실험하며 안정적인 학습 설정을 찾았고, 그 결과 코덱 학습은 다음의 두 단계로 진행했다.

이처럼 단계를 나눈 이유는 초기 학습부터 판별기 기반 adversarial training을 곧바로 도입하거나, 회귀 손실 함수와 adversarial training loss를 동시에 적용할 경우 손실 함수가 안정적으로 수렴하지 않는 문제가 발생했기 때문이다.

표 4는 Mimi와 자체 학습한 코덱의 성능을 비교한 결과다. Moshi가 약 700만 시간의 오디오 데이터를 학습에 활용한 반면, 본 모델은 이의 약 14분의 1 수준인 50만 시간의 오디오 데이터만으로 이에 근접한 성능을 달성했다.

지표영어한국어언어 평균
PESQ83.7%83.3%83.5%
ESTOI96.8%94.7%95.8%
음성 인식100.7%112.6%106.7%
화자 유사도96.9%99.6%98.3%
UTMOS94.4%95.7%95.1%
언어 종합 평균94.5%97.2%95.9%
표 4. Mimi 대비 자체 학습된 코덱의 상대 성능 (Mimi = 100%)

이 결과는 상대적으로 작은 데이터 규모에서도 자체 학습한 음성 인코더와 코덱이 경쟁력 있는 SpeechLM 성능으로 이어질 수 있음을 보여준다. 다만 다음 단계에서는 학습 레시피의 재현을 넘어 구조 자체의 개선도 필요하다. 음성 인코더와 코덱은 speech 중심을 넘어 효과음, 환경음, 음악을 포함한 general audio까지 학습 범위를 넓혀, 음성 외의 오디오 단서도 함께 이해하고 생성할 수 있도록 발전시킬 수 있다. 또한 Mimi의 semantic distillation은 언어와 도메인에 덜 의존하는 방식으로 확장할 여지가 있으며, SpeechLM에 전달되는 입출력 형식과 encoder/decoder 구조 역시 더 효율적으로 재설계할 수 있다. RVQ 중심 방식 외에도 Voxtral TTS에서처럼 FSQ 기반 acoustic tokenization을 활용하는 방향도 유망한 탐색 축이다[17].

2. 언어 모델을 SpeechLM으로 확장

A.X K2 Raon-Speech의 학습 전략은 Raon-Speech에서 검증한 SpeechLM 구조와 학습 레시피를 출발점으로 삼아, A.X K2 Light의 텍스트 역량을 보존하면서 음성 입력과 음성 출력을 안정적으로 연결하는 데 초점을 두었다. 먼저 언어 모델은 고정한 채 음성 모듈만 학습하여, 음성 입력이 A.X K2 Light의 hidden state로 이어지고 A.X K2 Light의 출력이 음성 이산 토큰 생성으로 연결되도록 사전 정렬했다. 이후에는 언어 모델까지 함께 학습하여 음성 처리 능력을 고도화했다. 이 과정에서 텍스트 능력이 손상되지 않도록 전체 데이터의 절반은 텍스트 및 기존 과제 데이터로 유지했으며, A.X K2 Light로 생성한 뒤 다시 정제한 데이터를 활용해 고유의 지시 이행 및 추론 능력을 보존했다. 텍스트 전용 데이터에는 A.X K2 Light의 출력을 정답 신호로 사용하여 distillation을 적용하고, 텍스트-음성 간의 간극을 줄이기 위해 음성 입력 데이터에는 동일 내용을 텍스트로 입력했을 때의 A.X K2 Light 응답을 정답으로 삼는 cross-modal distillation을 적용했다.

여기까지의 과정은 A.X K2 Light를 SpeechLM으로 확장하기 위한 사전 학습 단계에 해당한다. 이후 우리는 도구 호출, 감정 및 화자 인지, 음성 생성 안정성처럼 실제 사용 장면에서 중요한 능력을 강화하기 위해 별도의 사후 학습을 진행했다. 아래에서는 각 사후 학습 단계가 무엇을 개선했는지와 그 결과가 어떤 사용 경험으로 이어지는지를 예시와 함께 살펴본다.

도구 호출

실제로 활용 가능한 SpeechLM에는 도구 호출 능력이 필수적이다. 우리는 텍스트 기반 도구 호출 데이터를 음성 생성으로 확장해 학습에 활용했다. 아래 뉴스 브리핑 예시는 음성 질문을 입력받은 모델이 필요한 도구를 선택해 호출하고, 도구 결과를 다시 답변으로 통합하는 흐름을 보여준다. 단일 턴에서는 도구 호출과 도구 응답 처리를 안정적으로 수행하는 것을 확인했으며, 여러 턴에 걸쳐 문맥과 상태를 유지하며 도구 호출 결과를 누적하고 반영하는 능력은 향후 개선 과제로 남아 있다.

아래 예시는 실제 모델의 생성 결과를 기반으로 하되, 독자가 흐름을 이해하기 쉽도록 도구 입출력을 일부 정리한 것이다.

오늘의 뉴스 브리핑
도구 web_search
음성 질문
전사: "스포츠 최신 뉴스 알려줘"
모델 답변
도구 호출 예시 (펼치기)
{
  "query": "스포츠 최신 뉴스",
  "num_results": 5
}
도구 결과 요약 (펼치기)
{
  "query": "스포츠 최신 뉴스",
  "summary": "멕시코가 2026 북중미 월드컵 32강전에서 에콰도르를 2-0으로 꺾고, 1986년 이후 40년 만에 월드컵 토너먼트 경기에서 첫 승리를 거두며 16강에 진출했다. 이강인은 아틀레티코 마드리드 이적을 앞두고 개인 합의를 마무리 지었으며, 공식 발표가 임박한 것으로 알려졌다. 네덜란드는 모로코와의 32강전에서 승부차기 끝에 탈락하며, 로날드 쿠만 감독이 책임을 지고 전격 사퇴했다. [yna.co.kr](https://www.yna.co.kr/view/AKR20260701105900007), [starnewskorea.com](https://www.starnewskorea.com/sports/2026/07/01/2026070114191566948), [starnewskorea.com](https://www.starnewskorea.com/sports/2026/07/01/2026070109534230105)",
  "sources": [
    {
      "title": "[월드컵] '40년 만의 한풀이' 멕시코, 에콰도르 2-0 꺾고 16강 진출 | 연합뉴스",
      "url": "https://www.yna.co.kr/view/AKR20260701105900007"
    },
    {
      "title": "'오피셜 임박' 이강인, 아틀레티코 '이적 확정' 이번 주 뜬다... \"이적료 525억\" 월드컵 아픔 끝내고 마드리드로! | 스타뉴스",
      "url": "https://www.starnewskorea.com/sports/2026/07/01/2026070114191566948"
    },
    {
      "title": "[오피셜] '日에 비기고 모로코에 충격패' 네덜란드 쿠만 감독 전격 사퇴 \"이제 가족 곁으로\"... 3년 만에 쓸쓸히 퇴장 | 스타뉴스",
      "url": "https://www.starnewskorea.com/sports/2026/07/01/2026070109534230105"
    },
    {
      "title": "'이종범 1797안타' 넘은 김선빈 '뭉클' 고백 \"키 작은 소년의 기적, 타이거즈 팬들이 만들어주셨다\" - 머니투데이",
      "url": "https://www.mt.co.kr/sports/2026/07/01/2026070113152957009"
    },
    {
      "title": "\"올스타전까지가 중요하다\" 위기에서 '운' 강조한 이강철 감독, 1패 지웠다···0-7에서 행운의 우천 노게임 선언 - 스포츠경향",
      "url": "https://sports.khan.co.kr/article/202607011130003"
    }
  ]
}
다음은 스포츠 최신 뉴스입니다:
멕시코, 에콰도르에 2-0 승리하며 16강 진출: 멕시코가 2026 북중미 월드컵 32강전에서 에콰도르를 2-0으로 꺾고, 1986년 이후 40년 만에 월드컵 토너먼트에서 첫 승리를 거두며 16강에 진출했습니다.
이강인, 아틀레티코 마드리드 이적 임박: 이강인이 아틀레티코 마드리드 이적을 앞두고 개인 합의를 마무리 지었으며, 공식 발표가 임박한 것으로 알려졌습니다. 이적료는 약 525억 원으로 전해졌습니다.
네덜란드, 모로코와의 32강전에서 승부차기 탈락: 네덜란드는 모로코와의 32강전에서 승부차기 끝에 탈락하며, 로날드 쿠만 감독이 책임을 지고 전격 사퇴했습니다.
기타 스포츠 뉴스: 이종범 1797안타를 넘은 김선빈의 고백, 올스타전 전까지의 중요성 강조 등 다양한 스포츠 소식이 있습니다.
더 자세한 내용은 여기에서 확인할 수 있습니다.

감정 및 화자 인지

감정 및 화자 인지는 음성을 텍스트로 바꾼 뒤 텍스트만으로 응답을 만드는 기존 방식에서 가장 먼저 손실되기 쉬운 음성 단서다. 텍스트 전사문만 남으면 같은 문장 안에 담긴 말투, 음역, 음색, 감정의 차이를 모델이 활용하기 어렵다. 이 능력은 사용자의 상태를 이해하거나 목소리에 맞는 응답을 만드는 작업에서 특히 중요하다.

이를 해결하기 위해 감정 관련 데이터셋에 self-distillation 방법론을 도입했다[9]. 이는 모델이 음성에서 스스로 추론한 감정 및 화자 단서를 다시 학습 신호로 활용해, 텍스트만으로는 남기 어려운 비언어 정보를 더 안정적으로 익히게 하는 방식이다. 아래 노래 추천 예시는 같은 요청이라도 목소리의 성별, 음역, 음색에 따라 모델이 서로 다른 추천 근거와 결과를 내놓는 모습을 보여준다. 핵심은 모델이 텍스트 전사문뿐 아니라 음성 자체의 단서를 함께 사용한다는 점이다.

아래 예시는 실제 모델의 생성 결과를 기반으로 하되, 독자가 흐름을 이해하기 쉽도록 도구 입출력을 일부 정리한 것이다.

내 목소리에 어울리는 노래 추천
도구 find_music, 같은 요청도 목소리(성별, 음역, 음색)에 따라 다른 추천
① 여성 음성, 고음역, 밝고 선명한 음색
음성 질문
전사: "내 목소리에 맞는 음악 추천해줘"
모델 답변
도구 호출 예시 (펼치기)
{
  "vocal_profile": {
    "gender": "female",
    "pitch": "high",
    "timbre": [
      "bright",
      "clear"
    ]
  },
  "music_criteria": {
    "genre": "pop",
    "mood": "happy"
  }
}
도구 결과 요약 (펼치기)
{
  "recommendations": [
    {
      "artist": "엔믹스",
      "song": "DICE",
      "range": "mid",
      "difficulty": "hard",
      "vocal_demand": [
        "powerful",
        "rhythmic"
      ],
      "reason": "중음역, 힘 있게 부르는, 밝고 선명한 음색 매칭"
    },
    {
      "artist": "이영현",
      "song": "연(捐)",
      "range": "high",
      "difficulty": "hard",
      "vocal_demand": [
        "powerful",
        "sustained"
      ],
      "reason": "고음역, 힘 있게 부르는, 선명한 음색 매칭"
    },
    {
      "artist": "SAAY",
      "song": "Summer In Love",
      "range": "mid",
      "difficulty": "mid",
      "vocal_demand": [
        "gentle",
        "falsetto",
        "rhythmic"
      ],
      "reason": "중음역, 무난한 난도, 선명한 음색 매칭"
    },
    {
      "artist": "태연",
      "song": "I",
      "range": "high",
      "difficulty": "hard",
      "vocal_demand": [
        "powerful",
        "sustained",
        "belting"
      ],
      "reason": "고음역, 힘 있게 부르는, 밝고 선명한 음색 매칭"
    }
  ],
  "applied_filters": [
    "genre",
    "mood"
  ],
  "relaxed": [
    "genre",
    "mood"
  ]
}
네, 네 목소리에 잘 어울리는 음악을 찾아봤어요. 엔믹스의 'DICE'는 중음역에서 제대로 지르는 힘 있는 보컬이 필요하고, 이영현의 '연(捐)'은 고음역에서 길게 끌어주는 보컬이 좋아요. SAAY의 'Summer In Love'는 중음역에서 부드러운 가성을 쓰고, 태연의 'I'는 고음역에서 고음 발성이 필요한 곡이에요. 이 곡들이 네 음색에 잘 맞을 거예요.
② 남성 음성, 저음역, 깊고 힘찬 음색
음성 질문
전사: "어이, 내 목소리에 맞는 음악 한번 추천해줄래?"
모델 답변
도구 호출 예시 (펼치기)
{
  "vocal_profile": {
    "gender": "male",
    "pitch": "low",
    "timbre": [
      "deep",
      "powerful"
    ]
  },
  "music_criteria": {
    "genre": "rock",
    "mood": "energetic"
  }
}
도구 결과 요약 (펼치기)
{
  "recommendations": [
    {
      "artist": "이승환",
      "song": "덩크슛",
      "range": "mid",
      "difficulty": "mid",
      "vocal_demand": [
        "rhythmic",
        "powerful"
      ],
      "reason": "중음역, 무난한 난도, 힘찬 음색 매칭"
    },
    {
      "artist": "송골매",
      "song": "처음 본 순간",
      "range": "mid",
      "difficulty": "mid",
      "vocal_demand": [
        "powerful",
        "rhythmic"
      ],
      "reason": "중음역, 무난한 난도, 힘찬 음색 매칭"
    },
    {
      "artist": "칵스",
      "song": "Trouble Maker",
      "range": "mid",
      "difficulty": "mid",
      "vocal_demand": [
        "belting",
        "powerful",
        "rhythmic"
      ],
      "reason": "중음역, 무난한 난도, 힘찬 음색 매칭"
    },
    {
      "artist": "조용필",
      "song": "여행을 떠나요",
      "range": "mid",
      "difficulty": "mid",
      "vocal_demand": [
        "rhythmic",
        "powerful"
      ],
      "reason": "중음역, 무난한 난도, 힘찬 음색 매칭"
    }
  ],
  "applied_filters": [
    "genre",
    "mood"
  ]
}
네, 당신 목소리에 잘 어울리는 노래를 몇 가지 추천해드릴게요. 이승환의 '덩크슛', 송골매의 '처음 본 순간', 칵스의 'Trouble Maker', 조용필의 '여행을 떠나요'를 한번 들어보세요. 모두 중음역이고, 음색이 깊고 힘차서 당신 목소리와 잘 어울려요.

음성 생성 안정성

음성 생성에서는 특정 음절이 비정상적으로 길게 늘어지거나 문장을 정상적으로 끝맺지 못하는 문제가 나타났고, 이를 개선하기 위해 DPO 방법론을 적용했다[10]. 학습에는 영어 선호도 데이터셋인 INTP 데이터[11] 중 약 5,000개 샘플을 활용했으며, 한국어는 모델이 직접 생성한 데이터 풀에서 유사한 규모의 샘플을 선별하고 언어적 특성에 맞게 구성했다. 아래 예시는 DPO 적용 전후를 직접 비교한 것이다.

① 한국어, 여성 화자
원문: "만약에 우리가 이거를 하게되면은 부업으로 하고 싶다 이런 식으로 얘기 하더라고. 그래서 웬일이나 싶더라."
DPO 적용 전
DPO 적용 후 (A.X K2 Raon-Speech)
② 영어, 남성 화자
원문: "NASA plans to launch the rocket tomorrow."
DPO 적용 전
DPO 적용 후 (A.X K2 Raon-Speech)

이러한 안정화를 거친 A.X K2 Raon-Speech는 대본을 또박또박 읽는 낭독체를 넘어, 실제 대화에 가까운 한국어 음성을 생성한다. 아래는 일상 대화를 담은 문장을 합성한 예시로, '어', '막', '뭐라고 해야 되지'와 같은 구어체 간투사와 머뭇거림, 그리고 대화 특유의 호흡과 억양까지 자연스럽게 재현하는 모습을 확인할 수 있다.

샘플 ①
원문: "어 그 거에 대한 체크하는 거? 막 어느 어떤 분야에서 이런 뭐 뭐라고 해야 되지?"
샘플 ②
원문: "후기 근데 후기 어떻게 보면 내가 좀 인터넷으로 사는 거는 좀 믿음이 안가는 거 같애. 좀 하도 뭐라 해야 되지 좀 그렇게 정품이라고 해도"
샘플 ③
원문: "아 근데 어 일단 대전에서만 하는 게 아니라 이제 대전 어차피 그냥 대전 이번 달까지 월세 그거 냈으니까 그냥 있다가"
샘플 ④
원문: "그래서 그거 좀 음 좀 얘기 하고 있어. 자기는 아무튼 브랜드 할 생각은 없어."

단계별 성능 개선 효과

도구 호출, 감정 및 화자 인지, 음성 생성 안정화를 위한 각 사후 학습 단계에서 목표 능력이 직전 체크포인트 대비 향상됐다. 도구 호출과 감정 및 화자 인지 점수는 자체 구축한 벤치마크에서 측정한 정확도이며, 음성 생성은 평균 오류율(WER)을 지표로 사용했다. 도구 호출 성능은 0.54에서 0.74으로, 감정 및 화자 성능은 0.57에서 0.61으로 개선됐고, 음성 생성 평균 오류율은 3.6%에서 3.1%로 낮아졌다. 또한 음성 인식, SpokenQA, 일반 SpeechQA처럼 미세조정 대상이 아닌 성능도 평균 성능 기준으로 사후 학습 시작 모델 대비 105% 수준을 유지했다(0.71 → 0.74). 특화 미세조정에 따른 성능 회귀는 관찰되지 않았다.

그림 3은 이러한 단계별 성능 개선 효과를 요약한 것이다.

2026-07-03T03:39:54.103349 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/ A.X K2 Raon-Speech A.X K2 Raon-Speech A.X K2 Raon-Speech
그림 3. 단계별 사후 학습에 따른 목표 성능 개선 효과. 도구 호출, 감정 및 화자 인지, 음성 생성 안정화 각각에 대해, 해당 사후 학습을 적용하기 전의 직전 체크포인트와 적용 후 모델의 성능 변화를 비교했다. 도구 호출과 감정 및 화자 인지 점수는 높을수록 좋고, 음성 생성 WER는 낮을수록 좋다.

최종 성능 분석

최종 성능 평가는 공개 SpeechLM 비교군을 대상으로 영어와 한국어 양쪽의 음성 이해, 음성 생성, 도구 호출, 감정 및 화자 인지 능력을 종합해 진행했다. 표에 실린 모든 점수는 공정한 비교를 위해 동일한 내부 벤치마크와 평가 기준으로 자체 측정한 값이다. A.X K2 Raon-Speech는 한국어 1위로 모든 비교군을 앞섰으며, 영어에서도 3위에 올랐다.

비교군 선정 근거

기존 비교군은 Raon-Speech 평가 비교군을 따랐다[5]. 다만 A.X K2 Raon-Speech는 구조와 크기 면에서 Raon-Speech와 다르기 때문에, 공정한 비교를 위해 (a) 동급 MoE 모델과 (b) Raon-Speech 개발 이후 공개된 최신 SpeechLM을 합쳐 총 5종을 비교군에 추가했다[12][13][14][15][16]. 대표적으로 미국 NVIDIA와 University of Maryland의 Audio Flamingo 3AF-Next, 중국 Alibaba Cloud의 Qwen3-OmniQwen2.5-Omni, Fun-Audio-Chat, 중국 Moonshot AI의 Kimi-Audio, 중국 OpenMOSS의 MOSS-Audio, 한국 NAVER의 HyperCLOVA X 8B Omni 등 국내외 주요 공개 음성 모델을 함께 비교했다. 이 기준으로 구성한 비교군 14종에 우리 모델을 더해, 총 15개 행의 결과를 표 5에 정리했다.

결과 요약

한국어
순위
모델한국어영어영어
순위
1KRA.X K2 Raon-Speech0.720.753
2KRRaon-Speech0.700.791
3CNQwen3-Omni0.650.782
4KRHyperCLOVA X 8B Omni0.600.688
5CNMOSS-Audio0.580.6213
6CNQwen2.5-Omni0.550.735
7CNFun-Audio-Chat0.530.697
8CNStep-Audio 2 mini0.320.6710
9CNInteractive-Omni0.270.716
10CNMing-Lite-Omni v1.50.210.688
10USAF-Next0.210.6511
12CNCOVO-Audio0.180.4115
CNMiniCPM-o 4.50.744
CNKimi-Audio0.6511
USAudio Flamingo 30.6014
표 5. 영어·한국어 성능 및 순위 (모든 비교군). 각 수치는 벤치마크별로 0–1 정규화(정확도는 그대로, 판정 점수는 ÷5, 음성 인식/음성 생성의 WER와 CER은 1−오류율)한 뒤 집계해서 낸 점수이다 (0–1, 높을수록 좋음). 표는 한국어 점수 기준으로 정렬했으며, 한국어·영어 순위 열은 각 언어 내에서의 순위를 나타낸다. 한국어 점수가 없는 모델은 표 하단에 배치했다. 영어, 한국어 열에서는 1위 점수를 굵게, 2위 점수를 밑줄로 표시했다. 점수가 없는 칸(—)은 해당 모델이 그 언어를 지원하지 않음을 의미한다.

언어별 성능 분석

A.X K2 Raon-Speech의 강점은 한국어에서 더욱 뚜렷하게 나타난다. 한국어 성능은 0.72로 모든 비교군 중 가장 높았으며, 영어에서도 0.75로 Raon-Speech와 Qwen3-Omni에 이어 3위를 기록했다. Raon-Speech와 비교하면 영어에서는 Raon-Speech가 앞섰지만(0.79 대 0.75), 한국어에서는 A.X K2 Raon-Speech가 근소하게 우위에 있었다(0.72 대 0.70). Qwen3-Omni 역시 영어에서는 A.X K2 Raon-Speech보다 높은 성능을 보였으나(0.78), 한국어에서는 0.65에 그쳐 A.X K2 Raon-Speech와의 격차가 크게 나타났다.

마치며

A.X K2 Raon-Speech는 Raon-Speech가 입증한 SpeechLM 구조와 학습 레시피를 바탕으로, SKT의 독자 언어 모델 A.X K2 Light와 자체 학습한 음성 인코더, 음성 코덱을 결합한 모델이다. 본 프로젝트에서는 AuT 기반 음성 인코더와 Mimi 기반 음성 코덱을 자체 데이터와 학습 레시피로 학습하고, 이를 A.X K2 Light와 연결해 음성 입력 이해와 음성 출력 생성을 모두 지원하는 SpeechLM으로 확장했다. 또한 사후 학습을 통해 도구 호출, 감정 및 화자 인지, 음성 생성 안정성을 강화했다. 그 결과 A.X K2 Raon-Speech는 최종 평가에서 영어 3위, 한국어 1위를 기록하며, 자체 학습한 음성 모듈 스택이 실제 SpeechLM 성능으로 이어질 수 있음을 확인했다.

본 프로젝트의 의미는 단순히 특정 벤치마크 순위를 높인 데 있지 않다. SpeechLM을 정밀하게 제어하고 한국어와 영어 사용자 환경에 맞게 발전시키기 위해서는, 언어 모델뿐 아니라 음성 인코더와 음성 코덱까지 포함한 전체 파이프라인을 자체적으로 학습, 통합, 평가할 수 있어야 한다. A.X K2 Raon-Speech는 그 가능성을 보여준 국내 최초 독자 학습 기반의 공개 음성 파운데이션 모델이다.

인용

Keon Lee†, Beomsoo Kim, Dohyun Kim, Dongwon Kim, Jihwan Moon, Joonghyun Bae, Sehun Lee, Seungjun Chung, Sungwoo Cho‡, Jaewoong Cho*

KRAFTON AI

* 교신저자. † Project lead. ‡ 인턴십 기간 중 참여. 그 외 저자는 알파벳순으로 나열되어 있습니다.

@misc{axk2raonspeech2026,
  title  = {A.X K2 Raon-Speech: Introducing Korea's First Independently Developed SpeechLM},
  author = {Keon Lee and Beomsoo Kim and Dohyun Kim and Dongwon Kim and Jihwan Moon and Joonghyun Bae and Sehun Lee and Seungjun Chung and Sungwoo Cho and Jaewoong Cho},
  year   = {2026},
  note   = {KRAFTON AI}
}

참고문헌