MiMo-Audio-7B-Base 在語音智能和音頻理解基準(zhǔn)測試中均達(dá)到了開源模型中的 SOTA 性能。除了標(biāo)準(zhǔn)指標(biāo)之外，MiMo-Audio-7B-Base 還可以泛化到其訓(xùn)練數(shù)據(jù)中缺失的任務(wù)，例如語音轉(zhuǎn)換、風(fēng)格遷移和語音編輯。

MiMo-Audio-7B-Base 還展示了強大的語音延續(xù)能力，能夠生成高度逼真的脫口秀、朗誦、直播和辯論。在訓(xùn)練后階段，我們構(gòu)建了豐富的指令調(diào)整語料庫，并將思維機制引入音頻理解和生成。MiMo-Audio-7B-Instruct 在音頻理解基準(zhǔn)、口語對話基準(zhǔn)和指令-TTS 評測中均取得了開源 SOTA 的成績，接近甚至超越了閉源模型。

評估顯示，MiMo-Audio 在音頻理解方面優(yōu)于 Gemini-2.5-Flash，在復(fù)雜推理方面已擊敗 GPT-4o-Audio。

擁有 12 億參數(shù)的標(biāo)記器

為了讓生成的分詞應(yīng)該能夠適應(yīng)下游的語言建模，小米團隊還推出了 MiMo-Audio-Tokenizer。這個擁有 12 億參數(shù)的模型采用基于 Transformer 的架構(gòu)，包含一個編碼器、一個離散化層和一個解碼器，以 25Hz 的幀率運行，并通過 8 層殘差矢量量化 (RVQ) 每秒生成 200 個分詞。

通過整合語義和重構(gòu)目標(biāo)，團隊基于一個 1000 萬小時的語料庫從零開始訓(xùn)練該模型，在重構(gòu)質(zhì)量方面取得了卓越的性能，并促進了下游語言建模。

聯(lián)合建模提高速率

MiMo-Audio 是一個統(tǒng)一的生成式音頻語言模型，可對文本和音頻 token 序列進行聯(lián)合建模。該模型接受文本和音頻 token 作為輸入，并自回歸預(yù)測文本或音頻 token，從而支持涉及任意文本和音頻模態(tài)組合的廣泛任務(wù)。

為了提高 token 速率，達(dá)到類似每秒 200 個 token 序列的建模效率，并緩解語音和文本模態(tài)之間的長度差異，團隊采用了一種結(jié)合塊編碼器、LLM 和塊解碼器的全新架構(gòu)。塊編碼器將四個連續(xù)時間步長的 RVQ token 聚合成單個塊，并將序列下采樣為 LLM 的 6.25Hz 表示。隨后，塊解碼器自回歸生成完整的 25Hz RVQ token 序列。

模型表現(xiàn)

通過將 MiMo-Audio 的預(yù)訓(xùn)練數(shù)據(jù)擴展到超過一億小時，團隊觀察到在各種音頻任務(wù)中出現(xiàn)的少量學(xué)習(xí)能力。

在訓(xùn)練后階段，團隊使用了豐富的指令調(diào)整語料庫，并將思維機制引入音頻理解和生成。MiMo-Audio 在音頻理解基準(zhǔn)（MMSU、MMAU、MMAR、MMAU-Pro）、口語對話基準(zhǔn)（Big Bench Audio、MultiChallenge Audio）以及指令-TTS 評測中均取得了開源 SOTA 的成績，接近甚至超越了閉源模型

表現(xiàn)結(jié)果如下。可以看出，MiMo-Audio 在 MMAU（語音、聲音、音樂）的測試中以 82.58 第一名的成績超越了 Gemini-2.5 Flash、Kimi-Audio-Instruct 等一系列模型。

MiMo-Audio 還展示了跨多個領(lǐng)域的全面口語對話能力，能夠通過深入理解和適當(dāng)回應(yīng)進行自然對話。

以下地址可觀看 MiMo-Audio 的對話：

情商與安全：圖靈測試

情報與指令遵循：雞兔同籠問題

漢語水平與方言：解釋'意思意思'

外語能力：三種語言的問候和告別

預(yù)訓(xùn)練：語音延續(xù)和情境學(xué)習(xí)

MiMo-Audio 在無需參數(shù)更新的情況下，可以僅依賴上下文語音示例完成語音到語音生成任務(wù)。功能包括：風(fēng)格轉(zhuǎn)換、語音轉(zhuǎn)換、語音翻譯、語音編輯。

情境學(xué)習(xí)演示

由于其大規(guī)模的預(yù)訓(xùn)練、廣泛的數(shù)據(jù)集曝光和精心設(shè)計的監(jiān)督微調(diào)（SFT）數(shù)據(jù)，MiMo-Audio 模型表現(xiàn)出強大的音頻理解能力以及一定程度的推理能力。

其中包括全面的音頻字幕功能，可提供跨各個領(lǐng)域和場景的音頻內(nèi)容的詳細(xì)描述。

音頻推理功能，能夠深入理解和分析復(fù)雜的音頻內(nèi)容，包括上下文識別和邏輯推理。

長音頻理解功能，能夠以持續(xù)的注意力和連貫的解釋來處理和分析較長的音頻序列