本期編輯三水、鮑勃今天日?qǐng)?bào)開頭先插播一條10 月來北京線下對(duì)答案。這一年我們?cè)谌請(qǐng)?bào)里持續(xù)關(guān)注實(shí)時(shí)智能正在發(fā)生的變化。從國(guó)內(nèi)到海外覆蓋全雙工、端到端語音、Voice Agent、實(shí)時(shí)多模態(tài)、世界模型等話題從新模型發(fā)布、開源項(xiàng)目到產(chǎn)品落地和創(chuàng)業(yè)融資我們幾乎每天都在記錄這個(gè)行業(yè)又往前走了一點(diǎn)什么。而這次很多日?qǐng)?bào)里出現(xiàn)過的公司、項(xiàng)目和開發(fā)者也會(huì)來到iRTE 2026 實(shí)時(shí)智能大會(huì)現(xiàn)場(chǎng)。比如有**階躍星辰、Kimi、Minimax、面壁智能、生數(shù)科技、模思智能等 AI **模型公司也有我們此前報(bào)道過的 **VoiceMem、SGLang-Omni、Breeze-TTS **等開源項(xiàng)目作者或團(tuán)隊(duì)參會(huì)。當(dāng)然這還只是目前提前劇透的一部分還有一些神秘嘉賓會(huì)陸續(xù)揭曉過去在日?qǐng)?bào)里看到的新技術(shù)、新項(xiàng)目和新團(tuán)隊(duì)這次可以在線下面對(duì)面聊。10 月 23–24 日大會(huì)會(huì)有15 個(gè)論壇、100 場(chǎng)技術(shù)分享從模型、Agent到 AI 硬件和實(shí)時(shí)基礎(chǔ)設(shè)施把過去一年我們持續(xù)關(guān)注的很多話題真正聚到一起。如果你也每天在關(guān)注這些掃描下方二維碼報(bào)名來一起見個(gè)面。線上看了一年這次線下見01 有話題的技術(shù)1、復(fù)旦大學(xué)、上海創(chuàng)智學(xué)院等研究者提出音視頻生成獎(jiǎng)勵(lì)模型 VA-Judger從人類偏好學(xué)習(xí)整體音畫判斷并用于強(qiáng)化學(xué)習(xí)提升復(fù)旦大學(xué)、上海創(chuàng)智學(xué)院等研究團(tuán)隊(duì)提出 VA-Judger面向聯(lián)合音視頻生成學(xué)習(xí)人類對(duì)完整結(jié)果的偏好。模型會(huì)同時(shí)比較同一提示詞下的兩段生成視頻從提示詞匹配、音視頻一致性、音頻質(zhì)量、視頻質(zhì)量、內(nèi)容完整性與連貫性五個(gè)維度給出判斷并生成偏好解釋再將這些評(píng)分作為強(qiáng)化學(xué)習(xí)獎(jiǎng)勵(lì)用于后訓(xùn)練音視頻生成模型。VA-Judger-Bench 用 1150 組音視頻對(duì)測(cè)試「是否符合人類偏好」其中包含 400 組明顯質(zhì)量差異樣本、250 組同分布樣本和 500 組來自 Kling 2.6、Wan 2.6、Veo 3.1、Sora 2 等未見模型的跨分布樣本。最終 VA-Judger 對(duì)人類偏好的整體判斷準(zhǔn)確率達(dá)到68.43%相比原始 Qwen3-Omni CoT 的 57.83% 提升 10.6 個(gè)百分點(diǎn)。訓(xùn)練數(shù)據(jù)直接來自人類對(duì)完整音視頻結(jié)果的比較團(tuán)隊(duì)構(gòu)建 VAPref-10K包含 9000 個(gè)提示詞和 1.03 萬組細(xì)粒度成對(duì)偏好訓(xùn)練先從質(zhì)量差異明顯的樣本學(xué)習(xí)比較格式再使用人工驗(yàn)證的困難樣本和 Dimension-wise GRPO 繼續(xù)對(duì)齊人類判斷。獎(jiǎng)勵(lì)可以直接用于改進(jìn)生成模型團(tuán)隊(duì)用 VA-Judger 后訓(xùn)練 LTX-2在 200 個(gè) JavisBench 提示詞測(cè)試中視頻質(zhì)量從2.248 提升到 3.942音頻質(zhì)量從4.767 提升到 5.610JavisScore 從0.074 提升到 0.230。人類盲評(píng)也觀察到生成結(jié)果變化20 名參與者對(duì) 200 組三模型輸出進(jìn)行三選一比較VA-Judger 后訓(xùn)練的 LTX-2 獲得62.30%的偏好選擇OmniNFT 為 27.63%原始 LTX-2 為 10.08%。https://github.com/ShareLab-SII/VA-Judger2、世界模型團(tuán)隊(duì) XGEN Labs 開源第一人稱交互體驗(yàn)?zāi)Ｐ?JING可用鍵盤控制移動(dòng)、與物體和角色互動(dòng)并同步生成視頻與音頻XGEN Labs 發(fā)布 JING一款基于 MiniMax-H3 的第一人稱交互體驗(yàn)?zāi)Ｐ?。輸入?dòng)作、參考圖像和歷史觀察后JING 會(huì)繼續(xù)生成第一人稱視頻與音頻讓用戶通過攝像機(jī)移動(dòng)、物體交互和角色對(duì)話持續(xù)改變后續(xù)內(nèi)容。支持連續(xù)的第一人稱導(dǎo)航控制用戶可以通過W/S/A/D控制前后左右移動(dòng)用I/J/K/L調(diào)整視角模型根據(jù)這些動(dòng)作繼續(xù)生成后續(xù)畫面。物體交互和角色對(duì)話會(huì)進(jìn)入后續(xù)生成除了鏡頭移動(dòng)JING 還支持用文本引導(dǎo)物體互動(dòng)和角色交流并同步生成對(duì)應(yīng)的視頻與音頻。參考圖像可同時(shí)約束角色、物體和場(chǎng)景開發(fā)者可以組合多張參考圖像定義體驗(yàn)中的人物、物體與環(huán)境再?gòu)耐黄瘘c(diǎn)探索不同動(dòng)作分支。首個(gè)開源版本是 JING-Flash-v1當(dāng)前已開放四步雙向推理模型、推理代碼、示例和 Prompt Skills因果模型和技術(shù)報(bào)告仍待后續(xù)發(fā)布。官方 Demo 已在 6 張 H100 上驗(yàn)證運(yùn)行。https://x.com/XGEN_labs/status/2102050332960497738https://huggingface.co/XGENlabs/XGEN-JING3、Voice AI 公司 Gradium 推出低延遲 TTS Beta官方稱首包音頻可低于 50 ms較當(dāng)前生產(chǎn)模型進(jìn)一步壓縮語音智能體響應(yīng)延遲Gradium 開放新一版Gradium TTS Beta重點(diǎn)繼續(xù)壓縮實(shí)時(shí)語音合成的首包延遲。官方稱新模型的 time-to-first-audio 可低于50 ms目前已可在 Gradium Studio 體驗(yàn)相比 8 月底成為默認(rèn)版本的 Gradium TTS這次更新把延遲繼續(xù)作為主要優(yōu)化方向。首包音頻延遲進(jìn)入 50 ms 以下Gradium 在最新發(fā)布中稱 Beta 模型可以在低于 50 ms 內(nèi)開始輸出音頻面向需要快速搶占響應(yīng)時(shí)間的實(shí)時(shí) Voice Agent 場(chǎng)景。該數(shù)字目前來自 Gradium 自測(cè)測(cè)試條件尚未完整公開。相比當(dāng)前生產(chǎn)模型延遲進(jìn)一步下降Gradium 8 月底發(fā)布的現(xiàn)行生產(chǎn)模型在官方引用的 Coval 測(cè)試中 P50 TTFA 約為216 ms同時(shí)在五種語言的 500 條復(fù)雜文本測(cè)試中通過率為 81.0%。新 Beta 的50 ms指標(biāo)目前還不能與這組數(shù)據(jù)直接做等條件比較。此前對(duì)電話號(hào)碼、郵箱、IBAN 等復(fù)雜文本的處理繼續(xù)保留在 Beta 路線中Gradium 今年 7 月開始用 Beta 模型集中優(yōu)化 Voice Agent 中常見的電話號(hào)碼、郵箱、參考編號(hào)、時(shí)間表達(dá)和 URL 等結(jié)構(gòu)化文本并支持通過同一 WebSocket API 做實(shí)時(shí)流式合成。https://studio.gradium.ai/?model_namegradium-tts-betahttps://x.com/GradiumAI/status/21024388316685516874、三星波蘭研發(fā)中心等研究者開源端側(cè)小型音頻語言模型 Samsone最小 99M 參數(shù)Galaxy S25 Ultra 可實(shí)時(shí)運(yùn)行三星波蘭研發(fā)中心等研究者提出并開源Samsone一組面向設(shè)備端音頻理解的小型 Audio Language Model包括99M、134M 和 356M三個(gè)版本。項(xiàng)目同時(shí)開放 PyTorch 權(quán)重、移動(dòng)端 ExecuTorch checkpoint、訓(xùn)練與評(píng)測(cè)代碼以及可直接在 Android 設(shè)備上運(yùn)行的 Demo App論文已被 Interspeech 2026 接收。最小版本只有 99M 參數(shù)Samsone 系列包含 99M、134M 和 356M 三檔模型面向聲音、音樂和語音理解任務(wù)其中 Samsone-134M 在 MMAU test 上平均得分61.33Samsone-99M 為58.13都高于 167M 參數(shù)的 Mellow。模型可以直接部署到 Android 端實(shí)時(shí)運(yùn)行項(xiàng)目提供基于ExecuTorch的移動(dòng)端優(yōu)化 checkpoint 和開源 Android App論文與項(xiàng)目均給出了 Galaxy S25 Ultra 上的端側(cè)實(shí)時(shí)推理驗(yàn)證。端側(cè)版本和服務(wù)器版本同時(shí)開源三個(gè)模型均提供服務(wù)端 PyTorch checkpoint移動(dòng)端則提供.pte模型代碼同時(shí)覆蓋訓(xùn)練、評(píng)測(cè)、模型導(dǎo)出和 Android 部署流程。訓(xùn)練數(shù)據(jù)全部來自公開數(shù)據(jù)集Samsone 使用 ReasonAQA 和 AudioSkills 訓(xùn)練作者同時(shí)開放完整訓(xùn)練配置方便開發(fā)者復(fù)現(xiàn)或繼續(xù)針對(duì)端側(cè)場(chǎng)景微調(diào)。https://arxiv.org/abs/2609.21666https://github.com/SamsungLabs/samsone02 有亮點(diǎn)的產(chǎn)品1、上海首例涉 AI 聲音仿冒不正當(dāng)競(jìng)爭(zhēng)案生效《原神》63 款角色聲音被復(fù)刻銷售法院判賠 75 萬元上海市浦東新區(qū)人民法院公布上海首例涉 AI 聲音仿冒不正當(dāng)競(jìng)爭(zhēng)案。被告運(yùn)營(yíng)的 AI 變聲軟件未經(jīng)授權(quán)復(fù)刻《原神》63 款角色聲音制作成付費(fèi)聲音資源包并配合角色頭像、原聲試聽和游戲宣傳素材進(jìn)行銷售推廣。法院認(rèn)定相關(guān)行為同時(shí)涉及著作權(quán)侵權(quán)和不正當(dāng)競(jìng)爭(zhēng)一審判賠經(jīng)濟(jì)損失及合理維權(quán)開支共計(jì)75 萬元被告撤回上訴后判決已生效。法院將具有辨識(shí)度的游戲角色聲音納入商業(yè)標(biāo)識(shí)保護(hù)判決認(rèn)為《原神》角色聲音經(jīng)過長(zhǎng)期運(yùn)營(yíng)后已成為公眾識(shí)別游戲來源的重要聽覺標(biāo)識(shí)屬于「有一定影響的商業(yè)標(biāo)識(shí)」組成部分。未經(jīng)許可批量復(fù)刻并用于商業(yè)變聲服務(wù)足以使用戶誤認(rèn)為相關(guān)服務(wù)與游戲方存在授權(quán)或合作關(guān)系。涉案服務(wù)采用 AI 語音處理技術(shù)批量生成角色音色包相關(guān)軟件共包含 500 余款聲音資源包其中《原神》涉案角色共 63 款可用于實(shí)時(shí)語音聊天中的變聲。公開報(bào)道顯示這些資源包售價(jià)約19–59 元部分使用次數(shù)達(dá)到數(shù)萬至上百萬次。聲音復(fù)刻本身與商業(yè)混淆被分別看待法院同時(shí)指出市場(chǎng)主體仍可借鑒基礎(chǔ)聲線特征進(jìn)行聲音模仿本案觸及邊界的關(guān)鍵在于未經(jīng)授權(quán)復(fù)刻具有明確來源識(shí)別作用的角色聲音并疊加角色形象、原聲試聽等方式進(jìn)行整體商業(yè)化使用。https://m.thepaper.cn/newsDetail_forward_340435932、瑞典 AI 助手公司 Incredible 推出語音優(yōu)先桌面智能體可直接操作瀏覽器、文件與應(yīng)用完成電腦任務(wù)瑞典 AI 公司 Incredible 發(fā)布面向 Mac 和 Windows 的語音優(yōu)先桌面智能體。用戶按下快捷鍵后直接說出任務(wù)Incredible 會(huì)結(jié)合當(dāng)前屏幕內(nèi)容理解上下文并在瀏覽器、文件和應(yīng)用中執(zhí)行點(diǎn)擊、輸入、搜索、切換標(biāo)簽頁、填寫表單和發(fā)送等操作。語音從「輸入方式」變成電腦操作入口Incredible 會(huì)讀取用戶當(dāng)前激活的屏幕和應(yīng)用狀態(tài)將自然語言指令直接轉(zhuǎn)換成瀏覽器與桌面操作用戶無需把內(nèi)容復(fù)制到聊天窗口再手動(dòng)執(zhí)行?？煽鐬g覽器、文件和 3000 應(yīng)用執(zhí)行任務(wù)官網(wǎng)展示的能力包括網(wǎng)頁點(diǎn)擊、搜索、輸入、表單填寫、標(biāo)簽頁切換以及在 Gmail、Google Sheets、日歷等工具之間串聯(lián)任務(wù)對(duì)于沒有專門集成的網(wǎng)站也可以直接通過瀏覽器界面操作。涉及外部提交的動(dòng)作會(huì)等待用戶確認(rèn)Incredible 可以自動(dòng)完成讀取、搜索和準(zhǔn)備步驟但發(fā)送、提交、修改和刪除等操作會(huì)暫停并展示下一步由用戶確認(rèn)后繼續(xù)執(zhí)行。屏幕上下文按用戶主動(dòng)調(diào)用獲取官方稱 Incredible 只在用戶激活時(shí)讀取屏幕內(nèi)容并可結(jié)合連接的應(yīng)用和本地文件完成任務(wù)當(dāng)前提供 macOS 和 Windows 客戶端。http://incredible.onehttps://x.com/useincredible/status/21023824074712637603、AI 硬件公司 Rabbit 發(fā)布跨平臺(tái)智能體系統(tǒng) OS3從 R1 專用設(shè)備擴(kuò)展到 Mac、Windows、Linux、Telegram 和 iMessageRabbit 發(fā)布 OS3將原本圍繞 R1 硬件構(gòu)建的 Agent 能力擴(kuò)展成跨設(shè)備的軟件系統(tǒng)。OS3 運(yùn)行在云端通過安裝在 Windows、Mac 或 Linux 上的本地 Agent Node 連接桌面軟件、文件和網(wǎng)頁用戶也可以通過瀏覽器、Telegram 或 iMessage 發(fā)起任務(wù)一個(gè)賬號(hào)最多可連接 5 臺(tái)設(shè)備。從專用 AI 硬件轉(zhuǎn)向跨設(shè)備 Agent 平臺(tái)OS3 不再要求使用 R1用戶可直接在現(xiàn)有電腦和手機(jī)入口調(diào)用如果已經(jīng)擁有 R1也可以把它作為 OS3 的輸入輸出設(shè)備。Rabbit 目前已停止生產(chǎn) R1并表示沒有推出 R2 的計(jì)劃。本地 Agent Node 可以直接操作軟件、文件和網(wǎng)頁OS3 使用 Rabbit 的 DLAMDirect Large Action Model執(zhí)行本地軟件任務(wù)也可以自主編寫和調(diào)試代碼系統(tǒng)會(huì)根據(jù)任務(wù)自動(dòng)決定由已連接的哪臺(tái)設(shè)備執(zhí)行。第三方 Agent Skill 可以直接安裝進(jìn)會(huì)話用戶把公開的 Skill URL 粘貼到聊天中OS3 即可自動(dòng)安裝并調(diào)用無需手動(dòng)配置Rabbit 將其稱為 universal skill compatibility。采用 BYOK不收月訂閱費(fèi)用戶可接入 OpenAI、Anthropic 等模型提供商的 API Key也可以連接本地開源模型Rabbit 表示本地文件內(nèi)容保留在設(shè)備端但涉及模型推理的相關(guān)提示會(huì)經(jīng)過 Rabbit 服務(wù)器再發(fā)送給對(duì)應(yīng)模型提供商。https://www.wired.com/story/rabbit-r1-os3-jesse-lyu/(wired)4、開發(fā)者 Akhila 開源多模態(tài)實(shí)時(shí)決策模型 Jev-Omni統(tǒng)一支持文本、圖像、音頻和視頻輸入文本決策延遲約 83 ms開發(fā)者 Akhila 開源** Jev-Omni**一款面向?qū)崟r(shí)類型化決策的多模態(tài)模型統(tǒng)一支持文本、圖像、音頻和視頻輸入。模型延續(xù) Jev 這類決策模型的使用方式輸入當(dāng)前狀態(tài)和候選選項(xiàng)后直接返回各選項(xiàng)概率用于分類、路由和動(dòng)作選擇。四種模態(tài)統(tǒng)一進(jìn)入同一個(gè)決策接口Jev-Omni 可同時(shí)處理文本、圖像、音頻和視頻并輸出結(jié)構(gòu)化概率結(jié)果。作者將其定位為首個(gè)覆蓋這四種模態(tài)的開源系統(tǒng) 1 模型。在類型化決策基準(zhǔn)上與 Jev 表現(xiàn)接近Jev-Omni 在 JevBench 上準(zhǔn)確率為86.15%微平均準(zhǔn)確率為87.45%DecisionBench Medium 準(zhǔn)確率為87.57%。不同模態(tài)的推理延遲已經(jīng)給出實(shí)測(cè)在 H200 上預(yù)熱后推理中位延遲約為2k token 文本83 ms、圖片26 ms、13 秒音頻31 ms、16 幀視頻504 ms這些數(shù)字不包含預(yù)處理和網(wǎng)絡(luò)時(shí)間。模型基于 Gemma 4 12B IT 微調(diào)并已開放權(quán)重作者使用約 3 萬道問題進(jìn)行訓(xùn)練采用 Apache-2.0 許可證當(dāng)前音頻輸入最長(zhǎng) 30 秒視頻默認(rèn)取 16 幀。https://x.com/Akhila_988/status/2102171891410825520https://huggingface.co/akhilaaa3/Jev-Omni03 有態(tài)度的觀點(diǎn)1、特努斯Siri AI 不應(yīng)代替人際關(guān)系蘋果 CEO John Ternus 在接受 Canal 節(jié)目 Clique 采訪時(shí)表示Siri AI 「并非被設(shè)計(jì)成你的朋友」。面對(duì) AI 伴侶產(chǎn)品的市場(chǎng)競(jìng)爭(zhēng)他認(rèn)為蘋果不希望 AI 取代人與人的關(guān)系因?yàn)槿穗H關(guān)系是學(xué)習(xí)、成長(zhǎng)和獲得快樂的基礎(chǔ)。他還談到 iPhone Duo 的開發(fā)取舍。蘋果從類似 iPad 的大屏體驗(yàn)出發(fā)確定展開比例沒有沿用常見的兩塊手機(jī)屏幕拼接形態(tài)。鉸鏈和屏幕的可靠性是主要工程問題例如團(tuán)隊(duì)需要同時(shí)處理展開角度、屏幕連續(xù)性與軟件動(dòng)畫的配合。Ternus 特別展示了展開手機(jī)時(shí)跨越兩側(cè)屏幕的動(dòng)畫。他把這個(gè)小細(xì)節(jié)視為工程之外的產(chǎn)品目標(biāo)用戶在展開設(shè)備時(shí)能立刻理解界面如何連續(xù)同時(shí)保留一點(diǎn)輕松感。對(duì)于接任 CEO 后的方向Ternus 稱不會(huì)對(duì)蘋果做激進(jìn)改造。Tim Cook 和蘋果董事會(huì)詢問他是否愿意接任時(shí)他形容自己「幸好當(dāng)時(shí)是坐著的」。他給出的經(jīng)營(yíng)邊界是繼續(xù)把產(chǎn)品、創(chuàng)新和用戶放在中心不把新任期包裝成路線翻轉(zhuǎn)。APPSO Voice Agent 學(xué)習(xí)筆記了解最懂 AI 語音的頭腦都在思考什么寫在最后我們歡迎更多的小伙伴參與「RTE 開發(fā)者日?qǐng)?bào)」內(nèi)容的共創(chuàng)感興趣的朋友請(qǐng)通過開發(fā)者社區(qū)或公眾號(hào)留言聯(lián)系記得報(bào)暗號(hào)「共創(chuàng)」。對(duì)于任何反饋包括但不限于內(nèi)容上、形式上我們不勝感激、并有小驚喜回饋例如你希望從日?qǐng)?bào)中看到哪些內(nèi)容自己推薦的信源、項(xiàng)目、話題、活動(dòng)等或者列舉幾個(gè)你喜歡看、平時(shí)?？吹膬?nèi)容渠道內(nèi)容排版或呈現(xiàn)形式上有哪些可以改進(jìn)的地方等。作者提示: 個(gè)人觀點(diǎn)僅供參考