寫論文或做科研時最磨人的往往不是實驗本身而是“圖又改版了”。也許你只是想把柱狀圖里第二個柱子改成紅色、把橫坐標標簽換個說法就得回到繪圖腳本、找到對應參數(shù)、重新編譯輸出再貼回 Word/LaTeX 文檔里確認一遍。如果遇到審稿人提出“把圖中某塊邏輯單獨拆出來做成子圖”前前后后耗費的時間很容易超過一小時。大模型已經(jīng)有了較強的“從文本生成代碼”能力讓模型直接畫一個柱狀圖已不算新鮮。但“基于一張已有圖做局部編輯”是難度更高的任務模型必須先看懂圖里有哪些元素、它們各自在坐標空間里的位置然后把一句人類指令精確映射到代碼中的某個對象上同時保證圖上其余部分不被破壞。這恰恰是科研成果轉化為生產(chǎn)力的場景論文圖表大多是“在現(xiàn)成圖基礎上反復改”而不是每次從零畫一張。Edit2TikZ 這個 Benchmark 正是沖著這個空白來的。它把科學圖表的“編輯任務”落到 TikZ 代碼上讓“能不能改好一張圖”成為一個可以被量化、可復現(xiàn)、可以橫向對比模型能力的問題。本文會先解釋為什么 TikZ 適合承擔這種評測任務再拆解 Edit2TikZ 在任務設計上的難點最后給出一條可以自己動手搭建的最小驗證流程幫助你判斷這種“代碼化圖表編輯”思路能否用在自己的項目里。1. 為什么“能畫圖”不等于“能改圖”現(xiàn)在很多多模態(tài)大模型都能根據(jù)一句話生成 SVG、HTML、Mermaid 圖甚至直接輸出 matplotlib 代碼。但生成一張新圖和修改一張已經(jīng)存在的圖在能力要求上差異很大。生成新圖時模型只需要在大致正確的畫布上擺放元素。它不需要知道這個圖表原本的坐標范圍、配色習慣、文字長度和整體排版意圖即使模型自由發(fā)揮生成的圖也常常“看起來還可以”。修改圖時則完全不同模型要先從圖片中定位目標元素。例如“把第二根柱子的顏色改成紅色”這里的“第二根”是一個需要結合視覺上下文才能確定的概念而不是代碼里的參數(shù)名。模型必須保留其他元素。很多時候模型會把整張圖重新生成一遍結果雖然滿足了“紅色”但旁邊區(qū)域的文字、線條、坐標軸全變了這在真實工作中不可接受。模型還要理解目標圖背后的結構邏輯。普通 PNG 圖片對模型來說只是像素集合但 TikZ 代碼是一棵結構樹。模型如果讀不懂結構就沒法做“最小范圍修改”。正因如此“能畫圖”的能力評測很容易做得虛高。模型只要能生成一個像樣的柱狀圖在傳統(tǒng)文本到圖的評測里就能拿高分但把這個標準放到“編輯已有論文圖”的場景很多模型會立刻露餡。測量這種差異就是 Edit2TikZ 存在的理由。從命名就能看出它的思路Edit 強調“編輯”TikZ 強調“以代碼形式表達圖”Benchmark 強調“系統(tǒng)化評估”。它衡量的是模型在真實科研寫作場景中最需要的圖表操作能力而不是孤立地看模型會不會寫一段好看的繪圖代碼。2. TikZ 是什么為什么它適合做圖編輯基準TikZ 是 LaTeX 生態(tài)中最常用的矢量繪圖語言廣泛用于學術論文中的流程圖、示意圖、數(shù)據(jù)圖和時間線圖。它本質上是基于 TeX 宏包實現(xiàn)的一套“程序化繪圖 DSL”。一張 TikZ 圖從代碼到成品通常需要經(jīng)過 LaTeX 編譯生成 PDF 后再轉成 PNG 或直接插入文檔。TikZ 能成為圖編輯 Benchmark 的載體有幾層原因非常關鍵。第一圖是精確的、可編譯的。TikZ 代碼里每個節(jié)點的坐標、顏色、線型都是顯式屬性編譯后可以得到穩(wěn)定的矢量結果。評測時只要把模型輸出的代碼用 LaTeX 編譯成功就能確認代碼本身在語法層面有效。相比之下直接拿 PNG 做編輯很難自動化判斷結果。第二圖是可 Diff 的。原始圖的代碼和修改后圖的代碼都是文本改動會體現(xiàn)在具體幾行代碼上。研究者可以計算代碼級差異判斷模型是否做了“最小修改”而不是把整張圖推倒重來。這一點對評估編輯質量非常重要。第三TikZ 在科研圈有真實使用場景。它和 LaTeX 文檔天然兼容字體、公式、引用的處理都很好因此被大量論文作者使用。以 TikZ 作為編輯對象意味著評測任務直接貼近科研寫作的真實需求。下面是一個極簡的 TikZ 圖示例方便沒接觸過的讀者建立直觀印象。% 文件路徑example_figure.tex \documentclass[tikz,border5pt]{standalone} \begin{document} \begin{tikzpicture} \draw[thick] (0,0) rectangle (8,4); \fill[blue!20] (1,0) rectangle (2.5,2); \fill[orange!40] (3.5,0) rectangle (5,3); \draw[-] (6,1) -- (6,3) node[midway,right] {$y$}; \node[below] at (1.75,0) {A}; \node[below] at (4.25,0) {B}; \end{tikzpicture} \end{document}編譯這段代碼后你會得到一張包含矩形邊框、兩根柱子和一條箭頭的簡單示意圖。所謂編輯就是在這種結構化的代碼上進行有意圖的修改例如把第一個矩形顏色改成紅色、把 A/B 標簽互換位置、移動箭頭方向等。對比其他格式也能看出 TikZ 的優(yōu)勢PDF 適合閱讀但不適合作為編輯中間產(chǎn)物PNG 只是像素模型很難對像素做可驗證的結構化修改SVG 雖然也是文本但在科研論文里的使用場景不如 TikZ 普遍。因此選擇 TikZ 作為 Benchmark 語言具有任務設計的合理性。3. Edit2TikZ 在任務設計上會集中解決哪幾個難點雖然目前公開材料里沒有完整披露這套 Benchmark 的全部數(shù)據(jù)細節(jié)但從任務命名、TikZ 技術特性以及同類圖編輯評測的通用設計邏輯來推斷Edit2TikZ 要解決的核心難點可以歸納為四類。3.1 編輯指令與視覺元素的對齊人類描述一張圖時通常會說“把圖上左邊的藍色箭頭換成虛線”而不是說“把第 17 行代碼里的 arrow 屬性改成 dashed”。Benchmark 的任務需要模型完成視覺理解和代碼操作的橋接。這是“視覺定位”層面的難點。比如一張包含多條折線的圖指令只說“把表示訓練誤差的那條線變粗”模型必須先看懂圖例知道哪條線是訓練誤差然后再去 TikZ 代碼里找到對應的\draw命令。如果任務數(shù)據(jù)里充分覆蓋這類“指代消解 視覺定位”的組合評測就會很有區(qū)分度。3.2 局部修改與全局一致性的平衡高質量編輯追求的是“只動該動的地方”。模型如果直接把整張圖重新生成結果雖然可能滿足指令但會產(chǎn)生大量與任務無關的變動。在代碼層面這表現(xiàn)為 diff 過大、無關顏色變化、節(jié)點間距漂移等問題。一個好的圖編輯 Benchmark 應該在評估中懲罰這種“過度修改”。它會更偏好那些在功能上完成指令、在結構上保留原圖布局和樣式的輸出。這個約束比單純讓模型創(chuàng)作一張圖要嚴格得多也是圖編輯任務的核心挑戰(zhàn)之一。3.3 TikZ 代碼風格的多樣性TikZ 實現(xiàn)同一種視覺效果的寫法非常多有人習慣用\node有人喜歡用\draw加circle有人把樣式封裝成\tikzset有人直接在命令里寫參數(shù)。模型讀到的原始圖代碼風格各異它必須適應這些差異而不是只對某一種固定模板有效。這種代碼風格多樣性直接決定了 Benchmark 的“綜合”程度。3.4 結果評估的客觀性文本生成任務可以借助 ROUGE/BLEU 做粗粒度評估但 TikZ 編輯任務不同完全一樣的圖可以用完全不同的代碼寫出來而看起來相似的代碼可能編譯出差異巨大的圖。因此合理的評估不能只看代碼字符串相似度還需要引入編譯驗證、視覺屬性比對、甚至人工評估。設計一套能自動化、低成本、與人類判斷對齊的評估方案是這類 Benchmark 最難的部分。如果 Edit2TikZ 能在任務設計上同時覆蓋上述四個難點那么它就有機會成為繼代碼生成、數(shù)學推理之后又一個能充分檢驗多模態(tài)模型“結構化視覺理解能力”的 testbed。4. 這類基準真正檢驗的是模型的哪些能力理解 Edit2TikZ 的評測取向可以幫助我們預判什么樣的模型會在這種任務上表現(xiàn)更好。4.1 精確的視覺定位模型必須知道指令中提到的元素在圖中對應哪個 TikZ 對象。這種能力不能靠“整體生成一張相似圖”蒙混過關。當圖里有多個柱狀圖、多條折線、多個圖例時模型需要對目標元素有坐標級別或結構路徑級別的理解。這考驗的是模型把視覺特征與代碼對象進行對齊的能力。4.2 指令跟隨的穩(wěn)定性編輯指令通常帶有明確約束比如“只修改 A 組的顏色”“保留其他所有柱子的樣式不變”。如果模型忽略了“只”和“其他不變”即使它把目標顏色改對了任務也沒有完成。這里要求模型具備一定的“差異敏感度”能識別指令中的排除性條件和范圍限定詞。4.3 代碼生成與結構保留模型輸出一段 TikZ 代碼后既要能被 LaTeX 成功編譯也要在語義上屬于“對原圖的修改版本”。這意味著模型要理解 TikZ 的語法、節(jié)點坐標系和樣式繼承機制而不是簡單地插入一行命令。對很多純自然語言模型來說這種代碼層面的“外科手術式”操作比從頭生成困難得多。4.4 跨模態(tài)推理Edit2TikZ 任務的輸入通常包含原始圖像、原始 TikZ 代碼和一句編輯指令輸出是修改后的 TikZ 代碼。模型需要在像素、代碼、語言三種模態(tài)之間來回跳轉。比如看到圖中某個區(qū)域顏色偏淺推斷出代碼里對應的顏色值是blue!15再把用戶說“加深一點”轉譯成blue!30。這種跨模態(tài)推理能力正是當前多模態(tài)大模型評測中稀缺的部分。從這個角度看Edit2TikZ 不僅是給科研繪圖場景做評估它更像是給“可視化編程”能力設計的一個壓力測試。如果模型能穩(wěn)定完成這類編輯任務說明它已經(jīng)不只具備“讀圖說話”能力還具備“讀圖操作代碼”的能力。5. 自己搭一套最小圖編輯評測流程無論官方后續(xù)是否公開完整代碼和數(shù)據(jù)集理解這套評測思路后我們完全可以在本地搭建一個小規(guī)模的圖編輯驗證流程用來觀察手頭模型的表現(xiàn)。下面給出一個可運行的 Python 腳本思路它讀取一張原始圖、一段編輯指令并通過支持視覺輸入的大模型接口獲取 TikZ 代碼。# 文件路徑minimal_edit_eval.py import base64 import os from openai import OpenAI client OpenAI( api_keyos.environ.get(OPENAI_API_KEY), base_urlos.environ.get(OPENAI_BASE_URL), # 可選兼容代理網(wǎng)關 ) def encode_image(image_path: str) - str: with open(image_path, rb) as f: return base64.b64encode(f.read()).decode(utf-8) def edit_figure_with_tikz( figure_path: str, instruction: str, original_tikz: str, ) - str: 輸入原圖指令原始TikZ代碼讓模型輸出編輯后的TikZ代碼。 b64_image encode_image(figure_path) response client.chat.completions.create( modelgpt-4o-mini, # 請按實際可用模型調整 temperature0.0, messages[ { role: system, content: ( You are an expert in scientific figure editing. You will receive an image, its original TikZ code, and an edit instruction. Return ONLY the complete, compilable LaTeX/TikZ code after the edit. Do not add explanations. ), }, { role: user, content: [ { type: text, text: ( fOriginal TikZ:\n{original_tikz}\n\n fEdit instruction: {instruction} ), }, { type: image_url, image_url: { url: fdata:image/png;base64,{b64_image} }, }, ], }, ], ) return response.choices[0].message.content if __name__ __main__: result edit_figure_with_tikz( figure_pathfigures/source.png, instruction把A組柱子的填充色改成紅色高度不變, original_tikzopen(tikz_codes/source.tex, encodingutf-8).read(), ) print(result)這段腳本的核心價值是“把評測流程自動化”。注意幾個細節(jié)提示詞中強制要求模型只輸出完整代碼不要附帶解釋避免后續(xù)解析困難。將原始 TikZ 代碼和原圖同時送入模型是為了讓模型既能看到視覺表現(xiàn)也能直接操作代碼結構。temperature0.0可以減少隨機波動提高多次評測的可比性。如果你使用的是開源模型或其他推理服務只需要替換client的初始化方式和model參數(shù)即可整體流程保持一致。6. 如何驗證模型生成的 TikZ 是否真正可用拿到模型輸出的 TikZ 代碼后第一件事不是人工看效果而是先跑編譯。只有能成功編譯成 PDF 的代碼才具備進一步評估的基礎。6.1 編譯環(huán)境準備在 Ubuntu/Debian 系統(tǒng)上可以使用下面的命令安裝基礎 TeX Live 環(huán)境。TikZ 宏包位于texlive-pictures如果代碼里用到額外庫需要再安裝texlive-latex-extra。sudo apt update sudo apt install -y texlive-latex-base texlive-pictures texlive-latex-extra然后在代碼所在目錄執(zhí)行編譯。建議使用-interactionnonstopmode這樣遇到錯誤時不會一直暫停等待輸入便于后續(xù)程序化解析日志。cd tikz_codes pdflatex -interactionnonstopmode generated.tex如果編譯成功當前目錄會出現(xiàn)generated.pdf。如果編譯失敗日志文件中會寫明錯誤類型。常見的錯誤包括缺少\end{document}、宏包缺失、特殊字符未轉義等。6.2 用程序化方法批量編譯并記錄結果實際評估中可能有幾十上百個樣本。逐個手動編譯不現(xiàn)實可以用一個簡單的 shell 腳本批量處理。#!/bin/bash # 文件路徑compile_all.sh for tex in outputs/*.tex; do out_dircompiled/$(basename $tex .tex) mkdir -p $out_dir cp $tex $out_dir/ cd $out_dir || exit pdflatex -interactionnonstopmode $(basename $tex) compile.log 21 cd - /dev/null || exit done echo 編譯流程結束請檢查 compiled/ 下的 compile.log這個腳本會把所有待編譯的.tex文件放到獨立目錄中執(zhí)行避免輔助文件互相覆蓋。編譯生成的compile.log是排查問題的主要依據(jù)。6.3 從“代碼能編譯”到“編輯質量達標”能編譯只是第一步。要判斷模型是否真的完成了編輯指令可以從三個維度設計驗證手段。第一層是代碼結構檢查。比如指令是“把 A 組柱子的填充色改成紅色”可以解析輸出的 TikZ 代碼確認fillred或fill{rgb,255:red,255;green,0;blue,0}這類屬性確實出現(xiàn)在目標節(jié)點或路徑上。這一層可以用正則或簡單字符串匹配實現(xiàn)。第二層是渲染結果檢查。將編譯得到的 PDF 轉為 PNG再通過像素差判斷指令相關區(qū)域的顏色是否變化以及無關區(qū)域是否保持原樣。這種方法更接近真實視覺評估但需要先設計好區(qū)域坐標映射。第三層是模型或人工語義評估。拿原始圖和編輯后的圖同時給評估模型看詢問“模型是否完成了指令、是否產(chǎn)生了多余的修改”。這一層最接近用戶感受但成本較高。在個人實踐里建議至少完成第一層和編譯驗證再做人工抽檢。這能過濾掉大量明顯不合格的輸出讓后續(xù)細致評估只集中在有希望的候選上。7. 常見誤區(qū)與排查思路用 TikZ 做圖編輯評測時你可能會遇到下面這些典型問題。提前了解它們可以避免在錯誤方向上浪費時間。問題現(xiàn)象可能原因排查方式解決方案模型輸出里混入了解釋文字提示詞約束不足檢查返回內容開頭是否有非代碼文本在提示詞中強調“只返回代碼”或對輸出做代碼塊抽取編譯時提示File not found缺少對應宏包查看日志中缺失的.sty文件安裝texlive-latex-extra必要時使用tlmgr安裝編譯生成 PDF但視覺上沒變化模型輸出的 TikZ 和原圖結構一樣對比原始代碼與輸出代碼的 diff抽取指定區(qū)域做像素差檢查確認指令是否被忽略模型生成的是整張新圖而非局部修改模型沒有理解“編輯”約束檢查輸出代碼與原圖的語義重合度在提示詞中強調“只修改與指令相關的部分保留其他內容”中文字符在 PDF 中顯示為空白或亂碼LaTeX 編譯器不支持中文查看運行日志中字體相關警告改用xelatex編譯配合ctexart等文檔類同一指令多次運行結果差異大采樣參數(shù)較高或模型不穩(wěn)定固定temperature0或seed設置低隨機參數(shù)必要時跑多次取投票結果模型把坐標系統(tǒng)一平移了對坐標計算不夠精確比較輸出前后所有坐標變化量檢查是否誤動了scope或全局坐標變換建立一套清晰的排查順序很重要。最優(yōu)先看編譯日志它決定了輸出是否具備下一步評估資格其次看代碼 diff定位模型是否做了“最小修改”最后看渲染效果判斷視覺結果是否符合預期。按照這個順序排查大多數(shù)問題都能定位到源頭。8. 想讓圖編輯跑進真實工作流的幾條建議如果你希望把“模型幫你改科研圖”這件事真正落到日常工作中下面幾條工程建議值得參考。第一控制修改范圍而不是全圖重生成。實際使用中可以先把原始 TikZ 代碼按結構拆分成若干片段例如把每個柱子、每條折線對應的\draw命令單獨標記。模型只需要修改目標片段其余片段原樣保留這樣能最大程度降低無關改動風險。第二建立代碼規(guī)范。原始圖的 TikZ 代碼越規(guī)范模型修改的成功率越高。建議團隊在寫 TikZ 時統(tǒng)一縮進、統(tǒng)一注釋、避免過度使用嵌套 scope。即使沒有團隊規(guī)范個人繪圖時也應盡量給關鍵節(jié)點加%注釋這樣模型更容易建立“視覺對象到代碼對象”的映射。第三把編譯與驗證做進自動化 pipeline。不要每次手動復制代碼去編譯而應寫一個腳本輸入為原始圖、原始代碼和指令輸出為編譯后的 PDF 和代碼 diff 報告。把人工判斷集中在少量樣例上效率會高很多。第四警惕提示詞“假成功”。有時模型生成的代碼看起來語法完整、編譯通過但根本沒有執(zhí)行指令。要避免這種假陽性評估指標里至少包含一條屬性級檢查。例如修改顏色的任務必須確認目標填充色真的出現(xiàn)變化修改標簽的任務必須確認標簽文本真的被替換。只靠“編譯成功”來定義任務完成評測結果會嚴重失真。第五保持對數(shù)據(jù)集偏見的敏感。圖編輯 Benchmark 的難度很大程度上取決于原始圖的代碼風格分布。如果模型的訓練數(shù)據(jù)里恰好包含大量同款 TikZ 模板它在評測中可能表現(xiàn)很好但不代表通用編輯能力強。因此選擇評測集時要注意多樣性或者在自建評測時加入多種不同風格的原始圖。9. 從 Edit2TikZ 延伸出去的思考Edit2TikZ 只是“用代碼來規(guī)約圖表編輯”的一種具體實現(xiàn)但它提供了一個值得關注的信號下一代多模態(tài)模型評測正在從“讓模型描述世界”轉向“讓模型按結構化方式修改世界”。TikZ 能承載這種任務是因為它是代碼代碼天然適合編譯驗證、diff 比較和局部修改。順著這個思路往下走類似的評測還可以擴展到 SVG 圖表、HTML 可視化、Mermaid 流程圖乃至更復雜的工程設計稿。它們共同的特點是輸出對象不是自然語言而是有語法、有結構、可以被機器精確驗證的形式語言。如果你正在研究多模態(tài)大模型可以重點關注這類 Benchmark 里的失敗樣本它們往往比成功樣本更能暴露模型的薄弱環(huán)節(jié)例如長指令下的一致性、細粒度視覺定位、約束條件的遵循能力。如果你只是論文寫作中需要經(jīng)常改圖的用戶也可以嘗試把 TikZ 作為中間語言把“看圖改圖”這類繁瑣體力活交給模型處理把一個可編譯的 LaTeX 文件作為最終交付物。代碼化圖表編輯這條路剛剛開始。懂 TikZ 的人越多數(shù)據(jù)積累越快后續(xù)評測也越有生命力。建議有時間的話先從一張簡單圖、一句明確指令、一次編譯驗證開始建立自己的最小實驗閉環(huán)跑通之后再逐步增加圖表復雜度與編輯類型。那時再看 Edit2TikZ 的設計你會有比“讀懂了”更深一層的體會。