gpt-6-astra測試測試你的模型有沒有降智最近大模型圈里有一個很出名的“鵜鶘測試”讓模型生成一張“鵜鶘騎自行車”的 SVG。本次使用靈鏈云API(llapi.org)進行測試?？靵頊y測你使用的模型有沒有降智這個測試最早由 Simon Willison 持續(xù)拿來觀察不同模型的 SVG 生成能力。他使用的提示詞非常短Generate an SVG of a pelican riding a bicycle.翻譯過來就是生成一張鵜鶘騎自行車的 SVG。題目看著像玩具實際挺容易露餡。模型要知道鵜鶘長什么樣還要處理鵜鶘、自行車、車輪、車架、踏板和雙腿之間的位置關(guān)系。SVG 不是直接出一張位圖模型還得寫出能被瀏覽器正確渲染的圖形代碼。這次我也跑了一遍鵜鶘測試。本次選擇的模型是gpt-6-astra推理強度設(shè)置為高high。我在經(jīng)典提示詞上增加了 HTML 和 2D 動畫要求看看它能不能把靜態(tài) SVG 做成一個真正會動的網(wǎng)頁。模型名稱和推理檔位按本次工具界面顯示記錄。本文是一輪實際生成結(jié)果不是嚴謹?shù)哪Ｐ湍芰υu測也不能靠一張鵜鶘圖證明底層模型身份。截圖 1模型選擇為 gpt-6-astra推理強度設(shè)置為高本次測試提示詞我輸入的原始提示詞是創(chuàng)建一個HTML內(nèi)容是SVG繪制一個鵜鶘騎自行車的2D動畫 你不需要任何測試。這里比經(jīng)典鵜鶘測試多了三個要求結(jié)果要放進一個可以直接打開的 HTML。鵜鶘不能只是靜態(tài)騎在車上要做成 2D 動畫。我沒有繼續(xù)補充角色姿勢、顏色、背景、動畫方式也沒有提供參考圖。具體怎么畫、怎么動由模型自己處理。截圖 2完整提示詞和發(fā)送后的會話界面生成過程提交提示詞后模型先創(chuàng)建了一個獨立示例項目codes/pelican-coast-ride/ ├── index.html ├── README.md └── package.json主要內(nèi)容都放在index.html中沒有引入第三方框架也沒有引用外部圖片。頁面里的鵜鶘、自行車、海岸和云層都由 SVG 繪制動畫由 JavaScript 驅(qū)動。這一輪沒有讓模型運行自動化測試。這里說的“鵜鶘測試”指的是用同一道生成題觀察模型輸出并不是給 HTML 跑單元測試。實際生成了什么打開codes/pelican-coast-ride/index.html可以看到一只戴著頭盔、系著圍巾的鵜鶘在海邊騎自行車。這次結(jié)果不是把一只鳥簡單放在兩個圓圈上。代碼里處理了這些細節(jié)鵜鶘有長嘴、嘴下喉囊、長頸和翅膀角色比較容易辨認。自行車有前后輪、車架、車把、車座、曲柄和踏板。車輪輻條持續(xù)旋轉(zhuǎn)路面、海面和云層以不同速度向后移動。兩只腳相差半圈跟隨踏板膝蓋位置會隨腳的位置重新計算。頁面提供暫停按鈕以及 0.5 倍、1 倍和 1.5 倍三檔速度。腳踩踏板是這道題最容易糊弄過去的地方。這次代碼沒有只讓車輪轉(zhuǎn)而是根據(jù)曲柄角度計算腳的位置constfoot{x:56526*Math.cos(angle),y:48526*Math.sin(angle)};leg(near,angle);leg(far,angleMath.PI);另一只腳增加Math.PI剛好與前一只腳相差半圈。完整的leg()函數(shù)還會根據(jù)髖部和腳的位置計算膝蓋讓腿跟著踏板彎曲。截圖 3HTML 打開后的完整頁面你也可以把經(jīng)典提示詞原樣發(fā)給自己正在用的模型如果想復(fù)現(xiàn)本文這一版就使用前面的完整中文提示詞并把推理強度設(shè)為高。我本次對比的是使用靈鏈云llapi.org中的gpt-5.6-luna推理強度同樣選擇的是高。重新創(chuàng)建一個HTML內(nèi)容是SVG繪制一個鵜鶘騎自行車的2D動畫你不需要任何測試創(chuàng)建一個HTML內(nèi)容是SVG繪制一個鵜鶘騎自行車的2D動畫你不需要任何測試。怎么用這張圖看看自己的模型有沒有降智拿到結(jié)果后重點看五件事一眼能不能認出鵜鶘而不是普通的白鳥。鵜鶘是不是真的坐在自行車上翅膀和腳有沒有明顯懸空。車架、車輪、踏板和車把能不能組成一輛結(jié)構(gòu)說得通的自行車。要求動畫時腳、踏板和車輪有沒有聯(lián)動還是只有背景在移動。模型有沒有交付能直接打開的完整文件而不是只給一段說明或殘缺代碼。最好保留第一次生成結(jié)果。連續(xù)補十幾輪提示詞以后終于改對和一次交付完成不是一回事。如果要比較模型是否退步還要盡量固定提示詞、推理強度、上下文和工具權(quán)限并保留以前同條件的結(jié)果。只憑一次生成可以看這一輪完成得怎么樣不能直接證明模型整體“降智”。這次測試的結(jié)論就這一次結(jié)果看gpt-6-astra完成了提示詞里的主要要求單文件 HTML、SVG 鵜鶘、自行車、2D 動畫和顯眼推廣都交付了還補了暫停與調(diào)速。更關(guān)鍵的是它沒有只做“兩個車輪轉(zhuǎn)起來”的表面動畫。腳、踏板和膝蓋之間有聯(lián)動說明模型確實處理了這個畫面里最麻煩的空間關(guān)系。所以我對這一輪的判斷是6astra沒有看到明顯的“降智”表現(xiàn)這道鵜鶘動畫題完成度不錯。這個結(jié)論只針對本次提示詞和本次輸出。等你補上模型設(shè)置、生成過程和動畫結(jié)果截圖讀者可以直接看圖自己判斷這只鵜鶘到底騎得怎么樣。Gitee 示例代碼地址gpt-6-astrahttps://gitee.com/heihei_66/codex-demo/codes/pelican-coast-ride/index-6astra.htmlGitee 示例代碼地址gpt-5.6-lunahttps://gitee.com/heihei_66/codex-demo/codes/pelican-coast-ride/index-5.6luna.html參考Simon Willison 的 pelican-riding-a-bicycle 專題頁。