最近在AI研究圈里一個(gè)名為“BDH-CQ”的模型以極低的成本僅0.0007美元在“ARC-AGI”基準(zhǔn)測(cè)試中取得了顯著成績(jī)引發(fā)了廣泛討論。這背后不僅僅是關(guān)于一個(gè)模型或一個(gè)榜單更觸及了當(dāng)前AI發(fā)展的核心議題我們距離真正的AGI通用人工智能還有多遠(yuǎn)以及實(shí)現(xiàn)智能突破是否必須依賴天價(jià)的算力本文將深入探討這一事件拆解“BDH-CQ”模型的技術(shù)路徑分析“ARC-AGI”基準(zhǔn)測(cè)試的挑戰(zhàn)與意義并探討低成本AI模型對(duì)行業(yè)可能帶來(lái)的深遠(yuǎn)影響。無(wú)論你是AI研究者、工程師還是對(duì)前沿技術(shù)趨勢(shì)感興趣的開(kāi)發(fā)者都能從中獲得關(guān)于AI能力邊界、評(píng)估方法和未來(lái)方向的系統(tǒng)性認(rèn)知。1. 背景與核心概念從ARC-AGI到BDH-CQ要理解“BDH-CQ以0.0007美元成本登ARC-AGI”這一事件我們首先需要厘清幾個(gè)關(guān)鍵概念。1.1 什么是ARC-AGIARC-AGI全稱為“Abstraction and Reasoning Corpus for Artificial General Intelligence”中文可譯為“面向通用人工智能的抽象與推理語(yǔ)料庫(kù)”。它由著名AI研究員Fran?ois CholletKeras框架的創(chuàng)建者提出其核心理念是真正的智能在于解決前所未見(jiàn)的問(wèn)題的能力而非對(duì)已知模式的大量記憶。ARC-AGI測(cè)試集包含一系列“核心任務(wù)”每個(gè)任務(wù)由幾個(gè)輸入-輸出示例演示和一個(gè)需要推理的測(cè)試輸入組成。模型的任務(wù)是僅通過(guò)觀察少數(shù)幾個(gè)示例就推斷出背后抽象的、通用的轉(zhuǎn)換規(guī)則并將其應(yīng)用于全新的測(cè)試輸入生成正確的輸出。ARC-AGI的核心挑戰(zhàn)在于小樣本學(xué)習(xí)Few-shot Learning只給極少的示例通常3-5個(gè)。抽象推理Abstract Reasoning需要理解顏色、形狀、位置、計(jì)數(shù)、對(duì)稱、旋轉(zhuǎn)等抽象概念及其組合規(guī)則。組合泛化Compositional Generalization將學(xué)到的簡(jiǎn)單規(guī)則組合起來(lái)解決更復(fù)雜的問(wèn)題。避免記憶Memorization任務(wù)設(shè)計(jì)確保無(wú)法通過(guò)記住訓(xùn)練數(shù)據(jù)中的模式來(lái)作弊。因此ARC-AGI被視為衡量AI系統(tǒng)“通用推理能力”而非“特定任務(wù)熟練度”的一個(gè)嚴(yán)格基準(zhǔn)。在它上面取得高分意味著模型具備了一定程度的、類似人類的“舉一反三”的認(rèn)知靈活性。1.2 BDH-CQ是什么“BDH-CQ”并非來(lái)自O(shè)penAI、Google等巨頭而是一個(gè)相對(duì)低調(diào)的研究成果。根據(jù)公開(kāi)信息分析“BDH”很可能指代“BillionDollarHeuristic”十億美元啟發(fā)式或是一個(gè)研究小組/方法的縮寫而“CQ”可能指“Cost-Query”成本查詢或“CompositionalQuery”組合查詢。更關(guān)鍵的是其宣稱的0.0007美元的極低成本。這個(gè)成本數(shù)字極具沖擊力。對(duì)比當(dāng)前動(dòng)輒需要數(shù)百萬(wàn)美元訓(xùn)練費(fèi)用的GPT-4、Claude等大語(yǔ)言模型LLM0.0007美元約合人民幣5分錢的成本幾乎可以忽略不計(jì)。這暗示著B(niǎo)DH-CQ可能采用了一條完全不同的技術(shù)路徑非Transformer架構(gòu)可能基于更輕量級(jí)的模型如改進(jìn)的MLP、RNN或?qū)ｉT為符號(hào)推理設(shè)計(jì)的架構(gòu)。算法創(chuàng)新核心突破可能在于推理算法本身例如一種高效的搜索或規(guī)劃算法能在極小的模型參數(shù)空間內(nèi)完成復(fù)雜的推理步驟。數(shù)據(jù)高效利用可能極度依賴于任務(wù)本身的先驗(yàn)結(jié)構(gòu)如網(wǎng)格世界、離散符號(hào)通過(guò)精心設(shè)計(jì)的程序合成或歸納邏輯編程來(lái)解決問(wèn)題而非依賴海量數(shù)據(jù)訓(xùn)練。合成成本0.0007美元可能僅指“推理/測(cè)試”成本即運(yùn)行一次模型解決一個(gè)ARC任務(wù)所需的計(jì)算費(fèi)用而非訓(xùn)練成本。即便如此這個(gè)數(shù)字也低得驚人。1.3 為什么這件事重要這一事件的重要性體現(xiàn)在三個(gè)層面挑戰(zhàn)“規(guī)模至上”的范式當(dāng)前AI主流范式認(rèn)為性能提升主要依賴于模型規(guī)模參數(shù)、數(shù)據(jù)規(guī)模和算力規(guī)模的同步擴(kuò)大即“縮放定律”。BDH-CQ以極低成本在硬核推理基準(zhǔn)上取得成績(jī)是對(duì)這一范式的有力挑戰(zhàn)證明智能可能源于精巧的設(shè)計(jì)而非單純的暴力計(jì)算。重新定義AGI路徑如果AGI的關(guān)鍵是抽象和推理能力那么像BDH-CQ這樣專注于解決ARC-AGI的模型可能比單純擴(kuò)大語(yǔ)言模型更接近AGI的本質(zhì)。它指向了一條**“能力優(yōu)先而非規(guī)模優(yōu)先”** 的AGI發(fā)展路徑。降低AI門檻與風(fēng)險(xiǎn)極低的成本意味著更多的個(gè)人研究者和小型實(shí)驗(yàn)室可以參與到前沿AI研究中有助于促進(jìn)創(chuàng)新多元化。同時(shí)這也引發(fā)了對(duì)AI安全的新思考如果一個(gè)強(qiáng)大的AGI核心如此“便宜”其可控性和安全性將面臨全新挑戰(zhàn)。2. 技術(shù)原理拆解BDH-CQ可能如何工作雖然BDH-CQ的具體實(shí)現(xiàn)細(xì)節(jié)未完全公開(kāi)但我們可以基于ARC-AGI的任務(wù)特性、現(xiàn)有研究以及“低成本”這一線索推測(cè)其可能的技術(shù)原理。2.1 ARC-AGI任務(wù)的形式化描述一個(gè)典型的ARC-AGI任務(wù)可以形式化為輸入一個(gè)訓(xùn)練集{ (input_i, output_i) } i1...k (k很小通?！?)輸出一個(gè)函數(shù)f使得對(duì)于給定的測(cè)試輸入test_input有f(test_input) test_output(與ground truth一致)。任務(wù)發(fā)生在離散的二維網(wǎng)格上每個(gè)單元格有有限的幾種顏色如0-9代表10種顏色。f需要捕捉的規(guī)則可能包括物體檢測(cè)、移動(dòng)、填充、計(jì)數(shù)、反射、旋轉(zhuǎn)、模式擴(kuò)展等。2.2 潛在技術(shù)路徑分析結(jié)合現(xiàn)有學(xué)術(shù)界對(duì)ARC挑戰(zhàn)的解決方案BDH-CQ可能采用了以下一種或多種技術(shù)的融合路徑一基于符號(hào)推理與程序合成這是解決ARC類問(wèn)題最經(jīng)典的方法。其核心思想是將輸入-輸出對(duì)視為一個(gè)“程序”執(zhí)行的結(jié)果目標(biāo)是從示例中反推出這個(gè)“程序”。領(lǐng)域特定語(yǔ)言DSL首先設(shè)計(jì)一個(gè)用于描述網(wǎng)格變換操作的微型編程語(yǔ)言。例如包含基本操作FILTER(color),MOVE(direction),COUNT(),PAINT(region, color),REFLECT(axis)等。程序搜索給定輸入-輸出示例在DSL定義的程序空間中進(jìn)行搜索找到一個(gè)能完美匹配所有示例的程序。這通常使用基于約束的搜索或概率編程技術(shù)。驗(yàn)證與泛化將找到的程序應(yīng)用于測(cè)試輸入生成預(yù)測(cè)輸出。優(yōu)勢(shì)推理過(guò)程可解釋不依賴大數(shù)據(jù)訓(xùn)練。挑戰(zhàn)搜索空間隨DSL復(fù)雜度指數(shù)增長(zhǎng)需要高效的啟發(fā)式搜索和剪枝策略。BDH-CQ的貢獻(xiàn)可能發(fā)明了一種極其高效的搜索算法或DSL設(shè)計(jì)將每次查詢解決一個(gè)任務(wù)的搜索成本降到了極低水平。路徑二基于抽象表征學(xué)習(xí)的微型神經(jīng)網(wǎng)絡(luò)雖然Transformer大模型在ARC上表現(xiàn)一般它們更擅長(zhǎng)關(guān)聯(lián)而非演繹推理但專門設(shè)計(jì)的小型神經(jīng)網(wǎng)絡(luò)可能有效。架構(gòu)設(shè)計(jì)使用卷積神經(jīng)網(wǎng)絡(luò)CNN或圖神經(jīng)網(wǎng)絡(luò)GNN來(lái)理解網(wǎng)格的局部和全局結(jié)構(gòu)。模型非常小可能只有幾千或幾萬(wàn)個(gè)參數(shù)。元學(xué)習(xí)Meta-Learning在大量類似的合成推理任務(wù)上進(jìn)行“訓(xùn)練”學(xué)習(xí)如何快速適應(yīng)新任務(wù)。這類似于“學(xué)會(huì)學(xué)習(xí)”。小樣本推理在測(cè)試時(shí)將k個(gè)示例作為上下文輸入模型模型通過(guò)內(nèi)部快速調(diào)整如前饋調(diào)整或基于注意力的機(jī)制來(lái)推斷規(guī)則并處理測(cè)試輸入。優(yōu)勢(shì)具備一定的學(xué)習(xí)泛化能力。挑戰(zhàn)需要精心設(shè)計(jì)任務(wù)分布來(lái)進(jìn)行元訓(xùn)練且模型的可解釋性較差。BDH-CQ的貢獻(xiàn)可能找到了一個(gè)極其高效的任務(wù)分布和元學(xué)習(xí)目標(biāo)使得小模型就能獲得強(qiáng)大的推理能力且推理計(jì)算量極小。路徑三神經(jīng)符號(hào)混合系統(tǒng)結(jié)合上述兩者的優(yōu)點(diǎn)。神經(jīng)感知器用一個(gè)輕量級(jí)神經(jīng)網(wǎng)絡(luò)如CNN將網(wǎng)格圖像轉(zhuǎn)換為中間符號(hào)表征如對(duì)象列表、關(guān)系圖。符號(hào)推理引擎在符號(hào)層面使用邏輯推理或程序合成來(lái)尋找規(guī)則。符號(hào)到圖像的渲染器將推理結(jié)果轉(zhuǎn)換回網(wǎng)格輸出。優(yōu)勢(shì)兼具神經(jīng)網(wǎng)絡(luò)的感知能力和符號(hào)系統(tǒng)的推理可解釋性。挑戰(zhàn)需要對(duì)齊神經(jīng)和符號(hào)兩個(gè)模塊。BDH-CQ的貢獻(xiàn)可能設(shè)計(jì)了一個(gè)無(wú)縫銜接的、計(jì)算開(kāi)銷極低的神經(jīng)符號(hào)接口?！?.0007美元成本”的解讀這個(gè)成本很可能是按云計(jì)算服務(wù)如AWS Lambda, Google Cloud Functions的每次函數(shù)調(diào)用解決一個(gè)ARC任務(wù)的成本來(lái)估算的。它反映了算法極高的計(jì)算效率——所需的CPU/內(nèi)存資源和執(zhí)行時(shí)間都極短。3. 環(huán)境與工具鏈設(shè)想如何復(fù)現(xiàn)類似研究如果你想深入探索或復(fù)現(xiàn)BDH-CQ這類低成本推理模型的研究需要搭建一個(gè)怎樣的環(huán)境雖然我們無(wú)法精確還原BDH-CQ的棧但可以構(gòu)建一個(gè)用于ARC-AGI問(wèn)題研究的標(biāo)準(zhǔn)環(huán)境。3.1 核心工具與庫(kù)# 1. 基礎(chǔ)科學(xué)計(jì)算與深度學(xué)習(xí)框架 pip install numpy pandas matplotlib seaborn pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu # 根據(jù)CUDA版本調(diào)整 # 或使用 TensorFlow/JAX # pip install tensorflow # pip install jax jaxlib # 2. 程序合成與符號(hào)推理相關(guān)庫(kù) pip install z3-solver # Microsoft Z3定理證明器用于約束求解 pip install funcy pip install lark-parser # 用于構(gòu)建DSL的解析器 # 3. ARC-AGI官方數(shù)據(jù)集與評(píng)估工具 # ARC數(shù)據(jù)集通常以JSON格式提供可以從官方渠道獲取 # 評(píng)估腳本需要能計(jì)算準(zhǔn)確率完全匹配輸出網(wǎng)格 # 4. 元學(xué)習(xí)與小樣本學(xué)習(xí)庫(kù)可選 pip install higher # 用于PyTorch的元學(xué)習(xí)庫(kù) pip install learn2learn # 另一個(gè)元學(xué)習(xí)庫(kù)3.2 項(xiàng)目結(jié)構(gòu)建議arc-agi-research/ ├── data/ │ ├── ARC-V1-Feb2021/ # 官方數(shù)據(jù)集 │ │ ├── training/ │ │ ├── evaluation/ │ │ └── test/ │ └── custom_tasks/ # 自己生成的任務(wù) ├── src/ │ ├── dsl/ # 領(lǐng)域特定語(yǔ)言定義 │ │ ├── __init__.py │ │ ├── grammar.py # DSL語(yǔ)法定義使用Lark │ │ └── operations.py # 基本操作實(shí)現(xiàn) │ ├── synthesizer/ # 程序合成器 │ │ ├── __init__.py │ │ ├── search.py # 搜索算法BFS, DFS, 束搜索 │ │ └── constraint_solver.py # 基于Z3的求解器 │ ├── neural/ # 神經(jīng)網(wǎng)絡(luò)方法 │ │ ├── __init__.py │ │ ├── models.py # CNN/GNN模型定義 │ │ ├── meta_trainer.py # 元訓(xùn)練循環(huán) │ │ └── fewshot_inference.py │ ├── evaluation/ │ │ └── evaluator.py # 任務(wù)加載與準(zhǔn)確率計(jì)算 │ └── utils/ │ └── visualization.py # 可視化任務(wù)網(wǎng)格 ├── configs/ # 實(shí)驗(yàn)配置 ├── experiments/ # 實(shí)驗(yàn)日志與結(jié)果 ├── requirements.txt └── README.md3.3 低成本計(jì)算策略要實(shí)現(xiàn)“低成本”必須在算法和工程上雙管齊下算法效率設(shè)計(jì)高度剪枝的搜索空間。使用緩存Memoization避免重復(fù)計(jì)算。采用近似算法在可接受的時(shí)間內(nèi)找到“足夠好”的解。工程優(yōu)化使用Python的PyPy解釋器替代CPython對(duì)計(jì)算密集型搜索任務(wù)可能有數(shù)倍提升。關(guān)鍵循環(huán)使用Cython或Numba進(jìn)行加速。極致優(yōu)化數(shù)據(jù)結(jié)構(gòu)使用numpy數(shù)組操作替代Python原生循環(huán)?？紤]使用無(wú)服務(wù)器計(jì)算Serverless如AWS Lambda按每次推理付費(fèi)天然契合“按查詢成本”的衡量方式。4. 實(shí)戰(zhàn)案例構(gòu)建一個(gè)極簡(jiǎn)的ARC程序合成器讓我們動(dòng)手實(shí)現(xiàn)一個(gè)基于DSL和深度優(yōu)先搜索DFS的極簡(jiǎn)版程序合成器來(lái)直觀感受一下解決ARC任務(wù)的核心邏輯。這個(gè)例子成本極低完全在本地CPU上運(yùn)行。4.1 定義領(lǐng)域特定語(yǔ)言DSL首先我們定義一個(gè)非常簡(jiǎn)單的DSL只包含幾種基本操作。# file: src/dsl/operations.py import numpy as np from typing import List, Tuple, Optional, Callable Grid np.ndarray # 2D array of integers representing colors def apply_op(grid: Grid, op_name: str, *args) - Optional[Grid]: 應(yīng)用一個(gè)操作到網(wǎng)格上返回新網(wǎng)格失敗則返回None。 try: if op_name IDENTITY: return grid.copy() elif op_name FILTER_COLOR: color args[0] # 只保留特定顏色的單元格其他變0背景色 new_grid np.where(grid color, grid, 0) return new_grid elif op_name PAINT_ALL: color args[0] # 將所有非零單元格涂成指定顏色 new_grid np.where(grid ! 0, color, 0) return new_grid elif op_name CROP: # 一個(gè)簡(jiǎn)單的裁剪移除全為0的行和列 non_zero_rows np.any(grid ! 0, axis1) non_zero_cols np.any(grid ! 0, axis0) if not np.any(non_zero_rows) or not np.any(non_zero_cols): return None new_grid grid[non_zero_rows, :][:, non_zero_cols] return new_grid elif op_name H_FLIP: # 水平翻轉(zhuǎn) return np.fliplr(grid) elif op_name V_FLIP: # 垂直翻轉(zhuǎn) return np.flipud(grid) else: return None except Exception: return None # 定義操作庫(kù) OPERATIONS [ (IDENTITY, []), (FILTER_COLOR, [1, 2, 3, 4, 5, 6, 7, 8, 9]), # 顏色參數(shù) (PAINT_ALL, [1, 2, 3, 4, 5, 6, 7, 8, 9]), (CROP, []), (H_FLIP, []), (V_FLIP, []), ] # 操作可以組合我們?cè)试S最多3個(gè)操作的簡(jiǎn)單序列 MAX_PROGRAM_LENGTH 34.2 實(shí)現(xiàn)深度優(yōu)先搜索合成器# file: src/synthesizer/search.py import itertools from typing import List, Tuple, Optional from src.dsl.operations import Grid, apply_op, OPERATIONS, MAX_PROGRAM_LENGTH def grid_equal(g1: Grid, g2: Grid) - bool: 嚴(yán)格比較兩個(gè)網(wǎng)格是否完全相同。 return g1.shape g2.shape and np.array_equal(g1, g2) def dfs_synthesize(train_inputs: List[Grid], train_outputs: List[Grid], max_depth: int MAX_PROGRAM_LENGTH) - Optional[List[Tuple]]: 使用深度優(yōu)先搜索合成一個(gè)程序操作序列。 程序必須對(duì)所有的訓(xùn)練輸入-輸出對(duì)都成立。 def dfs(program: List[Tuple], depth: int): 遞歸搜索函數(shù)。 if depth max_depth: return None # 嘗試擴(kuò)展程序 for op_name, arg_list in OPERATIONS: if not arg_list: # 無(wú)參數(shù)操作 candidate_args [()] else: # 有參數(shù)操作遍歷可能的參數(shù)組合這里簡(jiǎn)化只取第一個(gè)參數(shù) candidate_args [(arg,) for arg in arg_list[:3]] # 限制參數(shù)嘗試數(shù)量以控制搜索 for args in candidate_args: new_step (op_name, *args) new_program program [new_step] # 驗(yàn)證當(dāng)前程序在所有訓(xùn)練示例上是否一致 consistent True for inp, expected_out in zip(train_inputs, train_outputs): current_grid inp.copy() valid True for step in new_program: op_name_s, *args_s step current_grid apply_op(current_grid, op_name_s, *args_s) if current_grid is None: valid False break if not valid or not grid_equal(current_grid, expected_out): consistent False break if consistent: # 找到一致的程序 return new_program # 否則繼續(xù)遞歸搜索 result dfs(new_program, depth 1) if result is not None: return result return None return dfs([], 0) def execute_program(program: List[Tuple], input_grid: Grid) - Optional[Grid]: 執(zhí)行合成出的程序。 grid input_grid.copy() for step in program: op_name, *args step grid apply_op(grid, op_name, *args) if grid is None: return None return grid4.3 加載ARC任務(wù)與測(cè)試我們需要一個(gè)函數(shù)來(lái)加載和格式化ARC任務(wù)數(shù)據(jù)。這里我們創(chuàng)建一個(gè)模擬的簡(jiǎn)單任務(wù)來(lái)測(cè)試。# file: src/evaluation/evaluator.py import json import numpy as np from pathlib import Path from typing import Dict, List, Any from src.synthesizer.search import dfs_synthesize, execute_program def load_task_json(filepath: Path) - Dict[str, Any]: with open(filepath, r) as f: return json.load(f) def parse_grid(grid_data: List[List[int]]) - np.ndarray: return np.array(grid_data, dtypenp.int8) def solve_one_task(task_data: Dict, max_depth: int 3) - Dict: 嘗試解決一個(gè)ARC任務(wù)。 返回包含預(yù)測(cè)輸出和程序的信息。 train_pairs task_data.get(train, []) test_pairs task_data.get(test, []) if not train_pairs or not test_pairs: return {error: No train or test pairs} # 準(zhǔn)備訓(xùn)練數(shù)據(jù) train_inputs [parse_grid(pair[input]) for pair in train_pairs] train_outputs [parse_grid(pair[output]) for pair in train_pairs] # 程序合成 program dfs_synthesize(train_inputs, train_outputs, max_depthmax_depth) results [] for test_pair in test_pairs: test_input parse_grid(test_pair[input]) if program is None: pred_output None success False else: pred_output execute_program(program, test_input) expected_output parse_grid(test_pair[output]) success pred_output is not None and np.array_equal(pred_output, expected_output) results.append({ test_input: test_input.tolist(), predicted_output: pred_output.tolist() if pred_output is not None else None, success: success, program: program }) overall_success all(r[success] for r in results) return { task_id: task_data.get(id, unknown), program_found: program is not None, program: program, results: results, solved: overall_success } # 創(chuàng)建一個(gè)模擬的簡(jiǎn)單ARC任務(wù)進(jìn)行測(cè)試 def create_demo_task(): 創(chuàng)建一個(gè)‘過(guò)濾紅色并水平翻轉(zhuǎn)’的演示任務(wù)。 # 顏色0黑1紅2綠 train_input_1 [[1, 2, 0], [0, 1, 2], [2, 0, 1]] train_output_1 [[0, 1, 0], [0, 0, 1], [1, 0, 0]] # 過(guò)濾紅色(1)然后水平翻轉(zhuǎn) 這里我們?cè)O(shè)計(jì)一個(gè)簡(jiǎn)單的任務(wù)先過(guò)濾紅色然后水平翻轉(zhuǎn)。 # 手動(dòng)計(jì)算一下過(guò)濾紅色后 - [[1,0,0],[0,1,0],[0,0,1]]水平翻轉(zhuǎn)后 - [[0,0,1],[0,1,0],[1,0,0]] # 嗯我們的DSL需要能組合操作。讓我們調(diào)整DSL和搜索來(lái)支持序列。 # 更簡(jiǎn)單的任務(wù)只進(jìn)行水平翻轉(zhuǎn) train_input_simple [[1,2,3],[4,5,6]] train_output_simple [[3,2,1],[6,5,4]] # 水平翻轉(zhuǎn) test_input_simple [[9,8,7],[0,1,2]] test_output_simple [[7,8,9],[2,1,0]] task { id: demo_h_flip, train: [ {input: train_input_simple, output: train_output_simple} ], test: [ {input: test_input_simple, output: test_output_simple} ] } return task if __name__ __main__: # 運(yùn)行演示 demo_task create_demo_task() result solve_one_task(demo_task, max_depth2) print(fTask ID: {result[task_id]}) print(fProgram Found: {result[program_found]}) print(fProgram: {result[program]}) print(fSolved: {result[solved]}) if result[program]: print(Program steps:) for step in result[program]: print(f - {step})運(yùn)行上述演示代碼我們的極簡(jiǎn)合成器應(yīng)該能成功找到[(H_FLIP,)]這個(gè)程序并解決測(cè)試案例。這雖然距離真正的ARC-AGI挑戰(zhàn)相差甚遠(yuǎn)但清晰地展示了程序合成這一核心思想從輸入-輸出示例中自動(dòng)發(fā)現(xiàn)一個(gè)可執(zhí)行的變換序列。4.4 成本估算分析讓我們粗略估算一下這個(gè)極簡(jiǎn)合成器解決一個(gè)簡(jiǎn)單任務(wù)的成本按云函數(shù)調(diào)用計(jì)費(fèi)內(nèi)存約128 MBPython運(yùn)行時(shí) numpy。執(zhí)行時(shí)間對(duì)于簡(jiǎn)單任務(wù)操作庫(kù)小搜索深度淺在普通CPU上約100-200毫秒。成本以AWS Lambda為例每GB-秒費(fèi)用約為0.0000166667美元。我們的計(jì)算0.128 GB * 0.2 秒 * 0.0000166667 $/GB-s ≈ 0.000000427美元。這甚至遠(yuǎn)低于0.0007美元。這說(shuō)明如果算法足夠高效解決單次推理任務(wù)的云成本可以低到忽略不計(jì)。BDH-CQ的0.0007美元成本很可能包含了更復(fù)雜的操作庫(kù)、更深的搜索深度以及更多的任務(wù)嘗試但這個(gè)數(shù)量級(jí)是合理的。5. 深入挑戰(zhàn)為什么ARC-AGI如此困難盡管我們的極簡(jiǎn)合成器能解決“水平翻轉(zhuǎn)”這種規(guī)則明確的任務(wù)但ARC-AGI官方數(shù)據(jù)集中大多數(shù)任務(wù)要復(fù)雜得多。理解這些困難有助于我們明白BDH-CQ可能取得的突破在哪里。5.1 核心難點(diǎn)剖析組合爆炸Combinatorial Explosion即使是一個(gè)中等復(fù)雜度的DSL其程序空間也是天文數(shù)字。例如包含20種操作每個(gè)操作有若干參數(shù)程序長(zhǎng)度允許到10步搜索空間的大小將是(20 * avg_args)^10無(wú)法進(jìn)行暴力搜索。BDH-CQ的潛在解決方案使用強(qiáng)大的啟發(fā)式函數(shù)、基于類型的剪枝、對(duì)稱性約減或者將問(wèn)題形式化為可滿足性模理論SMT問(wèn)題用Z3等求解器高效求解。模糊性與歧義Ambiguity僅憑少數(shù)示例推導(dǎo)出的規(guī)則可能不唯一。例如示例展示了一個(gè)點(diǎn)向右移動(dòng)規(guī)則可能是“所有點(diǎn)右移”也可能是“每個(gè)點(diǎn)移動(dòng)到最右邊的空位”。模型必須選擇最能泛化的那個(gè)。解決方案需要融入奧卡姆剃刀原則——偏好更簡(jiǎn)單、更短的程序?；蛘咴谠獙W(xué)習(xí)框架中從大量任務(wù)中學(xué)習(xí)到哪種規(guī)則先驗(yàn)更可能正確。感知與抽象Perception Abstraction人類能輕松地將網(wǎng)格中的像素群識(shí)別為“物體”、“線條”、“背景”并理解它們之間的關(guān)系。對(duì)于程序合成方法需要預(yù)先在DSL中定義好“物體檢測(cè)”、“連通分量”等高級(jí)操作而這本身就是一個(gè)難題。神經(jīng)符號(hào)混合路徑試圖用神經(jīng)網(wǎng)絡(luò)解決感知問(wèn)題但如何讓神經(jīng)網(wǎng)絡(luò)輸出符號(hào)化的、可推理的表示仍然是一個(gè)開(kāi)放問(wèn)題。跨模態(tài)泛化ARC任務(wù)的核心是抽象規(guī)則它應(yīng)獨(dú)立于具體的顏色、網(wǎng)格大小和物體形狀。模型必須剝離這些表面特征抓住深層關(guān)系。5.2 現(xiàn)有主流方法的局限性大型語(yǔ)言模型LLMs如GPT-4在ARC上表現(xiàn)不佳。它們擅長(zhǎng)關(guān)聯(lián)和模仿但在嚴(yán)格的演繹推理和小樣本泛化上存在短板。它們可能會(huì)“編造”一個(gè)看似合理但錯(cuò)誤的規(guī)則。純視覺(jué)模型如CNN或Vision Transformer傾向于學(xué)習(xí)像素級(jí)的統(tǒng)計(jì)模式而非抽象規(guī)則容易過(guò)擬合到訓(xùn)練示例的表面特征上。強(qiáng)化學(xué)習(xí)搜索空間太大獎(jiǎng)勵(lì)稀疏只有最終輸出完全正確才有獎(jiǎng)勵(lì)難以訓(xùn)練。6. BDH-CQ的啟示與最佳實(shí)踐假設(shè)BDH-CQ確實(shí)找到了一條有效的路徑我們可以從中提煉出一些對(duì)AI研究和工程實(shí)踐有價(jià)值的啟示。6.1 算法設(shè)計(jì)最佳實(shí)踐優(yōu)先考慮可解釋性在追求性能的同時(shí)設(shè)計(jì)能產(chǎn)生人類可理解如程序、邏輯公式輸出的模型。這不僅能幫助調(diào)試更是實(shí)現(xiàn)可靠推理的關(guān)鍵。擁抱混合方法不要拘泥于“神經(jīng)”或“符號(hào)”的派別之爭(zhēng)。將神經(jīng)網(wǎng)絡(luò)的感知和泛化能力與符號(hào)系統(tǒng)的精確和可解釋性結(jié)合起來(lái)可能是解決復(fù)雜推理問(wèn)題的鑰匙。重視搜索與規(guī)劃算法許多AI難題本質(zhì)上是搜索問(wèn)題。投資于開(kāi)發(fā)更高效、更智能的搜索算法如蒙特卡洛樹(shù)搜索、神經(jīng)啟發(fā)式搜索其回報(bào)可能不亞于擴(kuò)大模型規(guī)模。設(shè)計(jì)任務(wù)驅(qū)動(dòng)的評(píng)估像ARC-AGI這樣目標(biāo)明確的基準(zhǔn)非常重要。在開(kāi)發(fā)新模型時(shí)應(yīng)始終圍繞其要解決的核心能力如組合泛化、小樣本學(xué)習(xí)進(jìn)行設(shè)計(jì)和評(píng)估。6.2 工程實(shí)現(xiàn)與成本控制極致優(yōu)化對(duì)于研究原型也要有工程思維。分析性能瓶頸對(duì)關(guān)鍵路徑進(jìn)行優(yōu)化使用更快的語(yǔ)言、并發(fā)、緩存。利用無(wú)服務(wù)器架構(gòu)對(duì)于按查詢付費(fèi)的研究項(xiàng)目Serverless如AWS Lambda, Google Cloud Run是控制成本、簡(jiǎn)化運(yùn)維的利器。確保你的代碼是無(wú)狀態(tài)和冷啟動(dòng)友好的。量化與評(píng)估成本將“每次推理成本”作為一個(gè)明確的評(píng)估指標(biāo)。這迫使研究者思考算法的實(shí)際效率而不僅僅是準(zhǔn)確率。開(kāi)源與可復(fù)現(xiàn)性推動(dòng)研究進(jìn)步的最好方式是開(kāi)源代碼和模型。即使無(wú)法完全復(fù)現(xiàn)清晰的算法描述和偽代碼也極具價(jià)值。6.3 對(duì)AGI研究的重新思考智能≠規(guī)模BDH-CQ提醒我們智能的涌現(xiàn)可能不需要巨大的參數(shù)規(guī)模而需要更精巧的架構(gòu)和算法。我們應(yīng)該投入更多資源探索高效能智能High-Efficiency Intelligence。關(guān)注核心推理能力與其追求模型在數(shù)百個(gè)任務(wù)上的平均性能不如深入攻克像ARC-AGI這樣旨在測(cè)量核心推理能力的“硬骨頭”。質(zhì)的突破往往來(lái)自對(duì)根本問(wèn)題的專注?？鐚W(xué)科借鑒從認(rèn)知科學(xué)、邏輯學(xué)、程序語(yǔ)言理論中汲取靈感。人類如何思考我們?nèi)绾涡问交评磉@些古老的問(wèn)題可能蘊(yùn)藏著AGI的關(guān)鍵。7. 常見(jiàn)問(wèn)題與排查思路在嘗試復(fù)現(xiàn)或借鑒BDH-CQ思路進(jìn)行ARC-AGI研究時(shí)你可能會(huì)遇到以下問(wèn)題問(wèn)題現(xiàn)象可能原因解決思路程序合成器搜索時(shí)間過(guò)長(zhǎng)無(wú)法在合理時(shí)間內(nèi)找到解。1. DSL過(guò)于復(fù)雜搜索空間爆炸。2. 搜索算法如DFS效率低下缺乏剪枝。3. 任務(wù)本身太難超出當(dāng)前DSL的表達(dá)能力。1.簡(jiǎn)化DSL從最小操作集開(kāi)始逐步增加。2.改進(jìn)搜索使用束搜索Beam Search、A*搜索需設(shè)計(jì)啟發(fā)式函數(shù)、或轉(zhuǎn)換為SMT問(wèn)題用Z3求解。3.引入分層先合成子程序宏再組合。合成的程序在訓(xùn)練示例上正確但在測(cè)試示例上失敗。1.過(guò)擬合程序只是“記住”了示例沒(méi)有捕捉到通用規(guī)則。2.規(guī)則歧義示例不足以唯一確定規(guī)則合成器選擇了錯(cuò)誤的泛化。1.奧卡姆剃刀在搜索目標(biāo)中引入程序長(zhǎng)度懲罰偏好更短、更簡(jiǎn)單的程序。2.增加示例如果可能獲取更多示例但ARC核心任務(wù)就是小樣本。3.集成投票運(yùn)行多個(gè)合成器不同隨機(jī)種子/參數(shù)選擇共識(shí)程序。神經(jīng)網(wǎng)絡(luò)模型在元訓(xùn)練集上過(guò)擬合在新任務(wù)上泛化差。1. 元訓(xùn)練任務(wù)分布與ARC核心任務(wù)分布不一致。2. 模型容量太大或太小。3. 元學(xué)習(xí)算法不穩(wěn)定。1.改進(jìn)任務(wù)生成器設(shè)計(jì)能更好模擬ARC任務(wù)分布的數(shù)據(jù)生成器。2.調(diào)整模型架構(gòu)使用更適合推理的架構(gòu)如關(guān)系網(wǎng)絡(luò)Relation Network、圖網(wǎng)絡(luò)。3.正則化使用Dropout、權(quán)重衰減等。4.嘗試MAML、Reptile等經(jīng)典元學(xué)習(xí)算法。成本無(wú)法降到極低水平。1. 算法計(jì)算復(fù)雜度高。2. 實(shí)現(xiàn)存在性能瓶頸如Python循環(huán)。3. 使用了不必要的重型依賴如未優(yōu)化的深度學(xué)習(xí)框架。1.性能剖析使用cProfile找出熱點(diǎn)函數(shù)。2.關(guān)鍵代碼用Cython/Numba重寫或使用numpy向量化。3.考慮編譯型語(yǔ)言對(duì)核心搜索算法用Rust/Go/C重寫可能帶來(lái)數(shù)量級(jí)提升。4.緩存中間結(jié)果。8. 總結(jié)與展望BDH-CQ以近乎象征性的成本在ARC-AGI基準(zhǔn)上取得進(jìn)展這一事件像一枚投入湖面的石子激起了關(guān)于AI發(fā)展路徑的層層漣漪。它有力地證明了在通往AGI的道路上“大力出奇跡”的縮放定律并非唯一選項(xiàng)精巧的算法設(shè)計(jì)與對(duì)智能本質(zhì)的深刻理解同樣至關(guān)重要。對(duì)于開(kāi)發(fā)者和研究者而言我們可以從以下幾個(gè)方面繼續(xù)探索深入理解ARC-AGI親自嘗試解決幾個(gè)ARC任務(wù)感受其中的挑戰(zhàn)。這能極大地提升你對(duì)“推理”和“泛化”的認(rèn)識(shí)。實(shí)驗(yàn)混合架構(gòu)不要害怕將經(jīng)典的符號(hào)AI技術(shù)與現(xiàn)代深度學(xué)習(xí)結(jié)合。嘗試設(shè)計(jì)一個(gè)神經(jīng)感知前端符號(hào)推理后端的小型系統(tǒng)。關(guān)注成本效率在你的下一個(gè)研究項(xiàng)目中將“每次推理的計(jì)算成本”作為一個(gè)報(bào)告指標(biāo)。這能促使你思考算法的實(shí)際可行性。參與社區(qū)ARC-AGI有一個(gè)活躍的研究社區(qū)。閱讀相關(guān)論文參與討論甚至向排行榜提交你的解決方案。AGI的旅程漫長(zhǎng)而曲折但像BDH-CQ這樣的工作提醒我們突破可能來(lái)自意想不到的方向而保持開(kāi)放的心態(tài)和對(duì)基本原理的追求將是引領(lǐng)我們前進(jìn)的明燈。