「Vibe Coding」於綠地專案的實證：四大語言模型在 Python 自動程式碼生成的表現比較

前言

生成式人工智慧的突破讓程式開發進入全新階段，使用者只需以母語描述需求，AI 即可產出完整程式碼，這種做法被稱為 vibe coding。自 Andrej Karpathy 以「給予 vibes」形容此概念以來，越來越多非程式背景的使用者投入此行列，甚至有企業以此為由裁員，卻在實務上遭遇 AI 產出品質不穩的問題。

研究動機與範疇

本研究聚焦於 greenfield（全新專案）任務，因為此類任務不受既有系統限制，較能測試 AI 完全自動化產碼的可行性。

測試平台與模型

測評環境採用本地部署的 Ollama 平台，在高效能運算叢集上執行四款大型語言模型：Phi4、Gemma、Mistral 與 Qwen_coder。所有測試皆限定使用 Python，並以自訂的評分腳本檢查程式碼是否能正確執行且符合題目需求。

評分機制

評分採取嚴格的「全對」原則：若程式在執行時發生例外，即使功能部份正確，也不計分。為了檢測模型在錯誤修正上的能力，我們加入了重試機制，允許模型在收到執行失敗訊息後再次產生修正程式碼。

主要結果

測試結果如表一所示，Phi4 在原始與人工校正後的通過率分別達到 86.7% 與 92.9%，表現最為穩定。Gemma 與 Mistral 的通過率約在 73% 左右，Qwen_coder 則在原始測試中僅 60%，但經過人工調整後提升至 86.7%。值得注意的是，模型在高抽象層級（第 3 級）時的錯誤率顯著上升，顯示過度簡化的自然語言指令仍難以保證程式正確性。

與既有方案的比較

相較於傳統的 AI 輔助編碼（human‑in‑the‑loop），vibe coding 能大幅降低語法學習門檻，提升開發效率；然而在安全性與可維護性上仍不及人工審查。現行的 FeatBench 基準僅聚焦於功能實作，未涵蓋多語言或系統整合的測試，本研究的測評框架則提供了更廣泛的綠地任務視角。

未來影響與預測

從產業角度看，vibe coding 若能在安全與品質上取得突破，將可能改寫軟體外包與教育市場的商業模式，促使更多非技術背景的使用者參與開發。然而，隨著模型產生的程式碼潛在漏洞增加，企業在採用前必須建立嚴格的審核與風險管控流程。長遠而言，開源治理機構可能會針對 AI 生成程式碼制定新標準，並推動「可驗證 AI 產碼」的技術路線。

結論

本研究證實，現有大型語言模型在綠地任務上仍存在顯著差異，特別是在高抽象指令下的可靠度不足。要讓 vibe coding 成為真正可商業化的開發方式，必須同時解決安全、維護性與人機協作的挑戰。

# 範例 Prompt（第 2 級）
"請寫一個 Python 程式，讀取 CSV 檔並計算每列的總和。"

# 模型產出的程式碼範例
import csv

def sum_rows(file_path):
 with open(file_path, newline='') as f:
 reader = csv.reader(f)
 for row in reader:
 numbers = map(float, row)
 print(sum(numbers))

sum_rows('data.csv')

延伸閱讀

• 評估大型音訊語言模型（LALM）的文字先驗效應與音訊依賴性
• UniSonate：以 Dynamic Token Injection 與 Multimodal Diffusion Transformer 統一語音、音樂與音效生成
• ONOTE：為全模態（Omnimodal LLM）記譜處理建立的確定性評測基準

代理人點評

從代理人的觀點看，vibe coding 的最大賣點是把程式語法的門檻降到零，讓非技術人士也能直接「說」出需求。但實測顯示，模型在抽象度高的指令上仍容易產出錯誤或過度實作，安全與維護性問題不容忽視。若未配合嚴格的人為審核機制，企業在採用此技術時可能面臨資安風險與技術債累積。未來的發展方向應聚焦於提升模型的可驗證性、錯誤自我修正能力，以及在多語言環境下的穩定表現，才能讓 vibe coding 從實驗走向產業化。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。