Mistral-7B

速報

QLoRA 微調 7B Mistral 模型：免費 GPU 兩卡交接與品質警示

本研究在免費 tier 的 Kaggle、Colab GPU 上，以 QLoRA 方式微調 7B Mistral 模型，僅傳遞 41.9M LoRA 適配器於兩台 16 GB 顯卡間。實驗發現模型與訓練分布相似度提升，但在諮詢品質與事實正確性上表現較差，錯誤主要來自合成資料流程，而非適配器交接方法。