8 月 23 日消息，英偉達于 8 月 21 日發布博文，發布了 Mistral-NeMo-Minitron 8B 小語言 AI 模型，具備精度高、計算效率高等優點，可在 GPU 加速的數據中心、云和工作站上運行模型。
英偉達攜手 Mistral AI 上月發布開源 Mistral NeMo 12B 模型，在此基礎上英偉達再次推出更小的 Mistral-NeMo-Minitron 8B 模型，共 80 億個參數，可以在搭載英偉達 RTX 顯卡的工作站上運行。
英偉達表示通過寬度剪枝（width-pruning）Mistral NeMo 12B，并知識蒸餾（knowledge distillation）輕度重新訓練后獲得 Mistral-NeMo-Minitron 8B，相關成果發表在《Compact Language Models via Pruning and Knowledge Distillation》論文中。
剪枝通過去除對準確率貢獻最小的模型權重來縮小神經網絡。在 “蒸餾” 過程中，研究小組在一個小型數據集上重新訓練剪枝后的模型，以顯著提高通過剪枝過程而降低的準確率。
就其規模而言，Mistral-NeMo-Minitron 8B 在語言模型的九項流行基準測試中遙遙領先。這些基準涵蓋了各種任務，包括語言理解、常識推理、數學推理、總結、編碼和生成真實答案的能力。附上相關測試結果如下：
參考
Lightweight Champ: NVIDIA Releases Small Language Model With State-of-the-Art Accuracy
Mistral-NeMo-Minitron 8B Foundation Model Delivers Unparalleled Accuracy
Compact Language Models via Pruning and Knowledge Distillation
原創文章，作者：科技探索者，如若轉載，請注明出處：http://www.doinggoodmedia.com/article/675651.html
