700億參數(shù)LLaMA2訓(xùn)練加速195% 開箱就能用從8到512卡全部支持

2023-09-05 16:33:08 編輯：闕珊巧來(lái)源：

導(dǎo)讀 LLaMA2訓(xùn)練微調(diào)推理，針對(duì)700億版本，訓(xùn)練加速195%，同時(shí)能基于云平臺(tái)實(shí)現(xiàn)無(wú)代碼訓(xùn)練有個(gè)性私有化模型，并一鍵部署。LLaMA2的預(yù)訓(xùn)練，預(yù)料...

LLaMA2訓(xùn)練微調(diào)推理，針對(duì)700億版本，訓(xùn)練加速195%，同時(shí)能基于云平臺(tái)實(shí)現(xiàn)無(wú)代碼訓(xùn)練有個(gè)性私有化模型，并一鍵部署。LLaMA2的預(yù)訓(xùn)練，預(yù)料大部分都來(lái)自于英文通用知識(shí)，如果僅僅只是使用微調(diào)，只能夠提升以及注入的領(lǐng)域知識(shí)我多語(yǔ)言能力也非常有限，并且也只能夠以私有化的形式保存下來(lái)。

針對(duì)這個(gè)問(wèn)題，推出以低成本預(yù)訓(xùn)練、繼續(xù)預(yù)訓(xùn)練以及微調(diào)的方式，對(duì)于大模型系列做相關(guān)的調(diào)整，結(jié)合高質(zhì)量私有化業(yè)務(wù)數(shù)據(jù)積累，能夠有效的幫助企業(yè)降低生產(chǎn)成本。Colossal-AI開源了針對(duì)LLaMA2的全流程方案，并且具備極高的可拓展性。從70億到700億的參數(shù)模型，以及從8卡到512卡都能夠保持更好的性能，在利用率方面也處于當(dāng)前行業(yè)當(dāng)中排名較靠前的地位。