站長(zhǎng)之家(ChinaZ.com)5月13日 消息:零一萬(wàn)物(01-AI)近日發(fā)布了其模型家族的新成員——Yi-1.5(6B、9B、34B),并宣布這些模型均采用 Apache2.0許可開源。Yi-1.5是 Yi 模型的升級(jí)版,它在編碼、數(shù)學(xué)、推理和指令遵循能力方面展現(xiàn)出更強(qiáng)的性能,同時(shí)保持了在語(yǔ)言理解、常識(shí)推理和閱讀理解方面的卓越能力。
主要特點(diǎn):
多種規(guī)模的模型:提供6B、9B 和34B 三種不同規(guī)模的模型,包括基礎(chǔ)版和聊天版。
預(yù)訓(xùn)練和微調(diào):基礎(chǔ)版在500B tokens 上進(jìn)行持續(xù)預(yù)訓(xùn)練,而 chat 版則在300萬(wàn)個(gè)樣本上進(jìn)行了微調(diào)。
性能卓越:Yi-1.534B 在基準(zhǔn)測(cè)試中幾乎與 Meta 的 Llama370B 相匹配,且整體效果超過(guò) Qwen1.5-72B。
評(píng)分突出:在 MMLU、HumanEval 和 AGIEval 等基準(zhǔn)測(cè)試中,34B 模型分別獲得了77.1、46.3和71.1的高分。
9B 模型表現(xiàn):在類似大小的開源模型中,Yi-1.59B 的表現(xiàn)最佳,與 Mixtral8x7B 相匹配。
開源可訪問(wèn):所有模型根據(jù) Apache2.0許可發(fā)布,并在 Hugging Face 平臺(tái)上開源。
上下文長(zhǎng)度:支持長(zhǎng)達(dá)4K 個(gè)標(biāo)記的上下文長(zhǎng)度。
模型性能:Yi-1.5在多個(gè)基準(zhǔn)測(cè)試中展現(xiàn)了其強(qiáng)大的性能,特別是在處理復(fù)雜任務(wù)時(shí)。
模型下載地址:https://huggingface.co/collections/01-ai/yi-15-2024-05-663f3ecab5f815a3eaca7ca8
(舉報(bào))