零一万物大模子恶果初次发布太阳城娱乐娱乐城。

作家 | 王悦

裁剪 | 陈彩娴

11月6日，李开复带队创办的 AI 2.0 公司零一万物，开源发布了Yi系列模子，包含 34B 和 6B 两个版块。

令东谈主惊艳的是，从参数目和性能上来看，Yi-34B 相配于只用了不足 LLaMA2-70B一半、Falcon-180B五分之一的参数目，碾压 了LLaMA2-70B 和 Falcon-180B 等无边大尺寸模子。凭借这一阐扬，置身当今全国范围内开源最强基础模子之列。

凭证 Hugging Face 英文开源社区平台和 C-Eval 汉文评测的最新榜单，Yi-34B 预磨练模取得了多项 SOTA 国外最好性能认识招供，成为人人开源大模子「双料冠军」。这亦然迄今为止独一奏凯登顶 Hugging Face 人人开源模子名次榜的国产模子。

Hugging Face Open LLM Leaderboard (pretrained) 大模子名次榜（2023年11月5日）

AI 科技指摘获悉，「Yi 」系列大模子，定名来自「一」的拼音。「Yi 」中的「Y」荆棘倒置，奥秘形同汉字的「东谈主」，联结 AI 里的 i ，代表Human + AI ，强调以东谈主为本的精神，为东谈主类创造宏大的价值。

零一万物首创东谈主及CEO李开复博士示意：「零一万物顽强穷困人人第一梯队方向，从招的第一个东谈主，写的第一瞥kl代码，设计的第一个模子运转，就一直抱着成为‘World's No.1’的初志和决心。」

从「AI 1.0」迈向「AI 2.0」，李开复语言算数，一步步向当今迈进。

1

零一万物大模子 Yi 初次曝光

算作国产大模子， Yi-34B 不得不说的的上风之一即是更「懂」汉文。对比大模子标杆GPT-4，在CMMLU、E-Eval、Gaokao 三个主要的汉文认识上，Yi-34B 也具有扫数上风，简略更好地适配国内阛阓需求。

从更为全面的评估看，在人人大模子各项评测中最关节的 「MMLU」（Massive Multitask Language Understanding 大限制多任务语言鸠合）、BBH等反应模子轮廓才智的评测集上，Yi-34B 相似阐扬凸起，在通用才智、学问推理、阅读鸠合等多项认识评选中全部胜出，与 Hugging Face 评测高度一致。

各评测集得分：Yi 模子 v.s. 其他开源模子

在语言模子中，荆棘文窗口是大模子轮廓运算才智的关节认识之一，对于鸠合和生成与特定荆棘文干系的文本至关紧要，领有更长窗口的语言模子不错处理更丰富的学问库信息，生成更连贯、准确的文本。

在这一事件发生时，农民满腹疑惑，孤独地坐在土地上，面对空空如也的田地，他发出了这样的疑问：“我们只是在维持生活，为何如此艰难？”他的无奈与困惑引发了社会的广泛关注和热议，让人不禁反思，农民在自家农田中搭建的简易棚子，究竟触犯了哪些规定？这种强硬的执法方式，会不会使本就艰难的生活更加无法维系？根据深圳市的相关法规，所有的非法建筑都将被无情地拆除，即便是农民在自己的田地里建起的这个临时的存储棚。然而，这个果农的棚子被拆除，并没有接到任何的预警或者是劝告，使得这一执法行为的合理性和合法性备受质疑。

这次开源的 Yi-34B 模子，将发布人人最长、可支抓 200K 超长荆棘文窗口（context window）版块，不错处理约40万汉字超长文本输入。鸠合卓越 1000 页的 PDF 文档，让许多依赖于向量数据库构建外部学问库的场景，都不错用荆棘文窗口来进行替代。

比较之下，OpenAI 的 GPT-4 荆棘文窗口唯独 32K，翰墨处理量约 2.5 万字。本年三月，硅谷有名 AI 2.0 创业公司Anthropic 的 Claude2-100K 将荆棘文窗口扩张到了 100K 限制，零一万物顺利加倍，况兼是第一家将超长荆棘文窗口在开源社区盛开的大模子公司。

荆棘文窗口限制推行从蓄意、内存和通讯的角度存在各式挑战，零一万物能作念到这个进程也并非一蹴而就。受限于蓄意复杂度、数据完备度等问题，大多数发布的大型语言模子仅支抓几千 tokens 的荆棘文长度。

为了科罚这个规章，零一万物本事团队履行了一系列优化，包括：蓄意通讯相通、序列并行、通讯压缩等。通过这些才智增强，罢了了在大限制模子磨练中近 100 倍的才智提高。

其实，Yi 系列模子之是以能取得如斯亮眼的收获，背后的 AI Infra 是功不成没的，其通过「高精度」系统、弹性训和戮力训等全栈式科罚决策，确保磨练高效、安全地进行。

凭借坚强的 AI Infra 复旧，零一万物团队能罢了超越行业水平的磨练效果，Yi-34B 模子磨练资本实测下跌40%，本色磨练完成达标时候与接洽的时候错误不到一小时，进一步模拟上到千亿限制磨练资本可下跌多达 50%。

为止当今，零一万物 Infra 才智罢了故障接洽准确率卓越90%，故障提前发现率达到 99.9%，不需要东谈主工参与的故障自愈率卓越 95%，

无论是东谈主前留心的收获照旧背后基础才智的攻坚，也都离不开零一万物潜心数月炼就的大模子 「科学训模」方法论。

大模子效果依赖于更多、更高质料的数据，零一万物在数据处理管线上可谓「不吝资本」。

数据处理管线和加大限制接洽的磨练才智缔造，把以往的大模子磨练碰运谈的「真金不怕火丹」经过变得相配精良和科学化，不仅保证了当今发布 Yi-34B、Yi-6B 模子的高性能，也为未来更大限制模子的磨练压缩了时候和资本，

经过几个月无数的建模和实验，零一万物自研出一套「限制化磨练实验平台」，用来疏通模子的设计和优化。数据配比、超参搜索、模子结构实验都不错在小限制实验平台上进行，对 34B 模子每个节点的接洽错误都不错阻抑在0.5%以内。

在 Yi 开源模子的人人首发日，零一万物 CEO 李开复也布告，在完成 Yi-34B 预磨练的同期，仍是有顷启动下一个千亿参数模子的磨练。「零一万物的数据处理管线、算法辩论、实验平台、GPU 资源和 AI Infra 都仍是准备好，咱们的动作会越来越快」。

2

从「AI 1.0」到「AI 2.0」

零一万物的初次恶果公布，体现的不仅是本事的卓越，还有贸易的可能性。

本年 3 月，李开复作了一场对于 AI 从 1.0 时间跨到 2.0 时间的演讲。随后，零一万物在李开复所设想的 AI 2.0 框架下配置，吸收了前百度安全副总裁马杰、前微软副总裁祁瑞峰等等本事大咖，声威豪华，引起业内的鄙俚关注。

往时十年，深度学习催生了一批优秀的 AI 公司，随后经过多年的发展，在往时两年曾插足顷刻的低谷期，一度传出 AI 泡沫、AI 穷冬的说法。其中的根源就在于：上一代 AI 公司尽管基于簇新的本事驻足，但在贸易化上的门径却比预期慢。

而从旧年 8 月 Stable Diffusion 掀翻 AIGC 上升以来，加上旧年11月底 ChatGPT 发布，人人 AI 须臾看到了新的契机。这个新的机遇，被李开复称为「AI 2.0」。

ChatGPT 之后，AI 时间的卓越在本事上体现为通用东谈主工智能（AGI）雏形初显，在贸易期骗上则被李开复描写为平台级的趋势爆发。

所谓「平台」，包含一个大的方向，即要大幅裁汰开采 AI 期骗的资本。如同电与电网的分别，电是一项伟大的发明，但若是莫得电网，就不会出现微波炉、电烤箱、电动车等新的发明。换言之，AI 2.0 之于 AI 1.0 的分别，就在于将 AI 本事变成平台，将定制变成通用，将点变成面。

往时十年的贸易本质考证了 AI 1.0 时间的瓶颈。在 AI 1.0 时间，数据越多、收尾越好，但同期也因为需要无数的标注数据，资本宏大。此外，AI 1.0 时间的期骗在各个范围是相互割裂的，出生了一连串的「孤岛期骗」，无法酿成有用的平台。

但 AI 2.0 时间的本事基石是自监督，不错让 AI 模子不进行数据标注也能学习。诚然相似需要将无数的、跨范围的数据拿来学习，但学习后酿成一个基础模子（即大模子）后再去作念学问的迁徙，AI 即相配于一个全国模子。经过多年的磨练与积贮，基础模子更教训，基于基础模子再作念平台期骗，即可浮松 AI 期骗的孤岛表象，边缘效益有增无已。

换言之，AI 2.0 时间有三大上风：一是减少东谈主工标注；二是模子限制大，具备全国学问；三是简略以极低的资本对基础模子进行微调磨练，即可合适不同范围的任务。是以，在 AI 2.0 时间，每个范围都有契机将原有的期骗重构一遍，用更短的时候坐褥出更高质料的数字内容，而且千东谈主千面、精确优化信息流，作念出更伟大的贸易模式。

一方面，裁汰磨练资本是减少 AI 期骗开采资本、催生一系列爆款期骗的前提；另一方面，长文本处理是贸易期骗的一谈拦路虎。若是长文本处理的本事瓶颈能突破，许多更高难度的期骗也会被逐一破解，如处理超长篇幅的法务协议、交叉对比多篇学术论文、基于长篇脚本进行变装璜演、通过多篇财报进行阛阓分析等等。

因此，「长文本处理」鄙人半年景为大模子赛谈的兵家必争之地。从 Anthropic AI 对 OpenAI 发起挑战后，国内多家大模子厂商也不竭推出长文本处理里程碑。如月之暗面的 Kimi Chat 支抓 20 万字输入，百川智能的 Baichuan2-192k 支抓 35 万字输入，零一万物的 Yi-34B 马上扩张到 40 万字。

这次零一万物团队开源大模子 Yi-34B 与 Yi-6B，在长文才智域不错作念到最长 200k 荆棘文窗口、40 万字的文本处理，也与李开复此前谈的 AI 2.0 念念想相一致。同期，据零一万物先容，他们还依托基础的蓄意法子与算法优化等 Infra 才智，将磨练资本下跌了 40%。

上传到 Hugging Face 不外两天后，Yi-34B 的下载量就卓越了 1000 次，取得了接近 150 个点赞。

长文本处理的本事突破，不仅是名义上对于 Token 数的数据变更，更紧要的是其体现了东谈主工智能范围举座对 AI 2.0 时间所蕴含的贸易后劲的认同与乐不雅。恰是因为对大模子为代表的新一代 AI 本事的信心，才有如斯多优秀的本事东谈主才涌入该赛谈，在极短的时候内快速突破了长文本等本事问题的局限。

据 AI 科技指摘了解，如今长文本处理已沉着被温雅的 AI 本事东谈主才攻破，当今业内流行的本事方法包括：最浅陋焦急的堆显存，或滑动窗口、降采样等，或在 Attention-mask 中作念动态内插。这些方法的效果很好，弱点是蓄意支拨大。但在各大云蓄意厂商的加抓下，算力壁垒也被沉着打了下来。

不错看见，AI 插足一个新的时间毫无疑问已是行业共鸣。AI 2.0 代表一个新的贸易愿景，谈阻路长，玩家无边，但其后者零一万物也已成为其中最有后劲的团队之一，期待零一万物接下来的阐扬。

OpenAI 首届开采者大会召开在即，AI 科技指摘抓续关注，迎接相似关注的一又友添加作家微信s1060788086一王人交流。

更多内容，点击下方关注：

皇冠体育hg86a

未经「AI科技指摘」授权，严禁以任何风景在网页、论坛、社区进行转载！

公众号转载请先在「AI科技指摘」后台留言取得授权，转载时需标注着手并插入本公众号柬帖。