Skip to content
Menu
ld乐动体育官方网站|中国有限公司

ld乐动体育官方网站|中国有限公司(以下简称"ld乐动体育官方网站|中国有限公司")是一家总部位于中国北京的高新技术企业,成立于1995年,注册资本6116.72万元。ld乐动体育官方网站|中国有限公司在通信领域为客户提供网络服务和解决方案,是专业的通信服务集成商。ld乐动体育官方网站|中国有限公司的业务涵盖通信网络服务、信息应用集成、增值运营服务等领域。项目遍及全国及海外。我们以发展民族信息产业,推动技术应用为宗旨,为政府、银行、事业及企业级用户,提供从战略性规划到具体实施所需要的全面的专业技术解决方案。为进一步跟进国际轮胎发展趋势,提高民族轮胎品牌的竞争力,于2013年9月,投资15亿元新建工厂——(占地700余亩),引进来自美国、德国、意大利、荷兰、法国等多国的轮胎生产技术和轮胎生产设备,具备年产1200万套高性能半钢子午线轮胎生产线,作为集团生产高品质、高规格、高标准轮胎产品的制造基地创始于1988年的(EnesisGroup)是印度尼西亚一家知名的日化用品及功能性饮品生产商,旗下产品清酷凉茶热销于香港及华南地区。

  • 示例页面
ld乐动体育官方网站|中国有限公司

ld乐动体育官方网站|中国有限公司(以下简称"ld乐动体育官方网站|中国有限公司")是一家总部位于中国北京的高新技术企业,成立于1995年,注册资本6116.72万元。ld乐动体育官方网站|中国有限公司在通信领域为客户提供网络服务和解决方案,是专业的通信服务集成商。ld乐动体育官方网站|中国有限公司的业务涵盖通信网络服务、信息应用集成、增值运营服务等领域。项目遍及全国及海外。我们以发展民族信息产业,推动技术应用为宗旨,为政府、银行、事业及企业级用户,提供从战略性规划到具体实施所需要的全面的专业技术解决方案。为进一步跟进国际轮胎发展趋势,提高民族轮胎品牌的竞争力,于2013年9月,投资15亿元新建工厂——(占地700余亩),引进来自美国、德国、意大利、荷兰、法国等多国的轮胎生产技术和轮胎生产设备,具备年产1200万套高性能半钢子午线轮胎生产线,作为集团生产高品质、高规格、高标准轮胎产品的制造基地创始于1988年的(EnesisGroup)是印度尼西亚一家知名的日化用品及功能性饮品生产商,旗下产品清酷凉茶热销于香港及华南地区。

ld乐动体育官方网站|中国有限公司-千亿参数大模型免费在线畅玩!无需注册,零门槛体验OPT-175B

By admin on 2022年9月9日2022年9月9日

机器之心发布

机器之心编辑部

零代码体验AI大模型,打开网页就能玩。

提起大模型,除了各种惊艳的性能表现,还伴随着高昂的硬件要求和运行成本,将绝大多数 AI社区成员都拒之门外。

得益于开源社区的蓬勃发展,现在情况大有不同:

无需注册,就可以免费白嫖1750 亿参数的 OPT 模型!

还不快打开下方链接,自己上手在线体验一下?

云服务体验地址:https://service.colossalai.org/

快速体验

基于 1750 亿参数 OPT 大模型,该网站支持多种文本生成任务,包括事实问答、聊天机器人、翻译、文章创作等。

只需点击对应的子任务名,如 FAQ(事实问答),输入需要的对应内容,点击右下方的蓝色生成按钮,稍等就能得到结果。

背后技术

OPT-175B

要想了解刚刚体验的大模型推理的技术原理,首先,让我们先回顾一下刚才所用到的大模型。

OPT 的全称为 Open PretrainedTransformer,是 Meta(Facebook) AI 实验室发布的对标 GPT-3 的大规模 Transformer 模型,共有 1750 亿个参数。

与 OpenAI 尚未公开模型权重的GPT-3 相比,Meta AI 慷慨地开源了所有的代码以及模型权重,极大推动了 AI 大模型落地与应用,每一位开发者都能以此为基础开发个性化的下游任务。

然而 GPT-3、OPT-175B、AlphaFold 等前沿 AI 大模型远超现有硬件容纳能力,训练和部署推理服务都必须使用复杂专业的分布式技术。现有系统大都存在上手门槛高、运行效率不高、通用性差、部署困难、缺乏维护等问题。

面对这一痛点,面向大模型时代的通用深度学习系统Colossal-AI,仅需几行代码,便能高效快速部署 AI 大模型训练和推理,促进 AI 大模型低成本应用和落地。

使用开源 Colossal-AI 快速部署 AI 大模型云服务

OPT 云服务

此次 OPT-175B 超大模型部署的快速上线,依托AI 大模型开源解决方案 Colossal-AI 生态,只需少量改动,即可完成大模型云端并行部署。

从无法运行到快速启动:

运行超大模型首当其冲的问题是单个 GPU 显存无法容纳巨量的模型参数,而推理问题不仅仅要考虑吞吐量还要考虑时延,因此使用并行来解决这个问题是一种直观的思路,借助 Colossal-AI 生态可以轻松将一个单机模型转换成并行运行。Colossal-AI生态提供众多可以参考应用实例,如 GPT、OPT、BERT、PaLM、AlphaFold 等。

获得并行 OPT 模型之后,下一步要处理的是参数加载。Colossal-AI 生态也提供了并行模型参数加载的解决方案,用户只需要参考样例简单提供参数名映射关系即可完成模型参数的加载,最后将模型投入到 Colossal-AI 生态提供的推理引擎中,设置相应的超参数。截至此刻,大模型OPT 主干网络的推理服务就可以上线并能输出有意义的结果。

从成功启动到高效部署:

在跨越了内存墙问题、并行参数加载等重重阻碍,成功运行了并行主干网络后,为了进一步提高推理性能,Colossal-AI 还提供了多个面向生成式任务的优化,可实现数十倍推理吞吐量的提升。

由于 OPT 面向的是生成式任务,而生成式任务需要不断循环模型的输出结果。这使得推理中常见的 batching 策略无法直接应用,而单 batch 运行效率低下。此外,在生成阶段还存在大量的重复计算。

为了全面释放生成式任务运行中高性能硬件的潜力,此次推理部署增加了 leftpadding 技术使得 batching 成为可能,还增加了past cache 技术来消除在生成阶段的重复计算问题,以及引入 bucket batching 技术减少无意义的计算。

先来讲讲为什么生成式任务无法直接使用常见的 batching 方法。如下图所示,由于输入语句的长度通常参差不齐,而且多数语言的书写习惯都是从左至右,如果用常规的 right padding,那么对于较短的句子就难以生成有意义的结果或者需要复杂的处理才能生成结果,继而导致无法使用 batching 方法。而当我们使用 left padding 对句子进行填充时,每一个句子的生成侧(右侧)都是对齐的,可以同时生成新的单词。

Right padding 不适合生成式任务

Left padding

由于模型的一次推理仅能生成一个新词,于是在生成式任务中每生成一个新词后都会加到输入序列的尾部再次投入模型进行计算,生成下一个新的单词,由于每一次推理都需要针对新的完整序列进行计算,就会存在大量重复计算的问题,尤其是对于占绝大多数计算量的 Linear 层来说。因此 Colossal-AI 开发人员在模型内部加入 past cache 技术,会暂存同一次生成任务中 Linear 层的输出结果,每次只有新的一个单词会进入 Linear 层进行计算,并把该词的计算结果加入到暂存结果中避免重复计算。Pastcache 技术可以极大的降低实际计算量。

生成式任务计算过程。Past cache 将同一次任务的 Linear 层计算结果保留,新的一次推理只需要计算新增的一个单词,与 cache 拼接进入后续计算。

此外,Colossal-AI 开发人员注意到不同于其他任务,生成式任务计算量的参差不齐,不仅仅来自于输入句长的不同,还来自于输出目标句长的不同,且输出句长和输出目标句长都将在一个较大的范围内取值。简单的 batching 方案将两者相差很大的推理放在同一个批次中将造成大量冗余计算,因此Colossal-AI 开发人员加入了 bucket batching 技术,即按照输入句长以及输出目标句长进行桶排序,同一个桶内的序列作为一个 batching,极大的降低了冗余计算量。

Bucket batching。将具有相近输入与输出长度的任务放在同一个批次。

面向大模型时代的 Colossal-AI

Colossal-AI 不仅针对 AI大模型提供了诸多优秀的解决方案,更为重要的是完全开源!

每一位开发者都可以基于它低成本训练自己的大模型,并部署为云服务。例如,在 1 张 10GB 的 RTX 3080 上,便可训练 120 亿参数的模型,相比原生 PyTorch 可提升 120 倍的模型容量。

Colossal-AI 自开源以来便广受关注,已经多次在 GitHub 及 Papers With Code 热榜位列世界第一,相关解决方案已成功在自动驾驶、云计算、零售、医药、芯片等行业知名厂商落地应用,可快速高效完成 AI 大模型的云服务部署。

Colossal-AI 团队近期还连续入选和受邀全球超级计算机大会、国际数据科学会议、世界人工智能大会、亚马逊云科技中国峰会等多项国际专业盛会,并发表主题演讲,展示不断革新的高性能计算与人工智能前沿发展,及其在全面推动 AI 大模型民主化中的创新实践,敬请关注!

项目开源地址:https://github.com/hpcaitech/ColossalAI

云服务体验地址:https://service.colossalai.org/

参考链接:

https://arxiv.org/abs/2205.01068

Home

https://medium.com/@yangyou_berkeley/using-state-of-the-art-ai-models-for-free-try-opt-175b-on-your-cellphone-and-laptop-7d645f535982

更多精彩报道,尽在https://helloluang.com

Category: ld乐动体育官方网站|中国有限公司

文章导航

ld乐动体育官方网站|中国有限公司-单场8扑救!大英国门一打利物浦就疯 克洛普傻了
ld乐动体育官方网站|中国有限公司-迪士尼前CEO助攻马斯克:推特上确实有很多虚假账号

Related Posts

ld乐动体育官方网站|中国有限公司-中国男篮再度开启欧洲化进程

1月 31, 2023
Read More

ld乐动体育官方网站|中国有限公司-克莱和布克斗嘴时振振有词:我有四个戒指 混账东西

10月 27, 2022
Read More

ld乐动体育官方网站|中国有限公司-向数据中心GPU领域进军,英特尔推出数据中心GPU Flex系列

8月 29, 2022
Read More

发表回复 取消回复

您的电子邮箱地址不会被公开。 必填项已用*标注

近期文章

  • ld乐动体育官方网站|中国有限公司-意媒:亚特兰大为德米拉尔要价至少1500万欧,国米需先出售什克
  • ld乐动体育官方网站|中国有限公司-不卖了!卡莱尔亲承内线神塔不会被交易 曾引起湖人兴趣
  • ld乐动体育官方网站|中国有限公司-中国男篮再度开启欧洲化进程
  • ld乐动体育官方网站|中国有限公司-郭晶晶:不会让孩子练跳水,我没读太多书,希望孩子能上好学!
  • ld乐动体育官方网站|中国有限公司-辛巴:直播间吹牛,自称只要迪丽热巴点头,自己立马送出60个亿

近期评论

  1. 一位WordPress评论者发表在世界,您好!

归档

  • 2023年1月
  • 2022年12月
  • 2022年11月
  • 2022年10月
  • 2022年9月
  • 2022年8月

分类

  • ld乐动体育官方网站|中国有限公司
©2023 ld乐动体育官方网站|中国有限公司 | WordPress Theme by Superb WordPress Themes