超大规模智能模型“悟道2.0”发布,参数规模达1.75万亿
6月1日,北京智源人工智能研究院在2021北京智源大会上发布超大规模智能模型“悟道2.0”。据悉,其参数规模达1.75万亿,是AI模型GPT-3的10倍,打破之前由Google Switch Transformer预训练模型创造的1.6万亿参数记录,是目前中国首个、全球最大的万亿级模型。
智源研究院理事长张宏江表示,目前,“大模型+大算力”是迈向通用人工智能的一条可行路径。大模型对于人工智能发展具有重大意义,未来将基于大模型形成类似电网的变革性AI产业基础设施。AI大模型相当于“发电厂”,将数据,也就是“燃料”,转换为智能能力,驱动各种AI应用。如果将大模型和所有的AI应用相连接,为用户提供统一的智能能力,全社会将形成一个智能能力生产和使用的网络,即“智网”。大模型就是下一个AI的基础平台,是未来AI发展的战略基础设施。
智源研究院学术副院长唐杰教授介绍说,“悟道”超大模型智能模型旨在打造数据和知识双轮驱动的认知智能,让机器能够像人一样思考,实现超越图灵测试的机器认知能力。“悟道”团队在大规模预训练模型研发上做了很多基础性工作,形成自主的超大规模智能模型技术创新体系,拥有从预训练理论技术到预训练工具,再到预训练模型构建和最终模型测评的完整链条,从技术上是完整成熟的。“悟道2.0”实现了“大而聪明”,具备大规模、高精度、高效率的特点。
据了解,“悟道”团队开创性的研发FastMoE技术,是打破国外技术瓶颈,实现“万亿模型”基石的关键。其研究并开源的FastMoE是首个支持PyTorch框架的MoE系统具有简单易用、灵活、高性能等特点,并且支持大规模并行训练。而且,支持Switch、GShard等复杂均衡策略,以及不同专家不同模型,为万亿模型实现方案补上最后⼀块短板。
科技日报记者 华凌
您可能也感兴趣:
为您推荐
冰雪运动的保险迎来“出圈”契机 产品开发、销售难度都不小
金融标准化“十四五”发展规划发布 指明保险业发展方向
“隔离险”大火 银保监会强调保险公司不得无理拒赔
排行
最近更新
- 智慧春运,助力返程之路
- 2021年厄尔尼诺相关概念股有哪些,厄尔尼诺概念股一览
- 商业地产上市公司股票有哪些?相关商业地产龙头一览
- 饲料行业上市公司股票有哪些?
- 股票300071现在价格多少?华谊嘉信300071现在什么价?
- 摆钟工作原理
- gsm是什么网络
- 称重传感器原理
- 石英管液位计的原理及特点
- 逻辑代数的基本公式和常用公式
- 校园视频监控系统解决方案
- 完美积分电路设计之我见
- 欣奕母婴:聚焦剖腹产宝妈,挖掘母婴新市场!
- 监管要求下调服务费,美团市值一日蒸发2000亿港元
- 老人做理疗被烫伤 提醒:保健设备使用需当心
- 机构:44家上市物企增值服务收入同比增长79.9% 美居服务增长迅速
- 渣打信用卡被抛弃?某大行员工:就没把他们当竞争对手
- “中医真神奇” 针灸推拿成冬奥村“明星项目”
- 因编制虚假报表、资料,民盛保险代理被罚12万
- 悉成金融投资研究中心主任首席投资官张云虎:构建金融科技生...
- 简康:一起看过了来,摆脱亚健康,这个品牌有“妙方”
- 富途证券:一年估值翻6倍,英国最大独角兽Revolut如何打造超...
- 银行理财产品能否提前赎回?提前赎回要支付赎回费用吗?
- 应时而生,全新上市 | IFENBEI室内隔音黑科技
- 浙江省创新型城市建设成效显著 6地进入国家创新型城市前50强
- 微信零钱能否免费提现?有哪些免费提现小技巧?
- 后系统革命!业之峰打造“好管家+类产业工人”
- 支付宝相互保理赔成功后何时到账?平台审核需要多久?
- 中华骄子•共向未来——著名艺术家李智泉致敬冬奥
- 辽宁加快构建“一圈一带两区”区域协调发展 加快实现全方位振兴