微软让训练万亿参数AI模型的GPU需求从4000个减少到800个

微软让训练万亿参数AI模型的GPU需求从4000个减少到800个

微软今天发布了DeepSpeed库的更新版本,该库引入了一种新方法来训练包含数万亿个参数的AI模型,这种模型内部的变量可为预测提供依据。微软称这种技术称为3D并行性,可以适应各种的工作负载需求,特别是为功耗大的超大型模型平衡效率。

具有数十亿个参数的单个大型AI模型在一系列具有挑战性的领域中取得了长足的进步。研究表明它们之所以表现出色,是因为它们可以理解语言、语法、知识、概念和上下文的细微差别,使他们能够总结演讲,在实时游戏聊天中过滤不合适的话语,解析复杂的法律文档,甚至可以通过搜索GitHub生成代码。

为此,李胜华多次与小区、“快意”电梯厂家和奥立公司沟通协调,并于8月4日带队来到万恒城市花园C2栋11层顶楼机房核实。当晚,“快意”电梯厂家再次派出技术骨干进场排查修复。

马海者婆婆的回复还算是客气的。有一家人,马箫箫提着礼物上门劝了三次,第一次,那家人客气地拒绝了;第二次,他们恶狠狠地冲马箫箫吼,“你怎么听不懂人话,不让出去就是不出去!”第三次,索性大门紧闭,假装不在家。

“女儿的命”,驻村扶贫工作者经常听到这话。了解村情民情后,他们也就知道了“女儿的命”的辛酸含义——

业主黄先生告诉《法治日报》记者,他家居住楼层较低,每天坚持走楼梯,但住在高层的,电梯坏了就很麻烦。11楼一对八旬夫妇晚上散步回来刚好碰上电梯故障,苦苦等了好几个小时才回到家。

张宗玺是甘肃省东乡族自治县荒山村驻村第一书记,也是民企碧桂园驻东乡帮扶团队的成员。2018年,张宗玺刚驻村时,压根儿见不到贫困户的妇女。碧桂园帮扶办起扶贫车间,但招工却遇到难题,很多岗位适合女工,但就是招不来。

7月6日,肖永东主动请假报名参与防汛,他说:“孩子这次肯定是要上堤的,我要和儿子在一起战斗。”作为班组里年龄最小的成员,肖青却成了父亲的“教官”,传授巡查经验和注意事项。虽然身边大多是长辈,肖青却并没有放松要求。在他看来,堤上的所有人都是战友,要求必须严格。

“这根本就是一个没有诚意的承诺,换电梯也成为一句空话。”对此,王先生认为,一部合格电梯的使用寿命是10年至20年,靠派人守护一个月来衡量,就像让重症病人多坚持几天打强心针的意思一样。

2017年底,马箫箫回舀水村探亲,上童时玩伴家串门时,没想到嫁为人妇的玩伴吃饭还是不能上桌,马箫箫很震惊。小时候天天疯在一起的玩伴成了“熟悉的陌生人”,和她仿佛生活在两个世界。玩伴羡慕又感伤地告诉马箫箫,要是小时候也能上学,就不会像现在这样了。

50岁的杨新军是一名党员,他和26岁的儿子杨阳一起,生平第一次上堤值守。送他们上大堤的,是74岁的杨明元。

并肩战斗后儿子有了新感受

“使用过程中,出现太多次故障了,业主们换电梯的意愿很强烈。”王秀荣称,至于为何C2栋电梯业主筹集的钱款打入前物业经理苏淑容(电梯安装完不久即离职)的私人账户且没有发票,王秀荣表示她当时还没有来该小区,不清楚具体的运作流程,也找不到相关资料。

8月6日下午,海口市市场监督管理局特种设备安全监察科科长李胜华在接受《法治日报》记者采访时称:“问题电梯事件经媒体公开报道后引发社会关注,省、市两级市场监管局高度重视,迅速启动调查工作。”

C2栋业主还反映,在维权过程中,他们找到的物业公司和奥立公司签订的合同显示,该电梯购买、安装共花费19.99万元。经网上查询和向电梯厂家询问,所购电梯竟然比市场价贵了六七万元,尤其是电梯从广东东莞运到海口,仅运输及安装费就高达5.6万元。

张宗玺连“天”字还没说完,那个贫困户家的媳妇怯怯地笑了笑,转身就回屋了。

7月6日,得知社区在招募防汛人员,杨明元主动请缨要求上堤,但因为身体原因被劝回。一家人在吃晚饭时,杨明元在餐桌上要求自己的儿子和孙子报名。谁能想到,就在他开口前,这对父子就已经不约而同报了名。

与父亲共同防汛的事迹打动了许多人

父子俩第一次组队巡堤

对世世代代视为理所当然的“女儿的命”,也有一些妇女抗争过,但大多以失败告终。

惠民电梯缘何成了“闹心电梯”?《法治日报》记者实地调查发现,财政补贴为老旧住宅小区更换电梯本是一件便民惠民工程,但在电梯招投标、安装维保等环节问题颇多,加上监管缺位,给业主带来无穷烦恼。

驻村几个月后,和一贫困户的男主人成了熟人,张宗玺走访时才“获准”可让媳妇出来,聊一聊扶贫车间招工的事。

网友纷纷为这对“父子兵”点赞

有一次,一个父亲要把已考上高中的女儿嫁掉。面对上门劝阻的周生峰,他振振有词地说:“谁叫她是女儿的命呢?”

按照安排,汪佳琦值夜班,父亲值白班。汪佳琦说,每次出门上堤,3岁的女儿都要问“爸爸去哪里”。他的的回答则是“乖乖睡一觉,醒了就会看到爸爸了”。汪佳琦说,自己做了父亲才真的能感受到父亲当年的伟大和牺牲精神,“为了守卫家园,我们都愿意做出任何牺牲”。

●“女儿的命”不能注定就是东乡女儿的命运,脱贫攻坚挑战“千年穷”,也要改变“女儿的命”。随着东乡的山沟沟里建起一个个扶贫车间,东乡女儿改变“女儿的命”,时候到了

那么,故障频出的C2栋电梯是如何通过监督检验和年检的?海南省锅检所回应称,其对万恒城市花园小区C2栋电梯的监督检验和定期检验,是依据特种设备安全技术规范TSG T7001-2009《电梯监督检验和定期检验规则——曳引与强制驱动电梯》进行,并在检验合格后出具检验报告,检验结论符合电梯当时安全状况。

甚至妇女也变成“女儿的命”的“帮凶”。很多妇女更喜欢儿子,却不待见女儿,眼睁睁看着女儿重复自己的命。熬成婆婆了,对待媳妇也像马海者的婆婆一样。

村干部告诉张宗玺,在东乡农村,传统上妇女很难见外人,更别提和外人说话了。家里来了客人,女性是不能上桌的,吃饭只能躲在厨房或者偏房里。

“女儿的命”不能注定就是东乡女儿的命运,脱贫攻坚挑战“千年穷”,也要改变“女儿的命”。随着东乡的山沟沟里建起一个个扶贫车间,东乡女儿改变“女儿的命”,时候到了。

“为保障电梯安全运行,我们采取了一系列保障措施。”李胜华说,首先便是安装告知程序,由于不是行政审批,只需电梯公司提供电梯出厂合格证、编号、安装地点、施工资质等资料,由海口市市场监督管理局录入监察系统。其次是电梯安装后的现场监督检验,每年定期年检,均由海南省锅炉压力容器与特种设备检验所(以下简称海南省锅检所)负责。

“90后”防汛老兵给爸当教官

“12日晚,我和父亲第一次组队巡堤,我们很自豪!”虽然一夜未睡,34岁的汪巍仍然非常兴奋,他是一名共产党员,目前在一家企业工作。56岁的父亲汪正右曾经参加过1998年的抗洪。

5年前,习近平总书记在全球妇女峰会上强调,中国将更加积极贯彻男女平等基本国策,发挥妇女“半边天”作用,支持妇女建功立业、实现人生理想和梦想

马海者也想去,可她婆婆却说“没必要,她在家挺好的”。她只能在厨房叹气。

马海者只能认命,和其他东乡妇女一样,日复一日围着灶台、地头转。

杨明元是一位退休村支书,1998年抗洪时,他带头上堤防汛。

这姑娘叫马箫箫,是一个幸运的东乡女儿。十来岁她就随父母从家乡舀水村搬到兰州,一路读书上了大学,有了工作。

走访之前,张宗玺精心准备了一箩筐的话,为的就是劝说贫困妇女走出家门,到扶贫车间务工。没料到一句话都没说完,张宗玺为此自责了很长一段时间。

绣花是东乡女儿的传统绝活。世世代代难出门的东乡女,在炕头刺绣,一针一线绣着对美好生活的希望,但贫困依旧。

增强的DeepSpeed利用三种技术来实现“万亿级”模型训练:数据并行训练、模型并行训练和管线并行训练。

村干部安慰张宗玺,东乡的妇女世世代代都是这样过来的。

在东乡农村,许多女性小时候受教育的机会很少;到了十几岁就早早嫁人,彩礼作为哥哥或弟弟娶媳妇的本钱;做了别人的媳妇之后,在家里干得多、操心多,地位却很低,见不了外人,家里也说不上话;成了四五个孩子的母亲之后,又围着孩子们转,一辈子被牢牢绑在家务和黄土地上。

“电梯由成千上百个部件拼装而成,偶尔发生故障在所难免。”海南椰达律师事务所副主任崔开杰表示,万恒城市花园小区C2栋电梯安装时间不长,频繁出现故障,且多次重复报修,这显然是非正常现象,电梯质量问题值得追问。

57岁的邓忠收和35岁的肖胜是一对最特殊的“父子兵”,他们是翁婿关系。这也是这对翁婿第二次联手守堤。 2016年汛期,翁婿俩报名参战,联手上堤值守。今年7月6日,翁婿俩又分别报名参战。因为排班原因,两人分别在不同的班组,难得碰上。肖胜说:“人在堤上,大家就是战友了,心里想的只有一件事——确保堤防平安。”

默默坚守防汛一线保卫家园

成了媳妇之后,婆家的苦活累活全由马海者“承包”。平时哪怕买袜子、头巾之类,也得伸手向婆婆要,不过几块钱,婆婆还要给脸色。有一次回娘家,马海者想买点茶叶带给父母,婆婆却只给了几块钱车费,多的一分也没有。

“我们花钱买了一部‘快意’品牌电梯,仅安装就花了3个月。”王先生说,但电梯运行首日他就碰上不平层的问题,电梯落下后距离8楼地面还差20多公分。

“电梯安全监管涉及部门多、单位多、环节多,需要各方共同努力,构建齐抓共管的大格局,共同营造安全的乘梯环境。”王伟称,应当由各级政府牵头,质监、安监、公安、消防、物价等部门参与,建立联席会议制度,加强对电梯生产、安装、改造、维保、使用等环节的日常监管,形成监管合力。建立电梯监管信息平台,增强电梯安全风险防控能力,提高信息化管理水平,切实提升群众的安全感和幸福感。

马箫箫和丈夫一户户上门招工,全县跑下来,四个多月,只招来十几人。

“打不开门、按键失灵、不平层……”近日,网上再次曝出海南省海口市美兰区万恒城市花园小区的惠民电梯安装仅一年多发生故障134次,坏了修、修了坏,存在严重安全隐患,却迟迟得不到解决。

●妇女的经济收入、家庭地位、婆媳关系、夫妻关系都在悄然变化。走进扶贫车间的这一代妇女,已经踏上了和她们的母亲不同的道路,而她们的女儿肯定会走得更远

马箫箫萌发了一个念头,能不能帮玩伴销绣花鞋、鞋垫,让她们挣些零花钱?玩伴告诉她,村里的妇女都会这门手艺。在精准扶贫氛围感染下,不忍看家乡姐妹被“女儿的命”束缚的马箫箫,和丈夫刘子峰商量,索性返乡创办刺绣工艺扶贫车间,让东乡刺绣走向市场,让东乡“绣娘”凭一技之长生活得更有尊严。

因为有了此前的抗洪经历,父子俩对防汛工作的重要性理解更加深刻,今年第一时间报名参战。汪巍说,“父亲在巡堤时非常专业,也非常敬业,从他身上我学到了很多东西。”

49岁的肖永东是一名搅拌车司机,也是一名有9年党龄的共产党员。7月6日,他请假后主动报名参战。他的儿子肖青2010年入伍,2013年曾随部队在重庆参加过防汛抢险。虽然是一名“90后”,却是一名不折不扣的防汛老兵。

这十几个全是马箫箫老家的左邻右舍,对她知根知底,才敢来第一批“吃螃蟹”。而那些没来的,要么觉得刺绣不能换钱,要么是公公婆婆或者丈夫不愿她们抛头露面。一些婆婆说,儿媳妇出去了,家里的家务谁干?孩子谁来照顾?对东乡一些男人来说,让老婆出去挣钱也是件丢脸的事,会被人笑话“吃老婆饭”。还有一些老人更是固守“妇女不能出去挣钱,也挣不着钱”。

DeepSpeed的最新版本还包含了ZeRO-Offload技术,该技术可利用GPU及其主机CPU上的计算和内存资源,从而在一台V100上训练多达130亿个参数的模型。微软声称这比最新技术强10倍,使得训练人员可以使用更少的计算资源来进行数据科学家的训练。 

在武汉市汉阳沿江堤段值守的值班人员中

儿子说:“我们很自豪!”

今年30岁的汪佳琦说,“以前不太理解父亲怎么可以几十天不回家,现在我明白了他当时为何这样做,能够和他一起战斗感到很高兴。”

●“有工资的妇女,出门再不用和以前一样向公婆报告,脸上涂个粉、回趟娘家也不需要向婆婆要钱了。”

崔开杰表示,电梯故障不断,群众投诉不断,维保检查不断却迟迟得不到解决。海口市场监督管理部门多次接到投诉却没能从根本上解决问题,群众反映监管部门怠于履职也不无道理,一直到媒体广泛关注后才着手解决问题,致使该电梯“带病”工作至今,亟待引起重视。

业主卜先生抱怨说,这一年多来,电梯故障频发让C2栋业主不由地怀疑,“该电梯是原装‘快意’品牌电梯,还是拼装山寨货?”在业主们的印象中,C1栋电梯与C2栋电梯系同一时间安装,只是品牌不同,但C1栋几乎没有因为故障报修过。

有许多代代传承的防汛“父子兵”

DeepSpeed将大型模型分为四个流水线阶段,分为较小的组件(层)。每个流水线阶段中的层进一步划分为四个“工人(workers)”,它们执行实际的训练。每个管道都在两个并行数据实例之间复制,并且工作程序被映射到多GPU系统。由于有了这些和其他性能改进,微软表示,一个万亿参数的AI模型可以减少到仅需要800个Nvidia V100 GPU训练。

为此,在查找电梯购买、安装、维修等依据中,有业主发现购买这部“快意”品牌电梯存在账目不清、没有发票、合同不规范等一系列问题。8月3日下午,C2栋业主代表来到海口市公安局美兰分局经侦大队,就安装C2栋电梯涉嫌存在的财务问题报案。

为何电梯故障频发?购买电梯的款项又为何不划入物业账户?8月6日上午,《法治日报》记者带着诸多疑问来到了小区物业客服中心。

王先生表示,此前,万恒城市花园小区前物业经理苏淑容和3名“业主代表”签字并同意购买“快意”品牌电梯。然而,购买电梯的钱被直接打入前物业经理苏淑容的个人账户,并没有入物业公司的账,大家至今没见过购买电梯的发票或其他票据,而C1栋的电梯款项则是划入了物业账户。

●在东乡农村,许多女性小时候受教育的机会很少;到了十几岁就早早嫁人,彩礼作为哥哥或弟弟娶媳妇的本钱;做了别人的媳妇之后,在家里干得多、操心多,地位却很低,见不了外人,家里也说不上话;成了四五个孩子的母亲之后,又围着孩子们转,一辈子被牢牢绑在家务和黄土地上

“要么人在外面,电梯不开门;要么人在电梯里,打不开门。”对于一年多来乘坐电梯的感受,万恒城市花园小区C2栋业主王先生用了“胆战心惊”四个字形容。

李胜华提出,该小区C2栋有50户住户,假设有200人,每人每天5次出行,电梯每个月大概有6万次运行。根据国家关于电梯的技术规范要求,结合小区物业提供的电梯故障记录,可以说C2栋电梯的故障率还是可控的。

父亲汪正惠曾参加过1998年抗洪,当时汪佳琦只有8岁。

“目前该电梯还在维保期内,电梯由奥立公司进行维保。”小区物业经理王秀荣表示,自她接管小区以来,就发现C2栋电梯多次发生故障,她向《法治日报》记者出示了C2栋电梯2019年10月至2020年8月5日故障报修记录表,显示报修次数达59次,加上2018年10月至2019年9月的75次,一共是134次。

7月7日,海南省儋州市一医院住院楼电梯发生故障,18人被困。8月2日晚,广东省佛山市一商场内18人被困于电梯至凌晨。今年以来,全国各地电梯安全事故频发,引起社会广泛关注。

全国脱贫看甘肃,甘肃脱贫看东乡,这个全国唯一以东乡族为主体的深度贫困县,深藏在干旱的黄土高原褶皱里,被称为“大山开会”的地方。荒山村又是东乡最偏远贫困的村之一,当地人用“撞死麻雀,滚死蛇”来形容这里让人绝望的贫瘠、深沟和陡坡。

万恒城市花园小区C2栋共有50户住户,大部分是老人和小孩。由于原电梯已使用15年,业主们商量后决定更换新电梯。当时恰逢海口市政府出台补贴老旧小区更换电梯政策,每部电梯政府补贴10万元,于是业主们另外筹集了103118.72元,然后由物业公司找到“快意”电梯代理商奥立公司,于2018年10月安装好新电梯并投入使用。

“妇女能顶半边……”

几个月后他明白了,这里所有的琐碎家务、繁重农活都归妇女,很多东乡男人不做饭、不洗衣,甚至叠被子都不插手。

据李胜华介绍,小区物业提供的近10个月50多次电梯故障报修记录是客观存在的,而奥立公司提供的报修记录只有15次,之所以出现偏差,可能是因为不同业主在不同时间内对同一反复出现故障重复报修,维保公司是按照维修的排除原因记录的,而物业公司是按照故障发生表象记录的。

雷锋网编译,via venturebeat 雷锋网雷锋网(公众号:雷锋网)

训练一个万亿参数的模型将需要至少400个Nvidia 今年最新推出的A100 GPU(每个内存高达40GB),并且Microsoft估计需要4,000台A100以50%的效率运行,大约需要100天才能完成训练。这与微软和OpenAI共同设计的AI超级计算机无并不匹配,后者包含10,000多个显卡,在这样的超大规模下,很难获得很高的计算效率。

“为什么不少东乡妇女比兰州同龄人看起来要老二十多岁?”

“深贫县”甘肃东乡妇女脱贫的故事,既是中国减贫的缩影,也是中国推进男女平等和妇女全面发展的一个生动注脚。脱贫攻坚如春风春雨滋润黄土高原的每一个角落,千百年来命运笼罩在贫困阴影下的农村妇女,破天荒地摆脱了贫苦的宿命,参与并分享生活的美好

□ 本报记者 邢东伟 翟小功

马箫箫记得,小时候父母告诉她,女孩也得读书。而玩伴的父母说的却是,女孩读书就是给婆家读的,没必要浪费这个钱,不如在家学绣花、做饭。

进一步,张宗玺发现,由于“男主外女主内”的传统观念,荒山村全村922名妇女,有906名的“工作”是在家照顾老小和在自家地里干农活,大半辈子没出过乡、没到过县的大有人在。

《法治日报》记者注意到,在C2栋业主整理的材料里,有一份物业公司和奥立公司签订的合同文本,其中多处不规范:甲乙双方联系人分别是“苏经理”和“赵经理”,设备单价“14.3920”元,安装及运输单价“56000万”元,合同总价合计“19.9900.00”元——根据合同总价大写可知,该电梯总价实为199900元。

8月5日下午,奥立公司在C2栋贴出《万恒花园C2电梯故障解决承诺书》,承诺“若在此后一个月内仍出现不平层落差且经查验鉴定超过国家标准限定的,按照特种设备安全法整改、更换”,并安排维保人员24小时驻点值守。

但是训练模型需要大量的计算资源。根据2018年OpenAI的分析,从2012年到2018年,在大型AI训练中,计算量的需求增长了300,000倍,也就是大概每3.5个月的时间翻一番,远远超过了摩尔定律的步伐。

好不容易“预约”上的走访,就这么尴尬地结束。

“这些(DeepSpeed中的新技术)提供了极高的计算、内存和通信效率,并支持数十亿到数万亿个参数的模型训练。” 微软在博客中写道,“这些技术还允许极长的输入序列,并通过单个GPU,具有数千个GPU的高端集群或具有非常慢的以太网网络的低端集群释放硬件系统的能量。我们将(继续)进行快速创新,为深度学习训练突破了速度和规模的界限。”

距离兰州仅仅两个小时不到的车程,妇女的面貌差别竟然这么大!2018年7月刚到东乡沙黑池村时,甘肃省扶贫办下派的驻村干部周生峰很纳闷。

针对为何电梯频频出问题,李胜华认为,一是奥立公司维保能力欠缺,一直没有彻底修好;二是当诊断出故障源可能为“光幕感应器失灵”后,小区物业没有及时购买配件进行更换;三是故障认知和沟通上存在理解偏差。

小学五年级,父亲不愿意再供她上学,马海者怎么闹、怎么求都没用。母亲没一分钱,作不了主也不敢反对。马海者和妹妹都没读完小学,而弟弟一直上到高中。干了几年家务,家里给她说了媒。

2018年初的一天,马海者躲在厨房“旁听”一个姑娘在外屋对自己婆婆“苦口婆心”。姑娘试图说服婆婆同意马海者到她办的刺绣工艺扶贫车间务工。

如何才能避免电梯安全悲剧发生?海南省现代法学研究院副研究员、海南政法职业学院教师王伟认为,电梯安全事关民生。监管部门应切实履行监管职责,把电梯安全放在第一位,对电梯进行常态化检查,一旦发现电梯存在质量问题或安全问题,应第一时间促使维保机构、小区物业及时整改,不能任凭问题电梯“带病”工作。如果发现存在怠于履职或可能造成违法履职的情形,应当依法追究相关人员的法律责任。

更让周生峰头疼的是,村里妇女平均受教育程度连小学二年级都不到,十六七岁结婚的大有人在,二三十岁的妇女生养四五个孩子的情况很普遍。

同时,小区物业应积极树立责任意识,及时回应业主合理的“安全诉求”,把安全问题消灭在萌芽状态。业主要积极维权,增强安全防范意识,提高避险技能,全力避免电梯事故发生。

雷锋网原创文章,。详情见转载须知。

从此,这部新电梯便陆续出现按键失灵、落层不准、噪音过大、重复开关门等不同故障,业主们在微信群中吐槽最多的是“电梯又坏了”。

●脱贫攻坚以来,随着大量帮扶力量进入东乡,男人们接触了越来越多的新事物和人,思想已经在潜移默化地改变。即使在偏远的荒山村,有过外出经历的男人,更容易同意妇女走进扶贫车间

东乡县锁南中学马雪鑫老师告诉记者,近些年来,得益于当地政府的控辍保学措施,东乡姑娘有了上学机会,但仍有很多女孩初中毕业后早早嫁人,走上母辈的老路。

王先生说,因为这部电梯的保修期还差一个半月就到期了,奥立公司为避免让电梯在这一个月内岀现故障,驻守人员随时拿着“电梯维保检查”标牌,只要出现故障就说是在检查,很多业主凌晨回来还看到电梯正在检查中,无奈只得拖着疲惫的身躯爬楼梯。

31岁的马海者曾经有过“不认命”。小学一年级开学,邻居男孩上学了,自己父母却没有一点带她去学校的意思。马海者是家里的老大,还有一个弟弟和一个妹妹。父亲说,女孩上什么学,迟早要嫁人的。那天,她急得赤脚跑到学校,最后又被家长拖回了家。闹了几天,父亲心软让她进了学校。上学前一天,母亲告诉她:“好好学,别像我这样”。