华为芮祥麟:让麒麟980成为未来移动AI的发动机

华为于8月底重磅发布的AI芯片麒麟980在几个方面做到了全球第一:全球首款商用7nm手机SoC芯片;全球首款Cortex-A76 Based CPU;全球首款双核NPU;全球首款Mali-G76 GPU;全球首款1.4Gbps Cat.21 Modem;全球首款支持2133MHz LPDDR4X的手机SoC芯片。

9月20日,在北京国家会议中心举办的AI World 2018世界人工智能峰会上,华为麒麟AI首席科学家芮祥麟博士发表了题为《麒麟980:移动AI的发动机》的演讲。

芮祥麟博士详细介绍了麒麟980芯片的设计和性能提升,以及麒麟980的融合能力开放架构中非常重要的HiAI Foundation。HiAI Foundation能力向搭载麒麟970,麒麟980的华为手机全部开放,具有强大的计算能力、多框架支持、更加丰富的算子和更加方便快捷的集成等优势。

在目前数据隐私保护情况下,很多事情实际上无法单独由云上的计算力完成,必须要在端侧完成。

这是非常复杂的多目标的优化问题,存在能耗、内存上的限制,而且在各种场景下有不同的需求。华为的一个主要目的就是能够在端侧开发出很好的芯片,能够将尽量多的处理能力在端侧完成,在最大程度上提升用户体验。

华为芮祥麟:让麒麟980成为未来移动AI的发动机

以下是芮祥麟博士的演讲内容:

芮祥麟:大家好,我是华为麒麟AI的首席科学家芮祥麟,很荣幸参加AI World 2018大会,跟大家一起分享一些成果。

从芯片的角度出发,我选择的题目是《Mobile AI发动机:麒麟980》。

在现在这个时刻讲这个题目,挑战很大。一年前,华为麒麟970 AI芯片是第一个开发出来,也是第一个产品化的。过去一段时间内,各大企业在AI芯片上的投入风起云涌,但我们相信,新一代麒麟980芯片仍然是领先群雄的。

华为芮祥麟:让麒麟980成为未来移动AI的发动机

我想先回顾一下去年推出麒麟970之后整个市场的反应,确实有质疑声,但绝大部分都是相当正面的评价,也有一些客户提出了比较好的建议。我们根据市场和合作伙伴的反馈,进一步对芯片进行改良和升级,就是今天给大家介绍的麒麟980。

麒麟980:六项世界第一,不同CPU配置满足动态需求

华为芮祥麟:让麒麟980成为未来移动AI的发动机

前一段时间已经有很多媒体报道,麒麟980在几个方面做到了世界第一:全球首款7纳米SoC芯片,全球首款基于Cortex A76 CPU定制开发,全球首款双核NPU,全球首款商用Mali G76 GPU,全球率先支持LTE Cat.21,峰值下载速率达到1.4Gbps,全球首款可以支持LPDDR4X颗粒,最高主频达到2133Mhz。

CPU是8核,不同大小的核适合各个不同的需求,NPU是双核的。其他包括Modem、DDR,还有ISP,整个设计工程相当复杂,这是大批一流专家共同努力的成果。

华为芮祥麟:让麒麟980成为未来移动AI的发动机

从麒麟920开始,到950、970、980,这是一个不断成长的过程,麒麟980集成了69亿晶体管,芯片面积持续缩小,晶体管密度持续提升。这样做是为了能够在非常有限的面积内降低能耗,提高计算力。

在芯片方面,CPU是由两个高性能的超大核,两个高能效的大核,加上四个高能效的小核一起协作。在应用方面,播放音乐只需打开CPU的小核,在社交应用场景用高能效的大核加上三个小核。进入重负载的游戏场景,就需要八个核都要用上。

华为芮祥麟:让麒麟980成为未来移动AI的发动机

针对不同的场景,比如音乐、导航、通话或拍照,我们动员了各个不同的核,这是一个基于能耗、响应速度、内存应用的复杂考量,是我们的工程师优化的结果。

可以看到,全球首款7纳米SoC芯片上,在各方面都有了很大提升,相比麒麟920,晶体管密度提高了6.8倍,性能方面提高了2.5倍,能效方面提高了4倍。

华为芮祥麟:让麒麟980成为未来移动AI的发动机

以图像识别速度为例,我们比友商1、友商2提高很多,基本上可以说快了3倍。在AI性能方面,跟友商的芯片比起来,用Resnet4或Inception V3测试参考,无论能效还是性能方面都有很大的提升。计算力方面,我们用三个场景来进行比较,物体识别、实时图像处理,实时分割。

麒麟970可以做轮廓、图片以及一些粗略的分割,但是在麒麟980可以做得更细致,对整个姿态、形状、细节能够做到很好的视频处理,在分割方面也更精准。

华为芮祥麟:让麒麟980成为未来移动AI的发动机

图中最底层是整个SoC布局,如何基于SoC布局提供更好的能力?在ISP方面,我们能够提供低延迟的视频处理流水线和高质量图象处理流水线,这些流水线可以执行一些基本的AI任务,在视频方面,可以进行人体关节检测识别,还有姿态识别。

图片方面的任务更多,文本识别、图像超分、图像降噪、RGB还原等。在视频方面,可以执行主体识别、区域分割、主体抠图,这些提供了一些基础的能力模块,能够高效支撑AR SLAM,做到视频流姿态提取、地图重建等。这些功能不只是我们自己用,也通过API开放给第三方。可以支持第三方的AR APP、视频APP和图片APP。

开放架构支持自定义算子,提升芯片集成调动能力

华为芮祥麟:让麒麟980成为未来移动AI的发动机

这张图上,最底层是SoC结构,有很好的传感器处理,DDK是我们的库,还有API,配合摄像头,可以提供Camera DDK,做到前光、暗光、高动态、高分辨率,在AR DDK方面提供 SLAM算子加速、人脸建模、跟踪能力等1000多个能力。我们有33个API,147个算子支持。

算子支持非常关键,各个框架的算子都很多,我们支持147个算子,而且支持更开放的能力,支持自定义算子,并将这些算子和硬件特性实现很好地适配。同样都叫算子,比如LSTM,当映射到芯片层面上时,如何能够最大化地发挥芯片的计算力,做到最大化地降低能耗、响应迅速,这些都是要仔细思考的问题。我们在算子层面的开放更快、更有弹性,适配性更强。

华为芮祥麟:让麒麟980成为未来移动AI的发动机

整个软件栈的最底层是我们的SoC,上面是驱动器,这里面有调度系统,可以发挥集成调度能力,以及CPU、GPU、DSP、NPU的综合能力。这有点像机器学习中所谓“集成学习”,也就是执行各种架构的芯片的集成调度能力。它支持谷歌的在线推理,也支持离线推理。

这两个模型各有优缺点。根据使用场景以及模型的复杂度的不同,我们做到二者都能够支持。当然,也会支持一些通用框架,比如Caffe、TensorFlow各个应用,提供端到端的开发工具链,即集成开发环境,同时支持很方便的编译器和显示工具。

华为芮祥麟:让麒麟980成为未来移动AI的发动机

每个不同结构的处理器都能够发挥作用,NPU专门针对张量计算。我们的核可以快速处理特殊指令集、特殊结构,能够很快地处理高维度的张量运算。如果把一个算法拆开,事实上到了芯片层面,就只剩下张量运算、矢量运算、标量运算。矢量运算多半用于图象处理以及大规模的并行处理,标量运算通常是处理一些控制指令集,逻辑控制,和一些通用的运算。

比如要估算模型的生命周期,实现从模型产生到模型格式的自动转换,就可以生成一个离线模型,它的执行效率会更高,运算速度更快,可以加载到NPU上面做各种运算。

华为芮祥麟:让麒麟980成为未来移动AI的发动机

跟CPU相比,以NPU为驱动的处理架构的整个性能提升了25倍,整个能效提高了50倍,甚至在整个NPU和CPU混合调度情况下,也能有非常好的收益。在算子的支持方面,我们至少在AI芯片的级别上还保持领先,经过一年的积累,整个算子的丰富度、复杂度,每颗算子的性能都提升了很多。

HiAI Foundation:让不懂机器学习的用户实现自己的应用

我们的HiAI开放架构已经走了一年,去年这个时候是麒麟970配合Mate10发布,经过一年的努力,我们对于整个生态,对于端侧AI框架需求有了更深的体验,我们会继续走下去。

我们的目标是:第一,希望能够设计出更好的芯片,增加算力。第二,希望能够对用户屏蔽设计方案的硬件复杂度,也就是说,使用很简单的接口,让不太懂机器学习的客户也能调用接口,实现他们自己的应用。

如果客户对机器学习有一定接触,可以利用我们的接口很快搭建出一个模型及其训练优化方案,这些都是我们希望能够通过HiAI平台实现的目标。

整个计算在手机上面可以做到姿态识别、对象跟踪,这些都不是在云上计算的,而是将整个模型搬到端侧来实现,模型大小适中,处理速度很快,我们为此也感到非常骄傲,我个人也参与过一些模型的构建。

最后说一说我们为什么如此专注开发AI芯片。在目前数据隐私保护形势下,很多事情无法单独由云上的计算力完成,必须要在端侧去完成。这是非常复杂的多目标的优化问题。

这往往要面对能耗和内存的双重限制,面对各种场景下的不同需求。比如在车载应用中要求响应速度很快,对各种图片和视频的处理精确度要求比较高,在声音方面,降噪的要求就非常高,如何能够利用GAN的方式去把声纹和内容分开,这中间往往牵扯到个人隐私。

我们的主要目的是要在端侧方面开发出高性能的芯片,将尽量多的处理过程在端侧完成,争取提供最好的用户体验。

谢谢大家!