对话蚂蚁技术研究院院长陈文光：的发展极大受到数据驱动，国产推理软件系统仍需追赶英伟达｜钛媒体

清华大学计算机科学与技术系教授、蚂蚁集团副总裁、蚂蚁技术研究院院长陈文光

9月5日-7日举行的2024Inclusion·外滩大会“从DATAforAI到AIforDATA”见解论坛上，清华大学计算机科学与技术系教授、蚂蚁集团副总裁、蚂蚁技术研究院院长陈文光发表演讲。

陈文光在演讲中表示，科学发现过程中有四个范式，包括实验科学、理论科学、数值模拟的高性能计算（HPC）范式，以及当前由AI和数据（BigData）形成的第四范式。未来传统的科学计算（HPC）、Al和BigData的融合计算将成为趋势，从而利用科学研究与应用推动计算系统不断发展和变革。

“不光Data和AI在融合，科学计算HPC和AI也在做融合。过去很多使用双精度浮点计算的HPC问题，现在可以用半精度的AI计算来进行一定的近似，比如用机器学习的方法来预测蛋白质，用一些AI的方法来代替模拟的部分，当然，目前它还不能完全替代整个过去基于仿真的科学计算流程，所以它有可能是一部分用AI，另一部分用传统科学计算方法。”陈文光表示，向AI“对齐”需要从底层系统角度出发，包括硬件的结构和对应的编程语言、编译系统等。

陈文光强调，如同“三国演义”，计算机编程也是天下分久必合，合久必分。当前AI热潮下，跨领域代码的融合和组合的优化依然存在巨大的技术机会。

会后，陈文光与钛媒体AGI等少数媒体进行对话交流。

陈文光于2020年加入蚂蚁集团，负责蚂蚁集团图计算技术，2022年起担任蚂蚁技术研究院院长，长期研究高性能计算编程模型和编译系统。同时，陈文光还担任清华大学计算机系教授，国家自然科学基金杰出青年基金获得者，中国计算机学会会士和杰出讲者、学术工委主任，北京计算机学会副理事长，2017-2020年曾任ACM中国理事会主席，拥有清华大学计算机专业博士学位，发表了数十篇核心论文，其参与研发的高性能集群计算机与海量存储系统(2007)曾获得国家科技进步二等奖。

陈文光对钛媒体AGI表示，

AI扩展到自动驾驶、智能机器人等领域的数据起着更加重要的作用，现在AI技术的发展极大受到数据的驱动，如果有更多的数据，就意味着有机会获得更好的模型质量。

陈文光认为，提升AI（智能）水平并不意味要训一个能力越来越强的模型，对话蚂蚁技术研究院院长陈文光：的发展极大受到数据驱动，国产推理软件系统仍需追赶英伟达｜钛媒体通过RAG知识增强模型技术、行业私域数据训练等方案，以及在数据量和数据质量之间的平衡，可以推动大模型技术不断突破。

“如果从人类学习做一些启发，人其实没有看那么多东西，同样的东西看一遍学会了，再看那么多本对我来说没有帮助了，从这个角度讲，高质量的数据和更有效学习方法之间，也有互动的地方，这也有利于未来更有效的利用数据。通过提升数据质量、学习方法，以及在模型外增加能力，这几个方面也都可以在数据量没有增加情况下，进一步提升整个的智能水平。”陈文光表示。

问及未来通过AIInfra等技术将推动AI推理算力成本下降原因，

陈文光表示，目前有很多推理优化方法，包括模型量化、压缩、动态批处理等等，而国产推理算力在软件方面需要追赶英伟达生态的技术进展。

具体来说，推理包括两个阶段：一是计算密集的prefill阶段，二是Decode阶段，前一个阶段是计算密集的，后一个阶段是访存密集的，如何在算力上合理分配两个阶段，需要在硬件和软件两个层面开展工作。

“国产的算力上还是要做很多工作，因为英伟达投入比较大，做的人也比较多，所以在英伟达上推理系统进展的非常快，效率也是很高的。一些国产算力上，因为这些很复杂的新技术，还需要在推理软件系统上不断追赶英伟达生态。推理这个工作有点像过去的数据库，它又要求很短的延时，又要求有一个大的吞吐率，在满足延迟的条件下最大化吞吐率对系统的提供商是最好的，它又有很强的内存带宽的需求，所以说怎么把这样一个复杂的计算在整个AIInfra-Structure支持好，还有很多工作要做。”陈文光表示。

陈文光指出，当前行业大模型落地的最佳场景主要是金融和教育。其中，金融领域的行业大模型既有客户需求的基础，还有积极的反馈与良好的市场前景；教育方面，当前师资稀缺，而且高水平的教育没有办法做到因材施教，因此大模型提供重要机会，能够用可接受的成本为每个人提供教育服务。

当被问及数据共享机制，

陈文光强调，现在数据共享存在诸多挑战，比如通过密码学和可信执行环境组合起来的方案，需要依赖硬件，在硬件规定的区域、内存里面做相应的计算，如果信任这个硬件的话，安全性是有保证的。同时也有多方安全计算、联邦学习，全同态加密等各种各样的方法，其性能、效果之间会有不同权衡，解决这些问题还有很长的路要走。