近日,36氪获悉,中科加禾宣布完成数千万元种子轮融资,由BV百度风投领投,陆石投资、晨山资本、奇绩创坛、寒武纪、天创资本、光合基金跟投,指数资本担任独家财务顾问。本轮融资资金计划用于产品研发和公司运营。
陆石投资投资部总经理吴昊认为,AI大模型的发展可能会创造很多颠覆性产品和应用,目前国产底层算力与大模型主流生态存在较大鸿沟,需要更多的国产软件来补齐工具链。崔老师团队是国内最早从事编译系统研究和开发的科研团队之一,我们非常看好崔老师团队在编译器领域的深厚积累以及对AI大模型产业的前瞻性判断和清晰的商业定位,希望中科加禾在不久的将来可以成为国产大模型产业链中重要的软件基础设施。
中科加禾聚焦芯片编译与优化技术,致力于为我国大模型产业提供通用化、低成本、高性能的算力资源。
编译器是一种计算机程序,就像一位翻译,它能把高级编程语言翻译成芯片可以理解并执行的机器语言。同时编译器还要做优化,让生成的机器代码运行更高效。简单来说,芯片编译器就是程序员和芯片之间的桥梁,编译器的质量直接影响到最终芯片的性能。
随着人工智能技术的发展,市场对GPU芯片和算力的需求在不断扩大,编译技术的作用受到更多重视。目前,英伟达在AI芯片市场一家独大,为GPU研发了包括编译器和编程语言在内的CUDA系统。
中科加禾创始人崔慧敏告诉36氪,近几年国产芯片的发展迅速,为国产芯片的编译软件带来了机会。从行业需求来看,AI时代产生大量异构计算需求,并且应用场景广泛,算子不断更新迭代;CUDA针对GPU的架构进行过特定的优化,与GPU架构不同的国产芯片不太可能完全移植CUDA,为了确保芯片可用,大多数国产芯片编译器团队做了很多针对各自芯片的算子定制化开发工作,这直接导致了国产芯片的生态碎片化问题。
针对以上的诸多问题,崔慧敏认为,国内需要一个可以支持多种后端芯片的编译框架。“我们要做的事就是打造一个支持多种国产芯片编译的工具链,建立一套通用化、低成本、高性能的基础软件。同时通过我们的软件,能让用户把英伟达上的应用程序无缝移植到国产芯片。”崔慧敏说。
中科加禾现有三条产品线,包括大模型推理优化工具、CUDA兼容编译器和中长尾芯片定制编译器。
大模型推理优化工具是公司现阶段的主打产品线,它能支持多种AI芯片,通过编译优化,使国产算力得到提升。崔慧敏介绍,大模型对芯片算力的需求很大,公司会对芯片做非常深度的优化,包括从上层到下层,每个层次都开展更深度的融合优化工作。这部分工作也得益于团队前期的技术积累。崔慧敏说,英伟达的A800芯片通过这款产品来编译优化,多卡推理速度可以达到A100芯片的90%以上。
中科加禾的核心技术是完全自研的支持多种国产芯片的虚拟指令集,采用类似JVM虚拟化的技术来构建跨平台的后端软件栈。虚拟指令集的思想来源于英伟达的PTX,PTX在英伟达的生态中扮演着重要的位置,通过PTX的抽象屏蔽了不同代英伟达GPU的差距,同时不会对性能造成额外的影响。崔慧敏表示,研发团队将设计针对CPU、GPU、NPU三大类芯片的虚拟指令集扩展,在设计编译优化时按类别实施优化,芯片厂商再根据硬件细节精细调优。
目前,中科加禾已和国内头部AI算力芯片和硬件设备厂商达成合作并开始产品研发。崔慧敏介绍,公司商业模式主要有三种:短期内将和芯片及服务器厂商合作,帮助其快速构建软件栈,完成商业版工具产品或算力交付。发展到中期,将以出售公司研发的工具软件许可证为主。到长期,将和云/数据中心进行合作,探索规模化扩展和复制的销售模式。
创始人崔慧敏毕业于清华大学计算机系,是中科院计算所编译团队负责人,在芯片和编译器领域顶级会议和期刊发表论文三十多篇。核心团队是一支以中科院计算所作为技术源头的编译器研发团队,具备20年以上的编译器开发经验,曾作为核心成员主持或参与过包括龙芯、神威、寒武纪、华为昇腾等多款芯片的编译器研发工作。