10月18日，以"用「芯」连接，「渝」你同行"为主题的2023英特尔中国区数据中心渠道客户金秋会在重庆举办，超集信息作为英特尔钛金级合作伙伴受邀参会，凭借数据中心产品技术的双向创新及数据中心市场的深入开拓，荣获"行业开拓奖"。

2023年，是大模型引领AI落地和应用的元年，以ChatGPT为引领的大语言模型技术快速演进，为我们展现出了一个通向"通用人工智能"未来的大框架，为千行百业带来赋能。但大语言模型的训练及推理量都十分庞大，ChatGPT便拥超过8000亿个单词的数据，已对现有算力基础设施性能提出严峻挑战。

面对大语言模型技术发展下的算力挑战，超集信息于大会现场带来了"LLM推理一体机解决方案"展示。该解决方案基于第四代英特尔®至强®处理器，在OCSP设计规范下充分释放Max处理器的HBM高带宽内存性能，结合独有的大模型推理加速引擎，实现推理结果的高准确率、低延迟性，有效降低总体拥有成本。并且，超集信息LLM推理一体机解决方案已成功助力客户实现应用落地。

卫宁健康的WiNGPT是一个专注于医疗健康领域的生成式大语言模型，能够将庞大复杂的医学知识、医疗信息、数据融会贯通，为医疗人员提供更智能的信息技术服务，提升诊疗全流程效率。但其开发进程中也面临了诸多实施和部署难题：

大语言模型内存受限——内存和时间复杂度都与输入序列的长度成平方

计算资源难充分利用——GPU、CPU资源均没有充分利用

为进一步推动WiNGPT开发，应对未来人工智能在HIT行业的变革，卫宁健康联合英特尔及超集信息，共同进行了模型优化。通过优化并发调度，提高CPU使用率；通过对Pytorch的进一步优化，提升深度学习框架的推理速度。

硬件方面，在超集信息LLM推理一体机解决方案帮助下，卫宁健康实现了单机最高8TB内存部署，摆脱了大语言模型的内存限制。同时，通过PlatforMax智算融合平台搭载，客户实现了资源状态的实时监控，包括设备健康度、设备运行时间、CPU、内存、系统负载、进程状态、磁盘使用率和状态等，进一步提升了整体资源利用率。

凭借简单易用的LLM推理一体机解决方案，超集信息将进一步降低模型推理门槛，通过更高带宽、更优性能、更强算力等优势，我们将满足更多客户对高性能、高效率的深度学习推理及训练的需求。