项目概况
项目背景
2023年10月，卫宁健康发布了面向医疗垂直领域的大模型WiNGPT，能够精确满足各种业务需要，具有较高的准确率和较低的误诊可能性，帮助医院提升了诊疗效率。
当下，面对精益化运营的需求，为缩短WiNGPT生成时间，保障用户体验，同时降低大模型的部署成本，以更好地释放大模型在智慧型医疗业务中的应用潜力，卫宁健康亟需进行全新算力方案开发，以加快人工智能驱动的医疗信息整合解决方案的更好实施。
解决方案
为满足客户低成本、高性能的算力建设诉求，超集信息基于第五代英特尔® 至强®可扩展处理器平台，帮助其完成了WiNGPT推理平台构建。
超集信息基于 CPU 的大模型推理方案，在满足性能要求的同时更具成本优势，助力加速医院的大模型部署。方案高效利用第五代英特尔® 至强® 可扩展处理器，通过内置的英特尔® 高级矩阵扩展（英特尔® AMX）等加速器进行模型推理，推理性能相较于基于英特尔® 至强® 可扩展处理器的平台提升超过 3 倍，性价比较GPU方案提升13%，可满足医技报告自动生成等场景对于推理性能的要求，助力加速医疗机构的大模型应用拓展。
客户价值
由超集信息调优的算力方案充分释放第五代英特尔® 至强® 可扩展处理器的 AI 性能优势，能满足报告自动生成等场景对于模型推理性能的要求，缩短生成时间，保障用户体验；控制算力平台构建成本，提升经济性：方案可利用医疗机构部署的通用服务器进行推理，无需额外部署专用的推理服务器，有助于降低相关采购、部署、运维、能耗等成本；兼顾大模型与其他信息化应用： 方案可采用 CPU 进行推理，医疗机构可根据任务需求灵活地在大模型推理与其他信息化应用之间进行 CPU 算力资源调配，提升算力分配的敏捷性与灵活性。
