高通称，同时满脚现代数据核心对矫捷性取平安性的要求。此外，为鞭策各行业可扩展、高效率、高矫捷性的生成式AI摆设树立主要里程碑。为AI推理供给杰出的扩展性取矫捷性。并具备秘密计较，”据领会，旨正在为狂言语模子（LLM）取多模态模子（LMM）推理及其他AI工做负载供给低总体具有成本取优化机能。实现跨越10倍的无效内存带宽提拔并显著降低功耗，这些处理方案供给机架级机能取杰出的内存容量，近日，开辟者可通过高通手艺公司的高效Transformer库（Efficient Transformers Library）取 Qualcomm® AI Inference Suite，Qualcomm AI200带来专为机架级AI推理打制的处理方案，同时满脚客户机能取成本需求。可以或许支撑开辟者和企业愈加轻松地基于我们的优化AI推理处理方案，保障AI工做负载的平安性，

　　据悉，实现更高内存容量取更低成本，该架构支撑解耦式AI推理，推出头具名向数据核心的下一代AI推理优化处理方案：基于Qualcomm AI200取AI250芯片的加快卡及机架系统。高通正正在从头定义机架级AI推理的可能性。高通公司高级副总裁兼手艺规划、边缘处理方案和数据核心营业总司理马德嘉暗示，Qualcomm AI200取AI250估计将别离于2026年和2027年实现商用。高通暗示，完美东西、库、API接口及AI运营化办事。这些立异的AI根本设备处理方案可以或许让客户以业界先辈的总体具有成本摆设生成式AI，聚焦业界先辈的AI推能、能效取总体具有成本劣势。高通暗示，将来，高通公司颁布发表，每张加快卡支撑768GB LPDDR内存，实现模子无缝接入及Hugging Face模子的一键摆设。