日前Meta正式发布了Llama 3.1开源大模型，以其庞大的参数量和卓越性能，首次在多项基准测试中击败了GPT-4o等业界领先的闭源模型。允许开发者自由地进行微调、蒸馏，甚至在任何地方部署，这种开放性为AI技术的普及和创新提供了无限可能。
Llama 3.1支持128k的上下文长度和多语言能力，无论是在基本常识、可操作性还是数学、工具使用和多语言翻译方面，都展现出了行业领先的能力。
紧随其后，芯片巨头Intel迅速响应，宣布其AI产品组合已全面适配Llama 3.1，并针对Intel AI硬件进行了软件优化。
包括了数据中心、边缘计算以及客户端AI产品，确保用户能够在Intel平台上获得最佳的性能体验。
Intel的适配工作涵盖了PyTorch及Intel PyTorch扩展包、DeepSpeed、Hugging Face Optimum库和vLLM等，确保了从研发到部署的全流程支持。
目前，Intel AI PC及数据中心AI产品组合和解决方案已面向全新Llama 3.1模型实现优化，OPEA（企业AI开放平台）亦在基于Intel至强等产品上全面启用。
根据基准测试，在第五代Intel至强平台上以1K token输入和128 token输出运行80亿参数的Llama 3.1模型，可以达到每秒176 token的吞吐量，同时保持下一个token延迟小于50毫秒。
在配备了酷睿Ultra处理器和锐炫显卡的AI PC上，进行轻量级微调和应用定制比以往更加容易，并且AI工作负载可无缝部署于CPU、GPU以及NPU上，同时实现性能优化。
基于第五代Intel至强可扩展处理器的Llama 3.1推理延迟
在配备内置Intel锐炫显卡的Intel酷睿Ultra 7 165H AI PC上，Llama 3.1推理的下一个token延迟
在使用Intel锐炫A770 16GB限量版显卡的AI PC上，Llama 3.1推理的下一个token延迟
基于Llama 3.1的端到端RAG流水线，由Intel Gaudi 2加速器和至强处理器提供支持
 C. Propagating tree（DFS序，树状数组）)
