是不是习惯了ChatGPT或者其他LLM聊天慢吞吞的输出了？每次问个问题，AI都要一句话一句话地吐，吐很长时间才能有完整答案。
groq.com很快，你可以自己试试
按照他们官网的介绍
★什么是 LPU™ 推理引擎？
LPU 推理引擎（LPU 代表语言处理单元™）是一种新型的端到端处理单元系统，可为 具有顺序组件的计算密集型应用程序提供最快的推理，例如 AI 语言应用程序 (LLM) ）。
★ 为什么它比 LLM 和 GenAI 的 GPU 快得多？
LPU 旨在克服 LLM 的两个瓶颈：计算密度和内存带宽。 就 LLM 而言，LPU 比 GPU 和 CPU 具有更大的计算能力。这减少了每个单词的计算时间，从而可以更快地生成文本序列。此外，消除外部内存瓶颈使 LPU 推理引擎能够在 LLM 上提供比 GPU 好几个数量级的性能。
如需了解有关我们架构的更多技术信息，请下载我们荣获 ISCA 的 2020 年（wow.groq.com/groq-isca-paper-2020） 和2022 年论文（wow.groq.com/isca-2022-paper）。
★ Groq 运行标准机器学习框架吗？
Groq 支持标准机器学习 (ML) 框架，例如 PyTorch、TensorFlow 和 ONNX 进行推理。Groq 目前不支持使用 LPU 推理引擎进行 ML 训练。
对于定制开发，GroqWare™ 套件（包括 Groq Compiler）提供了快速启动和运行模型的按钮体验。为了优化工作负载，我们提供将代码交给 Groq 架构的能力以及对任何 GroqChip™ 处理器的细粒度控制，使客户能够开发自定义应用程序并最大限度地提高其性能。
ChatGPT 
黄建同学的微博视频
groq.com很快，你可以自己试试
按照他们官网的介绍
★什么是 LPU™ 推理引擎？
LPU 推理引擎（LPU 代表语言处理单元™）是一种新型的端到端处理单元系统，可为 具有顺序组件的计算密集型应用程序提供最快的推理，例如 AI 语言应用程序 (LLM) ）。
★ 为什么它比 LLM 和 GenAI 的 GPU 快得多？
LPU 旨在克服 LLM 的两个瓶颈：计算密度和内存带宽。 就 LLM 而言，LPU 比 GPU 和 CPU 具有更大的计算能力。这减少了每个单词的计算时间，从而可以更快地生成文本序列。此外，消除外部内存瓶颈使 LPU 推理引擎能够在 LLM 上提供比 GPU 好几个数量级的性能。
如需了解有关我们架构的更多技术信息，请下载我们荣获 ISCA 的 2020 年（wow.groq.com/groq-isca-paper-2020） 和2022 年论文（wow.groq.com/isca-2022-paper）。
★ Groq 运行标准机器学习框架吗？
Groq 支持标准机器学习 (ML) 框架，例如 PyTorch、TensorFlow 和 ONNX 进行推理。Groq 目前不支持使用 LPU 推理引擎进行 ML 训练。
对于定制开发，GroqWare™ 套件（包括 Groq Compiler）提供了快速启动和运行模型的按钮体验。为了优化工作负载，我们提供将代码交给 Groq 架构的能力以及对任何 GroqChip™ 处理器的细粒度控制，使客户能够开发自定义应用程序并最大限度地提高其性能。
ChatGPT 黄建同学的微博视频
