近日，Groq 火爆出圈，groq平台上采用 Mixtral 8x7B-32k 模型可以实现每秒生成 500 个 tokens，GPT-4 （基于 GPU）一般情况下是每秒40 tokens，groq 更是比 GPT-3.5 快 18 倍，自研 LPU（Language Processing Units）推理速度是英伟达GPU的10倍。
事实上，groq 并没有研发新模型，它只是一个模型启动器，运行的是开源模型 Mixtral 8x7B-32k 和 Llama 270B-4k。所以，结论一是 groq 超越 ChatGPT 是个伪命题。
为什么这么快？
出圈的响应速度，来自驱动模型的硬件——Groq并未使用英伟达的GPU，而是自研了新型AI芯片——LPU（Language Processing Units）。
Groq 是一家创建专为运行 AI 语言模型而设计的定制硬件的公司，其使命是提供更快的 AI——准确地说，比普通人打字的速度快 75 倍。Groq（不要与埃隆·马斯克创立的Grok混淆 ）专门为AI和高性能计算应用程序开发高性能处理器和软件解决方案。
GroqCard™ Accelerator 售价 19,948 美元，可供消费者随时使用，是这项创新的核心。从技术上讲，它拥有高达 750 TOP （INT8） 和 188 TFLOPs （FP16 @900 MHz） 的性能，以及每个芯片 230 MB 的 SRAM 和高达 80 TB/s 的片上内存带宽，优于传统的 CPU 和 GPU 设置，特别是在 LLM 任务中。这种性能飞跃归因于 LPU 能够显著减少每个字的计算时间并缓解外部内存瓶颈，从而实现更快的文本序列生成。
将 Groq LPU 卡与 NVIDIA 的旗舰 A100 GPU 成本相似，Groq 卡在处理大量简单数据 （INT8） 的速度和效率至关重要的任务中表现出色，即使 A100 使用先进技术来提高其性能。但是，在处理需要更高精度的更复杂的数据处理任务 （FP16） 时，Groq LPU 无法达到 A100 的性能水平。
从本质上讲，这两个组件在 AI 和 ML 计算的不同方面都表现出色，Groq LPU 卡在快速运行 LLMS 方面具有极强的竞争力，而 A100 则在其他地方处于领先地位。Groq 将 LPU 定位为运行 LLM 的工具，而不是原始计算或微调模型。
所以，结论二是 groq 和 nvidia 各有千秋。
如何使用？
不仅快、而且便宜
Groq API 已向开发者提供，并且完全兼容OpenAI API。 点击「这里」可以访问groq了解 “wow” 详细信息，直接访问其对话页面可以点「这里」。Mixtral 8x7B SMoE可以达到480 token/S，100万token价格为0.27美元。极限情况下，用Llama2 7B甚至能实现750 token/S。
而对于每M tokens的平均价格，官方也给出了对比。
免费试用
Groq API 可以免费试用 10 天。因为兼容 OpenAI API，因此一般的 ChatGPT 非官方客户端都可以直接使用。当然，建议直接在其网页端试用：
模型默认为Mixtral 8x7B-32k，可选 Llama 2 70B-4k。不用注册就可体验，真的很快，以下图片生成部分真实还原、未作加速，每秒直冲 525 tokens。
可以对系统提示词（System Prompt）比如角色设定等进行设置，同时可以设置输入输出token、发散度（温度）等。
目前，groq 匿名体验可以直接访问，非常友好。如果注册、登录的话则需要魔法，因为依赖于 google 账号。
作为一家由多位前 Google TPU 开发者组建的芯片公司，groq 一经成立便备受关注。2016年底，曾领导研发Google张量处理单元（TPU，用于加速机器学习而定制的芯片）的 Jonathon Ross 离职创办了groq，他们希望能为 AI 和 HPC 工作负载提供毫不妥协的低延迟和高性能。从近期火出圈的效果来看，groq做到了。
