应用平台
满血版 deepseek-R1, 参数 671B，理论上需要 350G 以上显存/内存才能够部署 FP4 的量化版本。对于家用电脑来说，这是不可能的，即使采用压缩、分层等优化方法，使用最新的 Nvidia RTX5090 显卡（32G 显存），每秒低于 10tokens 的推理输出速度不具备实用价值。普通人能实际部署的仅仅是 Deepseek-R1-distill 蒸馏版模型，这是大家可以真正用得上的版本；模型大小从 1.5B 到 70B 都有。那么问题来了，普通人为什么要部署呢？作者是没有“雅兴”在自己电脑上部署大模型的，而之前采用 tencent cloud studio 部署的最大尺寸就是 14b，距离“白嫖”上 671b 满血版本还差得远。 在线使用方面，deepseek 官方频繁提示“服务器繁忙，请稍后再试”并且停止了 API 充值，普通用户使用 API 可以是解决在线翻译、本地 UI 调用等需求的，好在 Deepseek-R1 是开源的，那我们就来看看哪些地主家有余粮（显卡/计算卡），要求当然是提供全尺寸 R1 模型的推理服务和一定的免费 API 额度。 Nvidia Nvidia 要是没余粮了，那其他家就更不可能有余粮了。无需注册，打开「Nvidia NIM Deepseek-R1」就可以在网页端直接使用上满血版的 deepseek r1 推理服务了，「Nvidia NIM Deepseek-R1」是当下最稳定、响应最快的平台，没有之一。目前，匿名用户使用 deepseek r1 会存在排队现象，但一般不会超时。本文示例在不进行注册登录的前提下，对话排序为第 149（line 149），发送问题到实际输出显示的等待时间约 10 秒，老黄家的余粮一定是最充足的。 作为测试对比，在 deepseek 官方 api 调用出现错误的情况下，匿名状态在网页端翻译本文标题，没有任何排队等待，使用下文的硅基流动 api 也很慢，某为不是纯国产不受任何制约吗？舍不得堆量！登陆后同样使用 nvidia nim 提供的 api 也没有报错，并且响应输出快速。 Nvidia 提供免费免注册的在线全尺寸 deepseek r1 推理服务的同时，也可以注册 nvidia nim 账号以使用 api，注册用户赠送 5000 点积分。在右侧 api 调用代码区，可以直接使用给出的 base_url（https://intergrate.api.nvidia.com/v1），api_key 则可以通过点击右上方的『Get API Key』进行注册并创建。 点击页面右上角的『Login』或右侧的『Get API Key』，都可以打开注册界面。输入电子邮箱开始注册，注册过程参考「视频分享」。 完成注册后，将获得 1000 点积分，使用企业邮箱、额外填写企业信息，进一步获得 4000 点积分，也就是说，普通用户通常可以获得 5000 点积分。企业信息的角色、行业等都可以随意填写，但建议尽量保证企业名称的真实性。填写完成之后点击『Continue』就可以完成填报，会自动进行验证、积分增加和页面重定向。 接下来，就可以将创建 API key 并在相关应用中使用。本文以沉浸式翻译为例，打开设置后，选择『翻译服务』，不要下拉选择 deepseek，而应该点击顶部的添加OpenAI兼容服务。 在自定义 AI 设置页面，关键信息如下： API 接口地址（Base_url）：https://integrate.api.nvidia.com/v1/chat/completions API KEY：你的 api key 模型（Model name）：deepseek-ai/deepseek-r1 填写完毕之后，可点击页面顶部右侧的『点此验证服务』进行验证，填写无误的情况下，都会验证成功。接下来，就可以无视 deepseek 官方抽疯，继续爽玩全尺寸 deepseek-r1 了。 硅基流动 硅基流动是一家中国...
腾讯云 2 月 2 日宣布，DeepSeek-R1大模型可一键部署至腾讯云 HAI（腾讯云高性能应用服务）上，开发者仅需 3 分钟就能接入调用。通过 HAI，开发者可以省去买卡、装驱动、配网络、配存储、装环境、装框架、下载模型等繁琐步骤，只需两步即可调用 DeepSeek-R1 模型。国内可用的云端 AI 算力平台，百度飞浆 AI Studio 仅可部署运行 PaddlePaddle 深度学习开发框架，而作为国内竞品的「腾讯 Cloud Studio」则没有这一限制，并且每月可免费使用 10000 分钟，随用随开、即时关闭，是轻量化 DeepSeek-R1 部署的绝佳平台。这不，甚至有传闻说腾讯是 deepseek 背后的较大股东。 在腾讯 Cloud Studio 以及 Google Colab、SageMaker Studio Lab 等提供免费 16GB 显存的 GPU 平台上，没有必要委屈自己部署 7b、8b 模型，都是可以部署 14b 模型的。本文将快速（1分钟）在 tencent cloud studio 部署 deepseek-r1:14b 的过程进行演示，在 google colab 等其他平台上同理。具体操作过程可参考对应「视频分享」。 腾讯 Cloud Studio 提供免费配额部署 AI 模型应用的主流云端算力平台包括 Google colab、Amazon SageMaker Studio Lab、Kaggle、Gradient、阿里云天池、百度 AI Studio、腾讯 Cloud Studio等。 「Google Colab」- 没有总计使用时间限制，每次连续使用时间不超过 12 小时，提供多种 GPU 选项； 「Amazon SageMaker」- 作为对标 google colab 的竞品，SageMaker Studio Lab 提供 Tesla T4 GPU，显存为 16GB，持久化存储空间 15 GB，每天运行时间不超过 8 小时，单次使用时间被限制为 4 小时； 「Kaggle」– 提供 16GB 显存的 P100，每周总运行时间不超过 40 小时，单次限制 6 小时，持久化存储空间 20GB； 「Gradient」- 提供 8vCPU和 30GB RAM，Quadro M4000 GPU 仅 8GB 显存，且持久化存储空间只有 5GB； 「Azure 100/student」- Microsoft Azure 学生账户的 100...
近期国产大模型 deepseek v3 刷屏，根据其发布的数据，deepseek v3 在所有的开源大模型中位列榜首，评测成绩与当今最先进的闭源模型 Claude-3.5-Sonnet、GPT-4o 等相比也不分伯仲。更重要的是价格便宜，每百万输入 token 优惠期内 0.1 元。如果把 deepseek v3 接入到 cursor 中，比起每月 20$ 美元真的很香。能接入吗？当然可以！cursor 基于 vscode，vscode 下 cline 能做的 cursor 必定也支持。cursor 中不仅能接入 deepseek v3，还能接入 gemini 2.0 以及其他你心仪的模型。本文简要介绍接入 deepseek v3 和 gemini 2.0 flash 的方法，也为大家提供在 cursor 中接入其他非官方/第三方大语言模型的思路。 在 cursor 中的操作简单 5 个步骤： 第一步 点击 cursor 上方的齿轮图标，打开 cursor 设置 第二步 选择第二项『Models』后，点击模型列表底部的『+Add Model』，添加模型。模型名称为 deepseek-chat，输入后回车即可。 第三步 在下方 OpenAI API Key 处输入 API Key 和 Base URL，Base URL 为 https://api.deepseek.com 或 https://api.deepseek.com/v1。 第四步 除新添加的 deepseek-chat 外，取消模型列表中其他所有模型的勾选（或取消所有 OpenAI 模型的勾选）。 第五步 点击 API Key 右侧的『Verify』按钮，稍等片刻即可完成模型添加。 完成模型添加之后，就可以在 chat 或 composer 模式中选择、使用 deepseek v3 了，也可以彻底甩掉梯子，不用再忍受“慢吞吞”的响应回复了。 Gemini 2.0 flash 也可以添加到 cursor 中，与 deepseek v3 稍有不同，新版的 cursor 模型列表已经内置了 gemini 2.0 flash，不需要在额外添加模型（Add model）。 同样，Gemini API key 的输入，自然应该在独立的 Google API Key 板块，在进行验证时无需取消其他模型的勾选，当前版本的 cursor 默认的 google LLM 就是 gemini...
DeepSeek 新版 v3 模型正式发布，AI 饭圈转疯了！延续便宜大碗特点的基础之上，DeepSeek V3发布即完全开源，并且网页在线和 API 同步更新。Deepseek官方还延续了一贯的新版本模型发布送 token 的优良传统，国内首注册的新用户赠送等值￥10 的 500万 token。AI 编程/开发领域竞争日趋激烈，cline、cursor、github copilot 等可以接入、堪用的模型越来越多。小朋友全民信息学的今天，普罗大众也应该具备基本的编程思想，已经或即将为人父母的，自然也不能缺席。用了 AI，仍然可以不会，但不能不用。 作者并非程序员，但参考一些开源小项目，是绝不会从头造轮子的。无论是 shell 脚本还是流行的 go、js、rust 程序，借助 AI copilot 应用，可以大大提高效率。热门的 cursor、codeium/windsurf 都有尝试，但免费续杯太折腾，而且对网络环境有要求。Cline+deepseek 组合应该是尤其适合非专业人士使用的，cline 免费、deepseek 便宜，个人认为即便对于专业开发领域的需求也足以应付。 Cline Cline（原Claude Dev）是一个可以使用你的命令行界面和编辑器的人工智能助手。在热门的 AI 编程助手工具中，cline 是免费、开源的，几乎允许接入所有热门大模型的 API。 Cline 作为 VSCode 插件安装，搭建开发环境更加简便。Cline 用来学习编程语言或者开发框架是非常有用，可以快速帮你搭建起一个可用的 demo，自动识别搭建过程中出现的错误并进行改进。Cline 支持大量主流的大模型，由于支持 OpenAI compatible API 和 Ollama，也就是说基本可以使用绝大部分大模型帮助完成任务。尽管当前在 AI 编程领域代码的天花板取决于 Claude 3.5 Sonnet，Cline 也推荐 Claude 3.5 Sonnet，但 deepseek v3 的发布，应该会在 Cline 2.0 以来使用 customized XML tags 的基础上，获得相比之前更好的效果。 当然，最新可免费接入使用的是 gemini 2.0 flash。Gemini 2.0 可直接登录「 Google AI studio」创建 API key，在 cline 中设置即可。 普通用户要撕开“开发者”的神秘面纱，尝试 AI 编程与开发，可以按照以下步骤安装使用 cline： 首先，在「vscode 官方站点」下载、安装 VSCode。 接下来，打开 VSCode，在扩展市场中搜索 cline ，点击第一个搜索结果右侧的『安装/Install』。 Deepseek v3 Deepseek v3 发布以来，一直在进行注册即送体验金（10元/500万tokens）的活动。无论是网页端还是接入API，只要输入国内 +86 手机号注册就可以获得 500 tokens 的赠送额度。 在「Deepseek 官网」点击点击『接入 API』并通过手机号注册，500 tokens 实时体现，无需额外操作。 进入接入 API 页面后，点击左侧的『API keys』，再点击『创建 API key』，将创建的 API key 复制备用，在 cline 等接口工具中就可以使用了。 Deepseek v3...
阿里云提供的免费企业邮箱服务近年来对国内用户变得非常神秘，多数情况下官网只能找到企业邮箱的购买入口，无法注册、开通免费的服务。阿里云刻意将能选择免费服务的企业邮箱注册入口隐藏了起来，当前有效的 5 年免费企业邮箱入口如下： 该免费企业邮箱支持 2 个域名、50 个账户，每账户空间配额为 5GB，企业网盘 2GB。域名无需在阿里云新注册，使用已有域名也可以。 企业邮箱 接下来，勾选同意企业邮箱免费版服务协议后，一路支付就完成了订阅。 在企业邮箱管理控制台，点击『设置解析』，将相以下 7 条记录添加到 DNS 域名记录中。阿里云/万网购买的域名可以一键添加，但 spf、dkim 记录可能遗漏。 @ MX mxn.mxhichina.com 5@ MX mxw.mxhichina.com 10mail CNAME mail.mxhichina.comsmtp CNAME smtp.mxhichina.compop3 CNAME pop3.mxhichina.com@ TXT v=spf1 include:spf.mxhichina.com -all@ TXT v=DKIM1; k=rsa; p=MIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEAuQCL/lhon6Wew8TGN2Lj1gDzo4ercMw+HvAuo4UBRtrUaHJz65/BcXyrFsJ8/1KWQhL7OsImnR4k8NggFIys8UavoeUeULav7m9K4ymbPgKWGbrnxCdhUvAnei5pMdPVwq21myd7YQh5OdVjHlrEZ0ByEp1BE6LRxH8v0B0H3tXgACU4IVYrtyHKsuZ/v6br30WhhFJCjUJTYzU4oDjpQgqOnzt2rtLtdtvJ7TCJXxNCYP6J2CwPvLC+ucfhnxJKuoSJBCaRJkYCjupZX0DLNAaevUAzqOC9mJy6tvuj1Y/bRLeNUPR8FzeySyqwmIc7UhLjxqYMpyVNOxV4yJ5BPwIDAQAB; 再对管理员密码进行初始化、分配员工账号后，用户就可以使用 mail.yourdomain.com 登录企业邮箱 web 端收发邮件了。 阿里云企业邮箱默认强制使用 2FA ，可能会造成不便。使用 postmaster 账户等录企业邮件，点开左侧『安全管理』，选择『账号安全策略』。 可以关闭 2FA，或者修改为『身份验证器认证』方式进行 2FA 验证。同时，阿里云企业邮箱默认关闭了第三方客户端的收发邮件功能，可在『账号安全策略』页面启用，其他各项配置均可在 postmaster 管理员面板进行编辑。 总体上，免费的阿里云企业邮箱和收费版功能上并无本质上的差异，可以完全满足个人、小微企业的需求。相比 lark/feishu 而言，更加单纯，额外的办公协同与管理则通过钉钉加以实现。送达率方面也比较优秀，提供了 spf、dkim 支持，仅极少数国外邮箱会标记垃圾邮件（spam）。
近日，Groq 火爆出圈，groq平台上采用 Mixtral 8x7B-32k 模型可以实现每秒生成 500 个 tokens，GPT-4 （基于 GPU）一般情况下是每秒40 tokens，groq 更是比 GPT-3.5 快 18 倍，自研 LPU（Language Processing Units）推理速度是英伟达GPU的10倍。 事实上，groq 并没有研发新模型，它只是一个模型启动器，运行的是开源模型 Mixtral 8x7B-32k 和 Llama 270B-4k。所以，结论一是 groq 超越 ChatGPT 是个伪命题。 为什么这么快？ 出圈的响应速度，来自驱动模型的硬件——Groq并未使用英伟达的GPU，而是自研了新型AI芯片——LPU（Language Processing Units）。 Groq 是一家创建专为运行 AI 语言模型而设计的定制硬件的公司，其使命是提供更快的 AI——准确地说，比普通人打字的速度快 75 倍。Groq（不要与埃隆·马斯克创立的Grok混淆 ）专门为AI和高性能计算应用程序开发高性能处理器和软件解决方案。 GroqCard™ Accelerator 售价 19,948 美元，可供消费者随时使用，是这项创新的核心。从技术上讲，它拥有高达 750 TOP （INT8） 和 188 TFLOPs （FP16 @900 MHz） 的性能，以及每个芯片 230 MB 的 SRAM 和高达 80 TB/s 的片上内存带宽，优于传统的 CPU 和 GPU 设置，特别是在 LLM 任务中。这种性能飞跃归因于 LPU 能够显著减少每个字的计算时间并缓解外部内存瓶颈，从而实现更快的文本序列生成。 将 Groq LPU 卡与 NVIDIA 的旗舰 A100 GPU 成本相似，Groq 卡在处理大量简单数据 （INT8） 的速度和效率至关重要的任务中表现出色，即使 A100 使用先进技术来提高其性能。但是，在处理需要更高精度的更复杂的数据处理任务 （FP16） 时，Groq LPU 无法达到 A100 的性能水平。 从本质上讲，这两个组件在 AI 和 ML 计算的不同方面都表现出色，Groq LPU 卡在快速运行 LLMS 方面具有极强的竞争力，而 A100 则在其他地方处于领先地位。Groq 将 LPU 定位为运行 LLM 的工具，而不是原始计算或微调模型。 所以，结论二是 groq 和 nvidia 各有千秋。 如何使用？ 不仅快、而且便宜 Groq API 已向开发者提供，并且完全兼容OpenAI API。 点击「这里」可以访问groq了解...
无门槛免费白嫖GPT4/V、DALLE3等创建、测试、发布专属机器人
webmaster
publisher
