标签：AI

满血版 deepseek-R1, 参数 671B，理论上需要 350G 以上显存/内存才能够部署 FP4 的量化版本。对于家用电脑来说，这是不可能的，即使采用压缩、分层等优化方法，使用最新的 Nvidia RTX5090 显卡（32G 显存），每秒低于 10tokens 的推理输出速度不具备实用价值。普通人能实际部署的仅仅是 Deepseek-R1-distill 蒸馏版模型，这是大家可以真正用得上的版本；模型大小从 1.5B 到 70B 都有。那么问题来了，普通人为什么要部署呢？作者是没有“雅兴”在自己电脑上部署大模型的，而之前采用 tencent cloud studio 部署的最大尺寸就是 14b，距离“白嫖”上 671b 满血版本还差得远。 在线使用方面，deepseek 官方频繁提示“服务器繁忙，请稍后再试”并且停止了 API 充值，普通用户使用 API 可以是解决在线翻译、本地 UI 调用等需求的，好在 Deepseek-R1 是开源的，那我们就来看看哪些地主家有余粮（显卡/计算卡），要求当然是提供全尺寸 R1 模型的推理服务和一定的免费 API 额度。 Nvidia Nvidia 要是没余粮了，那其他家就更不可能有余粮了。无需注册，打开「Nvidia NIM Deepseek-R1」就可以在网页端直接使用上满血版的 deepseek r1 推理服务了，「Nvidia NIM Deepseek-R1」是当下最稳定、响应最快的平台，没有之一。目前，匿名用户使用 deepseek r1 会存在排队现象，但一般不会超时。本文示例在不进行注册登录的前提下，对话排序为第 149（line 149），发送问题到实际输出显示的等待时间约 10 秒，老黄家的余粮一定是最充足的。 作为测试对比，在 deepseek 官方 api 调用出现错误的情况下，匿名状态在网页端翻译本文标题，没有任何排队等待，使用下文的硅基流动 api 也很慢，某为不是纯国产不受任何制约吗？舍不得堆量！登陆后同样使用 nvidia nim 提供的 api 也没有报错，并且响应输出快速。 Nvidia 提供免费免注册的在线全尺寸 deepseek r1 推理服务的同时，也可以注册 nvidia nim 账号以使用 api，注册用户赠送 5000 点积分。在右侧 api 调用代码区，可以直接使用给出的 base_url（https://intergrate.api.nvidia.com/v1），api_key 则可以通过点击右上方的『Get API Key』进行注册并创建。 点击页面右上角的『Login』或右侧的『Get API Key』，都可以打开注册界面。输入电子邮箱开始注册，注册过程参考「视频分享」。 完成注册后，将获得 1000 点积分，使用企业邮箱、额外填写企业信息，进一步获得 4000 点积分，也就是说，普通用户通常可以获得 5000 点积分。企业信息的角色、行业等都可以随意填写，但建议尽量保证企业名称的真实性。填写完成之后点击『Continue』就可以完成填报，会自动进行验证、积分增加和页面重定向。 接下来，就可以将创建 API key 并在相关应用中使用。本文以沉浸式翻译为例，打开设置后，选择『翻译服务』，不要下拉选择 deepseek，而应该点击顶部的添加OpenAI兼容服务。 在自定义 AI 设置页面，关键信息如下： API 接口地址（Base_url）：https://integrate.api.nvidia.com/v1/chat/completions API KEY：你的 api key 模型（Model name）：deepseek-ai/deepseek-r1 填写完毕之后，可点击页面顶部右侧的『点此验证服务』进行验证，填写无误的情况下，都会验证成功。接下来，就可以无视 deepseek 官方抽疯，继续爽玩全尺寸 deepseek-r1 了。 硅基流动 硅基流动是一家中国...

赞(0)webmaster2025-02-08工具 阅读(745)去评论

ChatTTS 是一个开源自然语言处理项目，可以生成自然流畅的语音输出。其训练数据涵盖了大量中英文语料库，包括丰富的对话场景和语境信息，使模型能够生成逼真、自然的语音。更重要的是，chattts 支持对笑声、停顿和插入词等声音元素的控制，使得生成的语音更加生动真实。开源以来，持续火爆。毫无疑问，ChatTTS 是目前最好的文本转语音项目，但对新手而言，由于其版本和 API 的迭代，本地化部署一直存在不低的门槛。本文主要讲解在 windows 11 虚拟环境下本地化部署 ChatTTS 的方法和过程，以 conda 为主。由于 python venv 环境无法在 windows 下顺利编译 pynini，也无法在 venv 环境下通过 conda forge 安装预编译的 pynini 包，适合不需要归一化处理的应用。 Git 拉取项目、下载模型甚至安装 python 包，都离不开稳定的网络环境，有需要的可注册订阅「LH机场」。如果需要一个干净的整合包，可以采用本文随附的整合包，仅包含必须依赖、模型和一个示例 example.py文件，下载可通过关注公众号『智能生活引擎』后，发送关键词『ChatTTS』获取直链下载链接。 前备条件 ChatTTS 本地部署原生为 linux 平台，且迭代较快，很多时候，小伙伴会发现项目主页的示例脚本不做修改无法运行。本文列举的部署方法和过程，在满足以下前备条件的前提下，是肯定可以成功的。 克隆代码仓库 创建并激活虚拟环境 在 ChatTTS 目录下创建 venv 目录，并指定以此目录创建 conda 虚拟环境。激活该环境后，后续所有命令在此环境下执行。 删除通过指定目录创建的虚拟环境应使用以下命令。 安装依赖 需要注意的是 pynini 务必选择 2.1.5 预编译版本，nemo_text_processing 和 WeTextProcessing 依赖于 2.1.5 版本，而非最新的 2.1.6 版本。如需使用 GPU 加速，在「pytorch 官网」，获取正确的安装命令，pip3 可替换为 pip、torchvision 可剔除，并注意示例的 cuda 版本为 11.8，如不同务必自行替换。 需要使用 jupyter notebook 运行的，还需安装 jupyter。 VENV虚拟环境部署ChatTTS 同样，通过 python 自带的 venv，我们也可以创建虚拟环境、本地部署 chattts并制作整合包，依赖的安装都是在虚拟环境下进行的。ffmpeg 等后端音视频处理工具自行安装并配置好环境变量，否则运行会报错。 之后，我们可以在 ChatSTS 目录（注意不是 ChatTTS 子目录）下创建 python 脚本文件example.py。 激活虚拟环境后运行 example.py  脚本，首次运行会自动从 hugging face 下载模型。 example.py 仅仅提供了一个针对当前版本 ChatTTS 可用的示例，在此基础上可以向 ChatGPT 提问，逐步构建完成你期望的应用。包含所有模型的最小整合包，可通过关注公众号『智能生活引擎』后，发送关键词『ChatTTS』获取直链下载链接。

赞(0)webmaster2024-07-08工具 阅读(887)去评论

无门槛免费白嫖GPT4/V、DALLE3等创建、测试、发布专属机器人

赞(0)publisher2024-01-14应用平台 阅读(1012)去评论

用好提示词避免把AI模型用成人工智障(Use good prompts to avoid using AI models as artificial retardation)，10条极为简单但却非常重要的提示词，最后分享两个开源提示词工程项目

赞(1)publisher2024-01-10应用案例 阅读(769)去评论