01 · 1. 方案选择 vllm 选 flash 量化

1. 方案选择 vllm 选 flash 量化

方案选择 vllm 选 flash 量化版本 FP8 用大概 160 gb 显存 刚好 2 张 H20

02 · 2. 架构设计 ┌──────────────

2. 架构设计 ┌──────────────

架构设计 ┌─────────────────────────────────────────────────────────┐ │ 阿里云 GPU 服务器 │ │ ┌─────────────┐ NVLink ┌─────────────┐ │ │ │ GPU 0 │◄────────────►│ GPU 1 │ │ │ │ (H20) │ │ (H20) │ │ │ └──────┬──────┘ └──────┬──────┘ │ │ │ │ │ │ └──────────┬─────────────────┘ │ │ ▼ │ │ ┌─────────────┐ │ │ │ vLLM 推理 │ │ │ │ (TP=2) │ │ │ └─────────────┘ │ └─────────────────────────────────────────────────────────┘ │ ▼ OpenAI-compatible API (http://服务IP:8000/v1)

03 · 3. 具体方案

3. 具体方案

具体方案 3.1 vllm 下载 uv venv uv pip install vllm # 验证安装 source .venv/bin/activate python -c "import vllm; print(f'vLLM version: {vllm.__version__}')" vLLM version: 0.20.1 cuda 一定 13.0 以上 Nvidia 驱动 580 以上 我 12.8 + 570 折腾了蛮久都不行 期间各种报错不断。

3.2 下载模型

modelscope # 安装 modelscope uv pip install modelscope # 下载模型(脚本方式) python -c " from modelscope import snapshot_download snapshot_download('deepseek-ai/DeepSeek-V4-Flash') " # ~/.cache/modelscope 下载在这个文件夹下面 3.3 启动推理服务 python -m vllm.entrypoints.openai.api_server \ --model ~/.cache/modelscope/hub/models/deepseek-ai/DeepSeek-V4-Flash \ --tensor-parallel-size 2 \ --dtype bfloat16 \ --port 7198 \ --trust-remote-code \ --kv-cache-dtype fp8 \ --block-size 256 \ --enable-expert-parallel \ --tokenizer-mode deepseek_v4 \ --max-model-len 4096

04 · 4. 验证可用性 加载 Deepseek 模型

4. 验证可用性 加载 Deepseek 模型

验证可用性 加载 Deepseek 模型参数,加载 cuda 图结构,最后的页面和fastapi是非常相似的,让我一个开发一下熟悉了起来 4.1 健康检查 # 查询已加载的模型 curl http://localhost:7198/v1/models # 验证 GPU 显存占用 nvidia-smi # 预期:两卡显存占用大致均衡,总计约 140-150GB 4.2 基础推理测试 bash curl http://localhost:7198/v1/completions \ -H "Content-Type: application/json" \ -d '{ "model": "deepseek-ai/DeepSeek-V4-Flash", "prompt": "简述混合专家模型(MoE)的工作原理", "max_tokens": 256, "temperature": 0.7 }' 4.3 兼容 OpenAPI curl http://localhost:7198/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "deepseek-ai/DeepSeek-V4-Flash", "messages": [ {"role": "system", "content": "你是一个专业的AI助手。"}, {"role": "user", "content": "解释什么是DeepSeek V4的混合注意力机制"} ], "max_tokens": 512 }'

05 · 5. 感悟

5. 感悟

感悟 5.1 ai 的能力边界 ai的辅助功能是非常强的,但是我的一些关键突破还是在官方文档,自己思考中取得的。 ai的能力取决于你的上限,你的上限有多高,ai的上限就有多高。

5.2 实践中各

ai 的表现 我高强度使用的工具有deepseek,gemini,阿里云workbench agent。 很难说那个更强,上下文是更为本质的因素。 deepseek我觉得是很不错的,但是它被国内的垃圾互联网信息给害了,每次执行前先深度思考,多轮深度搜索,再回答,我觉得这是非常优秀的工作流。 但是到深度搜索这个环节,老是搜索到 csdn 百度的内容,那么最终就是 garbage in garbage out。 gemini 在英文环境就是非常强的,解决了我的很多问题。 阿里云workbench agent由于其对上下文的强掌控,帮我解决了实际操作中很多的心智负担,但是正是如此,他也容易对我的方案进行侵入式改造,造成不可逆的后果,需要谨慎使用。 此外其上下文和记忆管理也是非常拉胯的,在多轮对话后出现明显的降智,tps慢,卡顿等问题。和vscode 通义插件一样。

5.3 ai

infra 和 agent 的选择 更偏向于 agent,暂时没有转 infra 的打算,感觉竞争会比较激烈。 接触 infra 更多是培养在 ai 工程中的全栈能力。

5.4 保护自己的产出

ai 的出现让蒸馏你的语料变成了一个及其迅速的过程。我认为程序员或技术工作者都应该有意识地保护自己的一些产出。 踩得坑,迅速使用linux操作排查问题,用到的资料都是护城河。 可以告诉大家怎么做,但是为什么这么做就要有所保留,不能直接就让ai蒸馏。人类通过发挥主观能动性是可以反推出背后的动机的,但是ai本质上是一个降维工具,从无限维的空间中降维出一些可能符合条件的结论。

5.5 对开源的看法

比起写论文,我更希望参与到开源软件的建设中,如果后续有机会,我会考虑研究 vllm 或者 langchain 这些 ai 时代的基建。 Linux 真的夯中夯,比 windows 和 mac 在 ai 集成上有较强的优越性。由于其开源特质,优质社区,TUI为本质,让ai掌握其上下文是更加轻松的。 在使用 vllm 的过程中,我发现要让开源代码适配更多的用户真的不是一件容易的事情,需要有效的社区反馈以及强的系统设计能力。在开源社区的建设上面,我认为ai是无法取代人类的。

5.6 给 Deepseek 爷爷磕一个 近期豆包付费闹得沸沸扬扬。 我只想说,这几年 Deepseek 的彻底开源把中国ai收费几乎搞没了,美国ai收费也有所收敛。 我承诺坚持使用 deepseek 给它提供训练数据,个人 api 只买 deepseek。