关键命令amd-smi python-cimport torch; print(PyTorch:, torch.__version__); print(ROCm available:, torch.cuda.is_available()); print(Device:, torch.cuda.get_device_name(0) if torch.cuda.is_available() else N/A)pip configsetglobal.index-url https://mirrors.cloud.tencent.com/pypi/simple/ pipinstallmodelscope modelscope download--modelgoogle/gemma-4-E4B-it--cache_dir./modelsls-lh./models/google/gemma-4-E4B-it/ uv pip uninstall torchvision# 经测试在该云环境中需卸载重新安装这个库才能正常使用uv pipinstallvllm torchvision\--no-cache\--index-url https://mirrors.aliyun.com/pypi/simple/\--extra-index-url https://wheels.vllm.ai/rocm/\-Uvllm serve ./models/google/gemma-4-E4B-it/ --served-model-name gemma-4-E4B-it# 可以降低最大上下文长度vllm serve ./models/google/gemma-4-E4B-it/ --served-model-name gemma-4-E4B-itGemma 4 是什么Google(旗下 DeepMind 团队)在 2026 年推出的一个 开源大模型家族 。它和 Google 那款闭源、收费的 Gemini 3 用的是同一套底层技术,所以你可以把它看成 Gemini 3 的开源师弟——区别在于,Gemma 把模型权重公开放了出来,而且用的是商业友好的 Apache 2.0 许可 ,意味着 不光能免费下载,还能免费商用 。开源这一点对本次教程特别关键 :任何人都能免费下载模型文件、装到自己环境里运行、甚至拿自己的数据去改造它 (也就是任务四要做的微调)。而闭源模型(比如 GPT、Gemini),你只能隔着网络调用,看不到也改不动里面的东西。顺带一提,Gemma 系列至今 已被下载超过 4 亿次、衍生出 10 万多个模型 , 是开源圈里用得最广的家族之一 。Gemma 4 有好几种大小,从能塞进手机、树莓派的,到要用服务器才跑得动的都有,一共四款:E2B、E4B、26B 和 31B。本次教程用的是其中较小的 E4B :体积小到 单张显卡就能跑,又足够聪明,正好适合上手学习 。(型号里的E是有效参数的意思,E4B 大致是 40 亿参数这个量级。)别看个头小,Gemma 4 这一代主打的就是 单位参数下的高智能 ——按 Google 官方说法,它家最大的 31B 模型在权威的开放模型排行榜上能排进全球前三,甚至打赢比它大 20 倍的对手。能力上,它会做多步推理、能写代码、能看图、能听音频、一次能读进很长的内容,还支持 140 多种语言。本次教程为什么选它? 开源 (能下能改、还能免费商用)、 够小 (单卡跑得动)、 够强 。更多信息详见谷歌官方对Gemma 4 的介绍 https://mp.weixin.qq.com/s/9ocQ4g2v8zmKuIMcle3sDA这几个词在任务三里会反复出现搞懂了后面就不犯迷糊。1️⃣ 参数 / 权重 / “多少 B”参数Parameter模型内部的数字就像模型的大脑神经元的“记忆”。每个参数都是一个固定的数模型就是靠这些数进行运算算出答案。权重Weight参数的另一种叫法完全等价。“多少 B”B 10 亿。模型名字里的 4B、15B就是模型里参数的数量。例如4B 模型有 40 亿个参数。这几个词在任务三里会反复出现搞懂了后面就不犯迷糊。1️⃣ 参数 / 权重 / “多少 B”参数Parameter模型内部的数字就像模型的大脑神经元的“记忆”。每个参数都是一个固定的数模型就是靠这些数进行运算算出答案。权重Weight参数的另一种叫法完全等价。“多少 B”B 10 亿。模型名字里的 4B、15B就是模型里参数的数量。例如4B 模型有 40 亿个参数。模型文件你下载的 model.safetensors 文件里存的就是这些参数。文件大比如 15G是正常的因为存储结构和精度决定了文件大小。一句话理解 参数 模型的“本体”模型会不会聊天、聪不聪明全在这堆数字里。 你下载的 model.safetensors 文件里存的就是这些参数。文件大比如 15G是正常的因为存储结构和精度决定了文件大小。
运行 Gemma4 大模型TASK01
关键命令amd-smi python-cimport torch; print(PyTorch:, torch.__version__); print(ROCm available:, torch.cuda.is_available()); print(Device:, torch.cuda.get_device_name(0) if torch.cuda.is_available() else N/A)pip configsetglobal.index-url https://mirrors.cloud.tencent.com/pypi/simple/ pipinstallmodelscope modelscope download--modelgoogle/gemma-4-E4B-it--cache_dir./modelsls-lh./models/google/gemma-4-E4B-it/ uv pip uninstall torchvision# 经测试在该云环境中需卸载重新安装这个库才能正常使用uv pipinstallvllm torchvision\--no-cache\--index-url https://mirrors.aliyun.com/pypi/simple/\--extra-index-url https://wheels.vllm.ai/rocm/\-Uvllm serve ./models/google/gemma-4-E4B-it/ --served-model-name gemma-4-E4B-it# 可以降低最大上下文长度vllm serve ./models/google/gemma-4-E4B-it/ --served-model-name gemma-4-E4B-itGemma 4 是什么Google(旗下 DeepMind 团队)在 2026 年推出的一个 开源大模型家族 。它和 Google 那款闭源、收费的 Gemini 3 用的是同一套底层技术,所以你可以把它看成 Gemini 3 的开源师弟——区别在于,Gemma 把模型权重公开放了出来,而且用的是商业友好的 Apache 2.0 许可 ,意味着 不光能免费下载,还能免费商用 。开源这一点对本次教程特别关键 :任何人都能免费下载模型文件、装到自己环境里运行、甚至拿自己的数据去改造它 (也就是任务四要做的微调)。而闭源模型(比如 GPT、Gemini),你只能隔着网络调用,看不到也改不动里面的东西。顺带一提,Gemma 系列至今 已被下载超过 4 亿次、衍生出 10 万多个模型 , 是开源圈里用得最广的家族之一 。Gemma 4 有好几种大小,从能塞进手机、树莓派的,到要用服务器才跑得动的都有,一共四款:E2B、E4B、26B 和 31B。本次教程用的是其中较小的 E4B :体积小到 单张显卡就能跑,又足够聪明,正好适合上手学习 。(型号里的E是有效参数的意思,E4B 大致是 40 亿参数这个量级。)别看个头小,Gemma 4 这一代主打的就是 单位参数下的高智能 ——按 Google 官方说法,它家最大的 31B 模型在权威的开放模型排行榜上能排进全球前三,甚至打赢比它大 20 倍的对手。能力上,它会做多步推理、能写代码、能看图、能听音频、一次能读进很长的内容,还支持 140 多种语言。本次教程为什么选它? 开源 (能下能改、还能免费商用)、 够小 (单卡跑得动)、 够强 。更多信息详见谷歌官方对Gemma 4 的介绍 https://mp.weixin.qq.com/s/9ocQ4g2v8zmKuIMcle3sDA这几个词在任务三里会反复出现搞懂了后面就不犯迷糊。1️⃣ 参数 / 权重 / “多少 B”参数Parameter模型内部的数字就像模型的大脑神经元的“记忆”。每个参数都是一个固定的数模型就是靠这些数进行运算算出答案。权重Weight参数的另一种叫法完全等价。“多少 B”B 10 亿。模型名字里的 4B、15B就是模型里参数的数量。例如4B 模型有 40 亿个参数。这几个词在任务三里会反复出现搞懂了后面就不犯迷糊。1️⃣ 参数 / 权重 / “多少 B”参数Parameter模型内部的数字就像模型的大脑神经元的“记忆”。每个参数都是一个固定的数模型就是靠这些数进行运算算出答案。权重Weight参数的另一种叫法完全等价。“多少 B”B 10 亿。模型名字里的 4B、15B就是模型里参数的数量。例如4B 模型有 40 亿个参数。模型文件你下载的 model.safetensors 文件里存的就是这些参数。文件大比如 15G是正常的因为存储结构和精度决定了文件大小。一句话理解 参数 模型的“本体”模型会不会聊天、聪不聪明全在这堆数字里。 你下载的 model.safetensors 文件里存的就是这些参数。文件大比如 15G是正常的因为存储结构和精度决定了文件大小。
