这两年开源模型从 Llama 到 Qwen再到 Gemma能力一点点逼近闭源模型。于是不少人开始动心思想要在自己电脑上本地部署模型试图解决高昂的 Token 费用。但在 HuggingFace 上有上百多万个开源模型参数量从 1B 到 100B该如何选择。对于大部分人来说光搞清楚自己的电脑能跑哪些模型可能就得折腾大半天。更惨的是当我们把模型权重下载到本地并部署了才发现输出一句话得等半分钟。根本无法使用然后再卸载删除重新找模型重新下载部署可以说试错成本极高。最近找到一个开源的命令行工具whichllm能帮我们解决本地部署模型选择这个痛点。它能根据电脑的硬件配置给我们推荐哪个模型能跑起来又快又好。与其他检测工具有所区别它不止关注模型能不能跑还会判断跑哪个模型更划算把性能拉满。简单举个例子。一张 24GB 显存的 RTX 4090理论上能跑得下 32B 的模型。但它会将 27B 模型排在第一推荐位置理由各项基准测试评分更高而且是最新模型。也就是说它不止告诉我们哪些模型能跑还会考虑到哪些模型体验更好、性价比更高。下面再来看下如何使用。安装之后只需打开终端输入whichllm命令行它就会自动检测我们硬件配置。市面上主流的 N 卡、A 卡、Apple 芯片甚至纯 CPU 的机器都能识别出来。接着就会基于我们的配置信息计算清楚每个模型大概能跑多少 tok/s。表格里会显示出模型名称、参数量、量化方式、综合评分还有下载量所有信息一目了然。另外工具还有几个实用的命令也值得说一说。想要直接上手体验只需一条命令whichllm run就能下载、部署模型并开启对话。如果在纠结购买哪张显卡可以先跑一下whichllm --gpu RTX 4090模拟看看可以跑哪些模型。反过来想知道某个模型需要什么级别的显卡才能跑则可以用whichllm plan这条命令。至于如果安装使用 whichllm只需一行 pip 命令就能搞定。pip install whichllm装好之后敲whichllm命令即可开始它会自动检测硬件并给出推荐列表。不过也有几个缺点也跟大家客观说一下。它的速度计算是基于显存带宽和参数量推算的可能会跟实测有些出入。对于 Windows 上的 A 卡检测精度也不如 Linux需要靠系统接口去补全信息。另外就是在 Apple 芯片和纯 CPU 环境下为了稳定它只推荐 GGUF 格式。写在最后关于本地跑模型这件事后面肯定有越来越多的人会去尝试。那么前提比较关键的是不要只顾着「能跑多大模型」而是要选择好模型。whichllm 的出现便帮我们把试错的成本降下来了剩下的精力花在真正有意思的事情上。如何学习AI大模型大模型时代火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业”“谁的饭碗又将不保了”等问题热议不断。不如成为「掌握AI工具的技术人」毕竟AI时代谁先尝试谁就能占得先机想正式转到一些新兴的 AI 行业不仅需要系统的学习AI大模型。同时也要跟已有的技能结合辅助编程提效或上手实操应用增加自己的职场竞争力。但是LLM相关的内容很多现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学学习成本和门槛很高那么针对所有自学遇到困难的同学们我帮大家系统梳理大模型学习脉络将这份 LLM大模型资料 分享出来包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 有需要的小伙伴点击下方链接即可前往获取学习路线第一阶段 从大模型系统设计入手讲解大模型的主要方法第二阶段 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用第三阶段 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统第四阶段 大模型知识库应用开发以LangChain框架为例构建物流行业咨询智能问答系统第五阶段 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型第六阶段 以SD多模态大模型为主搭建了文生图小程序案例第七阶段 以大模型平台应用与开发为主通过星火大模型文心大模型等成熟大模型构建大模型行业应用。学会后的收获• 基于大模型全栈工程实现前端、后端、产品经理、设计、数据分析等通过这门课可获得不同能力• 能够利用大模型解决相关实际项目需求 大数据时代越来越多的企业和机构需要处理海量数据利用大模型技术可以更好地处理这些数据提高数据分析和决策的准确性。因此掌握大模型应用开发 技能可以让程序员更好地应对实际项目需求• 基于大模型和企业数据AI应用开发实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能 学会Fine-tuning垂直训练大模型数据准备、数据蒸馏、大模型部署一站式掌握• 能够完成时下热门大模型垂直领域模型训练能力提高程序员的编码能力 大模型应用开发需要掌握机器学习算法、深度学习框架等技术这些技术的掌握可以提高程序员的编码能力和分析能力让程序员更加熟练地编写高质量的代码。1.AI大模型学习路线图2.100套AI大模型商业化落地方案3.100集大模型视频教程4.200本大模型PDF书籍5.LLM面试题合集6.AI产品经理资源合集
本地跑大模型，终于找到靠谱 AI 工具了。
这两年开源模型从 Llama 到 Qwen再到 Gemma能力一点点逼近闭源模型。于是不少人开始动心思想要在自己电脑上本地部署模型试图解决高昂的 Token 费用。但在 HuggingFace 上有上百多万个开源模型参数量从 1B 到 100B该如何选择。对于大部分人来说光搞清楚自己的电脑能跑哪些模型可能就得折腾大半天。更惨的是当我们把模型权重下载到本地并部署了才发现输出一句话得等半分钟。根本无法使用然后再卸载删除重新找模型重新下载部署可以说试错成本极高。最近找到一个开源的命令行工具whichllm能帮我们解决本地部署模型选择这个痛点。它能根据电脑的硬件配置给我们推荐哪个模型能跑起来又快又好。与其他检测工具有所区别它不止关注模型能不能跑还会判断跑哪个模型更划算把性能拉满。简单举个例子。一张 24GB 显存的 RTX 4090理论上能跑得下 32B 的模型。但它会将 27B 模型排在第一推荐位置理由各项基准测试评分更高而且是最新模型。也就是说它不止告诉我们哪些模型能跑还会考虑到哪些模型体验更好、性价比更高。下面再来看下如何使用。安装之后只需打开终端输入whichllm命令行它就会自动检测我们硬件配置。市面上主流的 N 卡、A 卡、Apple 芯片甚至纯 CPU 的机器都能识别出来。接着就会基于我们的配置信息计算清楚每个模型大概能跑多少 tok/s。表格里会显示出模型名称、参数量、量化方式、综合评分还有下载量所有信息一目了然。另外工具还有几个实用的命令也值得说一说。想要直接上手体验只需一条命令whichllm run就能下载、部署模型并开启对话。如果在纠结购买哪张显卡可以先跑一下whichllm --gpu RTX 4090模拟看看可以跑哪些模型。反过来想知道某个模型需要什么级别的显卡才能跑则可以用whichllm plan这条命令。至于如果安装使用 whichllm只需一行 pip 命令就能搞定。pip install whichllm装好之后敲whichllm命令即可开始它会自动检测硬件并给出推荐列表。不过也有几个缺点也跟大家客观说一下。它的速度计算是基于显存带宽和参数量推算的可能会跟实测有些出入。对于 Windows 上的 A 卡检测精度也不如 Linux需要靠系统接口去补全信息。另外就是在 Apple 芯片和纯 CPU 环境下为了稳定它只推荐 GGUF 格式。写在最后关于本地跑模型这件事后面肯定有越来越多的人会去尝试。那么前提比较关键的是不要只顾着「能跑多大模型」而是要选择好模型。whichllm 的出现便帮我们把试错的成本降下来了剩下的精力花在真正有意思的事情上。如何学习AI大模型大模型时代火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业”“谁的饭碗又将不保了”等问题热议不断。不如成为「掌握AI工具的技术人」毕竟AI时代谁先尝试谁就能占得先机想正式转到一些新兴的 AI 行业不仅需要系统的学习AI大模型。同时也要跟已有的技能结合辅助编程提效或上手实操应用增加自己的职场竞争力。但是LLM相关的内容很多现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学学习成本和门槛很高那么针对所有自学遇到困难的同学们我帮大家系统梳理大模型学习脉络将这份 LLM大模型资料 分享出来包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 有需要的小伙伴点击下方链接即可前往获取学习路线第一阶段 从大模型系统设计入手讲解大模型的主要方法第二阶段 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用第三阶段 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统第四阶段 大模型知识库应用开发以LangChain框架为例构建物流行业咨询智能问答系统第五阶段 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型第六阶段 以SD多模态大模型为主搭建了文生图小程序案例第七阶段 以大模型平台应用与开发为主通过星火大模型文心大模型等成熟大模型构建大模型行业应用。学会后的收获• 基于大模型全栈工程实现前端、后端、产品经理、设计、数据分析等通过这门课可获得不同能力• 能够利用大模型解决相关实际项目需求 大数据时代越来越多的企业和机构需要处理海量数据利用大模型技术可以更好地处理这些数据提高数据分析和决策的准确性。因此掌握大模型应用开发 技能可以让程序员更好地应对实际项目需求• 基于大模型和企业数据AI应用开发实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能 学会Fine-tuning垂直训练大模型数据准备、数据蒸馏、大模型部署一站式掌握• 能够完成时下热门大模型垂直领域模型训练能力提高程序员的编码能力 大模型应用开发需要掌握机器学习算法、深度学习框架等技术这些技术的掌握可以提高程序员的编码能力和分析能力让程序员更加熟练地编写高质量的代码。1.AI大模型学习路线图2.100套AI大模型商业化落地方案3.100集大模型视频教程4.200本大模型PDF书籍5.LLM面试题合集6.AI产品经理资源合集
系统实战：原理、配置与避坑指南)