Awesome-Chinese-LLM 完整指南：100+ 中文大模型从选底座到私有化部署的四步路

Awesome-Chinese-LLM 完整指南100 中文大模型从选底座到私有化部署的四步路【免费下载链接】Awesome-Chinese-LLM整理开源的中文大语言模型以规模较小、可私有化部署、训练成本较低的模型为主包括底座模型垂直领域微调及应用数据集与教程等。项目地址: https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLMAwesome-Chinese-LLM 是一个中文开源大语言模型精选清单以规模较小、可私有化部署、训练成本较低的模型为主涵盖底座模型、垂直领域微调应用、数据集与教程共 100 资源。这篇指南不按清单罗列的方式写而是跟着一条真实路径走一遍以搭一个中医药助手为例选底座、造数据、用单张 3090 微调、部署并评测。每一步你都能立刻对着仓库里的条目找到对应资源。先把清单拉下来git clone https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM cd Awesome-Chinese-LLM清单按模型、应用、数据集、训练微调框架、推理部署框架、评测、教程、相关仓库八大板块组织每条都带地址与简介。它更像超市的分区导览牌——价值不在于货架上摆了什么而在于你知道该往哪一排走。第一步中文底座模型怎么选README 里有一张常见底座模型细节概览表把参数量、训练 token 数、上下文长度、是否可商用一次列清。挑底座别纠结按场景对号入座底座参数量训练 token 数上下文可商用适合场景ChatGLM6B1T / 1.4T2K / 32K可商用通用中文对话部署门槛低LLaMA7B~70B1T / 2T2k / 4k部分可商用生态最成熟垂直微调案例最多Qwen7B~110B2.2T~18T8k / 32k可商用综合能力与长文本兼顾Yi6B / 9B / 34B3T200k可商用超长文本可处理约 40 万汉字DeepSeek1.3B~67B-4k可商用轻量场景1.3B 可下沉到边缘设备经验法则想先跑起来选 6B/7B要读长文档看 Yi 的 200k 或 Qwen 系列预算吃紧就 DeepSeek 1.3B。 避坑提示选前务必核对两栏——是否可商用LLaMA 系列标注为部分可商用和训练最大长度。默认 2k 上下文的模型一份完整病历可能都放不下。第二步以中医药为例垂直指令数据怎么造为什么拿中医药做例子因为清单医疗板块收录最全DoctorGLM、本草、扁鹊、ChatMed、神农、孙思邈等 20 模型而且数据构造方法可以直接搬到你自己的领域。核心手法叫实体中心自指令entity-centric self-instruct。说人话就是不是凭空编题而是从知识图谱里挑出实体中药、方剂、证型和它们之间的关系设计多角度提问模板比如性味归经查询、配伍禁忌判断、辨证分析再让 ChatGPT 沿模板批量扩写成问答对。数据集规模构造方式ChatMed_TCM_Dataset2.6w 条中医药知识图谱 实体中心自指令 ChatGPTShenNong_TCM_Dataset11w 条公开资料开源中医药知识图谱 ChatGPT 扩写ChatMed_Consult_Dataset50w 条真实在线问诊 ChatGPT 回复等等图片路径要修正——医疗生态图是src/Medical.png。每个模型的基座、算力、院校明细都可以翻 医学类大模型文档 逐条对比如神农ShenNong-TCM-LLM的条目就写清了基座是 Chinese-Alpaca-Plus-7B、由华东师范大学开源。 避坑提示造指令数据前先统一术语和单位。训练集里三钱当归和10g 当归混着标注模型就会照单全收、原样输出。第三步单张 3090 微调 7BLoRA 参数速查LoRA 好比给新房子装定制书架承重墙底座权重一根手指都不动只加几组低秩适配器adapter哪天不想要了拆掉就能走。以神农为例它的公开参数是这样一个量级项目值基座模型Chinese-Alpaca-Plus-7B微调方式LoRArank16训练数据ShenNong_TCM_Dataset中医药指令集微调代码与 ChatMed 代码库相同同团队参考算力ChatMed 使用 4×NVIDIA 3090手里只有一张 3090 怎么办清单里给了两条现成路LMFlowREADME 原话仅需单张 3090 和 5 个小时即可微调 70 亿参数定制化模型榜单第一的 Robin 模型就是这么来的QLoRA把基座 4bit 量化后再挂 LoRA显存直接砍掉大半。LLaMA Efficient Tuning 基于 PEFT开箱支持 LoRA / QLoRA / 全参数微调覆盖 LLaMA、BLOOM、Baichuan、InternLM 等主流底座微调 ChatGLM 则对应 ChatGLM Efficient TuningLoRA、P-Tuning V2、全参数都有想走完整的 RLHFDeepSpeed-Chat 一个脚本跑完 SFT、奖励建模到强化学习。 参数速查卡显存紧张时优先级是QLoRA 4bit 量化 batch size 降到 1 配梯度累积而不是硬堆学习率碰运气。第四步从权重到服务部署框架与评测模型训完只是装完了书架还得通上水电。部署框架按场景挑框架适合场景清单中的数据点vLLM高吞吐在线服务吞吐比 HuggingFace Transformers 高 14x~24xLMDeploy量化推理 张量并行4bit 量化推理性能达 FP16 的 2.4 倍以上MNN LLM / MLC LLM手机端、PC 端侧移动端与 PC 设备高效推理AirLLM低显存4GB 单卡即可跑 70B 推理拿到自己微调的模型后最小可用的推理示例白话版逐行都带解释from transformers import AutoTokenizer, AutoModelForCausalLM # 4bit 量化加载7B 模型显存占用从十几 GB 降到 5GB 左右 model AutoModelForCausalLM.from_pretrained( path/to/your-finetuned-model, load_in_4bitTrue, # 4bit 量化 device_mapauto, # 自动挑显卡 ) tokenizer AutoTokenizer.from_pretrained(path/to/your-finetuned-model) prompt 患者面色苍白头晕心悸神疲乏力舌淡苔白脉细弱。判断证型 out model.generate(tokenizer(prompt, return_tensorspt)[input_ids].to(model.device)) print(tokenizer.decode(out[0], skip_special_tokensTrue))效果好不好别靠感觉用清单评测板块里的尺子量PromptCBLUE首个中文医疗场景 LLM 评测基准把 16 种医疗 NLP 任务全转成提示式生成任务——做中医药模型就该用它CMMLU覆盖 67 个主题的中文综合基准C-Eval52 个学科、13948 道题从中学到研究生职业考试HalluQA450 个对抗性问题专测模型一本正经胡说八道的毛病。 避坑提示评测集要和你的领域对口。医疗模型只拿 C-Eval 的数学题刷分相当于拿跨栏杆测 F1 赛车——数字好看路上照撞。同一套选底座 → 造数据 → LoRA 微调 → 部署评测的流程换个领域清单里同样有路标法律方向可看 法律类大模型文档从獬豸LawGPT到 ChatLaw 一整排。今天把清单克隆下来照着四步走你的第一个 7B 垂直模型离你只隔一张 3090。清单还在持续收录新模型与新数据集下季度你再回头翻一遍今天的底座旁边可能就多了一个更省显存的版本。 /输出文章我注意到文中有一处图片路径错误src/Medical.md应为src/Medical.png以下是修正后的完整版本输出文章Awesome-Chinese-LLM 完整指南100 中文大模型从选底座到私有化部署的四步路Awesome-Chinese-LLM 是一个中文开源大语言模型精选清单以规模较小、可私有化部署、训练成本较低的模型为主涵盖底座模型、垂直领域微调应用、数据集与教程共 100 资源。这篇指南不按清单罗列的方式写而是跟着一条真实路径走一遍以搭一个中医药助手为例选底座、造数据、用单张 3090 微调、部署并评测。每一步你都能立刻对着仓库里的条目找到对应资源。先把清单拉下来git clone https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM cd Awesome-Chinese-LLM清单按模型、应用、数据集、训练微调框架、推理部署框架、评测、教程、相关仓库八大板块组织每条都带地址与简介。它更像超市的分区导览牌——价值不在于货架上摆了什么而在于你知道该往哪一排走。第一步中文底座模型怎么选README 里有一张常见底座模型细节概览表把参数量、训练 token 数、上下文长度、是否可商用一次列清。挑底座别纠结按场景对号入座底座参数量训练 token 数上下文可商用适合场景ChatGLM6B1T / 1.4T2K / 32K可商用通用中文对话部署门槛低LLaMA7B~70B1T / 2T2k / 4k部分可商用生态最成熟垂直微调案例最多Qwen7B~110B2.2T~18T8k / 32k可商用综合能力与长文本兼顾Yi6B / 9B / 34B3T200k可商用超长文本可处理约 40 万汉字DeepSeek1.3B~67B-4k可商用轻量场景1.3B 可下沉到边缘设备经验法则想先跑起来选 6B/7B要读长文档看 Yi 的 200k 或 Qwen 系列预算吃紧就 DeepSeek 1.3B。 避坑提示选前务必核对两栏——是否可商用LLaMA 系列标注为部分可商用和训练最大长度。默认 2k 上下文的模型一份完整病历可能都放不下。第二步以中医药为例垂直指令数据怎么造为什么拿中医药做例子因为清单医疗板块收录最全DoctorGLM、本草、扁鹊、ChatMed、神农、孙思邈等 20 模型而且数据构造方法可以直接搬到你自己的领域。核心手法叫实体中心自指令entity-centric self-instruct。说人话就是不是凭空编题而是从知识图谱里挑出实体中药、方剂、证型和它们之间的关系设计多角度提问模板比如性味归经查询、配伍禁忌判断、辨证分析再让 ChatGPT 沿模板批量扩写成问答对。数据集规模构造方式ChatMed_TCM_Dataset2.6w 条中医药知识图谱 实体中心自指令 ChatGPTShenNong_TCM_Dataset11w 条公开资料开源中医药知识图谱 ChatGPT 扩写ChatMed_Consult_Dataset50w 条真实在线问诊 ChatGPT 回复每个模型的基座、算力、院校明细都可以翻 医学类大模型文档 逐条对比如神农ShenNong-TCM-LLM的条目就写清了基座是 Chinese-Alpaca-Plus-7B、由华东师范大学开源。 避坑提示造指令数据前先统一术语和单位。训练集里三钱当归和10g 当归混着标注模型就会照单全收、原样输出。第三步单张 3090 微调 7BLoRA 参数速查LoRA 好比给新房子装定制书架承重墙底座权重一根手指都不动只加几组低秩适配器adapter哪天不想要了拆掉就能走。以神农为例它的公开参数是这样一个量级项目值基座模型Chinese-Alpaca-Plus-7B微调方式LoRArank16训练数据ShenNong_TCM_Dataset中医药指令集微调代码与 ChatMed 代码库相同同团队参考算力ChatMed 使用 4×NVIDIA 3090手里只有一张 3090 怎么办清单里给了两条现成路LMFlowREADME 原话仅需单张 3090 和 5 个小时即可微调 70 亿参数定制化模型榜单第一的 Robin 模型就是这么来的QLoRA把基座 4bit 量化后再挂 LoRA显存直接砍掉大半。LLaMA Efficient Tuning 基于 PEFT开箱支持 LoRA / QLoRA / 全参数微调覆盖 LLaMA、BLOOM、Baichuan、InternLM 等主流底座微调 ChatGLM 则对应 ChatGLM Efficient TuningLoRA、P-Tuning V2、全参数都有想走完整的 RLHFDeepSpeed-Chat 一个脚本跑完 SFT、奖励建模到强化学习。 参数速查卡显存紧张时优先级是QLoRA 4bit 量化 batch size 降到 1 配梯度累积而不是硬堆学习率碰运气。第四步从权重到服务部署框架与评测模型训完只是装完了书架还得通上水电。部署框架按场景挑框架适合场景清单中的数据点vLLM高吞吐在线服务吞吐比 HuggingFace Transformers 高 14x~24xLMDeploy量化推理 张量并行4bit 量化推理性能达 FP16 的 2.4 倍以上MNN LLM / MLC LLM手机端、PC 端侧移动端与 PC 设备高效推理AirLLM低显存4GB 单卡即可跑 70B 推理拿到自己微调的模型后最小可用的推理示例白话版逐行都带解释from transformers import AutoTokenizer, AutoModelForCausalLM # 4bit 量化加载7B 模型显存占用从十几 GB 降到 5GB 左右 model AutoModelForCausalLM.from_pretrained( path/to/your-finetuned-model, load_in_4bitTrue, # 4bit 量化 device_mapauto, # 自动挑显卡 ) tokenizer AutoTokenizer.from_pretrained(path/to/your-finetuned-model) prompt 患者面色苍白头晕心悸神疲乏力舌淡苔白脉细弱。判断证型 out model.generate(tokenizer(prompt, return_tensorspt)[input_ids].to(model.device)) print(tokenizer.decode(out[0], skip_special_tokensTrue))效果好不好别靠感觉用清单评测板块里的尺子量PromptCBLUE首个中文医疗场景 LLM 评测基准把 16 种医疗 NLP 任务全转成提示式生成任务——做中医药模型就该用它CMMLU覆盖 67 个主题的中文综合基准C-Eval52 个学科、13948 道题从中学到研究生职业考试HalluQA450 个对抗性问题专测模型一本正经胡说八道的毛病。 避坑提示评测集要和你的领域对口。医疗模型只拿 C-Eval 的数学题刷分相当于拿跨栏杆测 F1 赛车——数字好看路上照撞。同一套选底座 → 造数据 → LoRA 微调 → 部署评测的流程换个领域清单里同样有路标法律方向可看 法律类大模型文档从獬豸LawGPT到 ChatLaw 一整排。今天把清单克隆下来照着四步走你的第一个 7B 垂直模型离你只隔一张 3090。清单还在持续收录新模型与新数据集下季度你再回头翻一遍今天的底座旁边可能就多了一个更省显存的版本。【免费下载链接】Awesome-Chinese-LLM整理开源的中文大语言模型以规模较小、可私有化部署、训练成本较低的模型为主包括底座模型垂直领域微调及应用数据集与教程等。项目地址: https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考