AI技能实战指南：从提示工程到RAG与LoRA微调全流程解析

1. 项目概述与核心价值最近在GitHub上看到一个挺有意思的仓库叫tqviet1978/ai-skills。光看名字你可能会觉得这又是一个关于“AI技能”的泛泛而谈的教程合集。但点进去仔细研究后我发现它的定位非常精准更像是一个为开发者、技术爱好者和希望系统提升AI应用能力的人准备的“实战工具箱”与“技能图谱”。它不是简单地罗列概念而是聚焦于如何将AI技术特别是当下热门的生成式AI和大语言模型转化为解决实际问题的具体能力。这个项目的核心价值在于“连接”与“落地”。它试图弥合“知道AI很强大”和“真正能用AI做出东西”之间的鸿沟。对于初学者它提供了一个结构化的学习路径告诉你除了调API之外还需要关注哪些底层技能对于有一定经验的开发者它则像一份检查清单帮你查漏补缺看看在提示工程、数据准备、模型微调乃至部署优化等环节是否还有可以精进的地方。我自己在接触各类AI项目时常常感到知识是碎片化的而这个仓库似乎在尝试将这些碎片拼凑成一幅更完整的图景强调的是一套可迁移、可组合的“技能”而非孤立的知识点。2. 技能体系深度拆解超越调API的开发者素养2.1 核心技能域划分根据对仓库内容结构的分析我们可以将其中蕴含的AI技能体系大致划分为几个相互关联的域。这不仅仅是工具的使用更是一种思维方式和工程能力的培养。第一域基础交互与提示工程这是大多数人接触AI的第一站但深度远超“问问题”。它包括了基础指令设计如何清晰、无歧义地描述任务。比如对比“写一篇散文”和“写一篇约800字、以‘秋日黄昏’为主题、略带怀旧伤感的抒情散文要求运用比喻和通感修辞”。上下文管理如何在多轮对话中维持上下文的一致性处理长文档时如何有效提供背景信息。例如让AI续写代码时如何提供之前的函数定义和数据结构。角色与风格设定通过系统提示词System Prompt为AI赋予特定角色如“资深Python代码审查员”、“专业科技文章翻译”从而获得更专业、风格更统一的输出。复杂任务链分解将一个大任务如“开发一个简易网站”分解为AI可以逐步执行的子任务序列需求分析、技术选型、前端组件设计、后端API设计、代码实现并通过多次交互引导AI完成。实操心得很多人抱怨AI输出质量不稳定很多时候问题出在提示词过于模糊。我的经验是在发出指令前自己先在心里把任务拆解到最细的颗粒度并把所有假设和约束条件写清楚。把AI想象成一个能力极强但需要精确图纸的工程师而不是一个能读懂你心思的魔术师。第二域数据工程与处理AI模型的“燃料”是数据。这一技能域关注如何为AI准备、处理和优化数据。数据收集与清洗从各种来源网页、文档、数据库获取非结构化或半结构化数据并进行清洗去重、格式化、纠正错误。例如为训练一个客服问答机器人如何从历史聊天记录中提取高质量的问答对。数据格式化与增强将数据转换为模型友好的格式如JSONL用于微调。对于数据量不足的情况如何使用现有数据通过回译、同义词替换、句式变换等方式进行数据增强。向量化与嵌入理解文本嵌入Embedding的概念将文本转换为数值向量并利用向量数据库如ChromaDB, Pinecone, Weaviate实现基于语义的检索这是构建高效检索增强生成RAG应用的基础。第三域模型集成与微调当通用模型无法满足特定需求时就需要更深度的干预。API集成与成本优化熟练调用如OpenAI、Anthropic、Google Gemini等主流模型的API并设计策略优化token使用、管理速率限制、实现异步调用以控制成本和提升性能。开源模型本地部署学习使用Ollama、LM Studio、vLLM等工具在本地或自有服务器上部署Llama、Mistral、Qwen等开源模型实现数据隐私和完全的控制权。模型微调实战理解何时需要微调领域知识深度、风格一致性要求高时。掌握使用PEFT参数高效微调技术如LoRA低秩适应在消费级GPU上对模型进行定制化训练。这涉及到准备训练数据、配置训练参数、监控训练过程以及评估微调后的模型性能。2.2 技能间的协同效应这些技能域并非孤岛而是高度协同的。一个完整的AI应用往往是这些技能的串联用提示工程设计出清晰的任务指令和交互流程。用数据工程技能准备高质量的训练数据或检索资料库。通过模型微调或精心的上下文设计让模型更懂你的领域。最终通过集成和部署将能力封装成可用的服务或应用。例如构建一个智能法律条文查询助手提示工程设计系统提示词“你是一个严谨的法律助手只基于提供的法律条文库回答问题引用具体条款。对于不确定或超出范围的问题明确告知无法回答。”数据工程收集、清洗法律条文将其分块并转换为向量存入数据库。模型集成采用RAG架构用户提问时先从向量库检索相关法条片段将其作为上下文连同问题一起发送给大模型生成答案。进阶如果发现通用模型对法律术语理解不深可以考虑用法律文书数据对开源模型进行LoRA微调以提升专业性。3. 核心工具链与实操环境搭建“工欲善其事必先利其器。”AI技能的实践离不开一套顺手的工具链。这里我结合自己的经验梳理出一套从探索到生产可用的环境配置方案。3.1 开发与实验环境对于个人学习和中小型项目本地环境足够灵活。1. Python环境与包管理这是基石。强烈建议使用conda或venv创建独立的虚拟环境避免包版本冲突。# 使用conda创建环境 conda create -n ai-skills python3.10 conda activate ai-skills # 或使用venv python -m venv ai-skills-env source ai-skills-env/bin/activate # Linux/Mac # ai-skills-env\Scripts\activate # Windows核心依赖通常包括openai,anthropic,langchain/llama-index用于编排chromadb/qdrant-client向量数据库transformers,accelerate,peft用于微调jupyter用于实验。2. 本地大模型运行器OllamaOllama是目前最易用的本地大模型运行工具。它简化了模型下载、加载和运行通过类OpenAI的API接口的全过程。# 安装Ollama详见官网 # 拉取并运行一个模型如Llama 3 ollama run llama3 # 在另一个终端可以通过curl与模型API交互 curl http://localhost:11434/api/generate -d { model: llama3, prompt: 为什么天空是蓝色的 }对于开发你可以直接使用其API端口默认11434就像调用OpenAI一样非常适合快速原型验证。3. 向量数据库ChromaDB轻量级、易嵌入适合入门和开发阶段。它可以直接在Python脚本中运行无需单独服务器。import chromadb chroma_client chromadb.PersistentClient(path./chroma_db) # 数据持久化 collection chroma_client.create_collection(namemy_docs) # 添加文档及其嵌入 collection.add( documents[文档1内容, 文档2内容], metadatas[{source: doc1}, {source: doc2}], ids[id1, id2] ) # 语义检索 results collection.query(query_texts[查询问题], n_results2)3.2 进阶与生产级工具当项目需要更强大的能力、协作或准备上线时需要考虑以下工具。1. 开发框架LangChain vs LlamaIndex两者都是优秀的AI应用编排框架。LangChain更像“乐高”提供了极其丰富的组件Models, Prompts, Chains, Agents, Memory等灵活性极高你可以自由组合构建复杂的工作流。学习曲线相对陡峭。LlamaIndex核心专注于RAG和数据索引。如果你构建的应用核心是“让模型更好地利用你的私有数据”LlamaIndex提供了更直接、更优化的数据加载、索引和检索接口。它抽象得很好让RAG的实现变得更简单。选择建议如果你的应用逻辑复杂涉及多步推理、工具调用AgentLangChain是强大选择。如果你的核心需求是构建一个高性能、专注的文档问答或知识库系统从LlamaIndex开始会更高效。2. 生产级向量数据库Qdrant 或 Weaviate当数据量变大、要求高并发和可扩展性时需要独立的向量数据库服务。Qdrant开源用Rust编写性能优异Docker部署简单API友好。支持多种距离度量、有效负载过滤和稀疏向量。Weaviate开源内置模块化设计除了向量检索还集成了生成模块可连接OpenAI等能一站式完成检索和生成。部署一个Qdrant服务非常简单docker pull qdrant/qdrant docker run -p 6333:6333 -p 6334:6334 \ -v $(pwd)/qdrant_storage:/qdrant/storage:z \ qdrant/qdrant之后在代码中使用qdrant-client连接即可。3. 模型微调与评估平台Google Colab / Kaggle Notebooks提供免费GPU资源是入门微调实验的绝佳场所。Hugging Face Transformers PEFT这是实际进行微调的技术栈核心。PEFT库让LoRA等高效微调技术触手可及。Weights Biases (WB) 或 MLflow用于跟踪训练实验、记录超参数、监控损失和评估指标对于严肃的模型迭代至关重要。4. 从零构建一个RAG应用全流程实战理论说再多不如动手做一遍。我们以构建一个“技术博客知识问答助手”为例串联起从数据准备到应用部署的核心技能。4.1 第一步数据准备与向量化假设我们有一批Markdown格式的技术博客文章。import os from langchain.document_loaders import DirectoryLoader, UnstructuredMarkdownLoader from langchain.text_splitter import RecursiveCharacterTextSplitter from langchain.embeddings import OpenAIEmbeddings # 或使用开源模型嵌入 from langchain.vectorstores import Chroma # 1. 加载文档 loader DirectoryLoader(./my_blog_posts/, glob**/*.md, loader_clsUnstructuredMarkdownLoader) documents loader.load() print(f加载了 {len(documents)} 篇文档) # 2. 分割文本避免超出模型上下文长度 text_splitter RecursiveCharacterTextSplitter( chunk_size1000, # 每个块的大小 chunk_overlap200, # 块之间的重叠保持上下文连贯 separators[\n\n, \n, 。, , , , ] # 分割符优先级 ) chunks text_splitter.split_documents(documents) print(f分割为 {len(chunks)} 个文本块) # 3. 生成嵌入并存入向量库 # 使用OpenAI的嵌入模型需设置API_KEY embeddings OpenAIEmbeddings(modeltext-embedding-3-small) # 或者使用开源嵌入模型如HuggingFaceEmbeddings # from langchain.embeddings import HuggingFaceEmbeddings # embeddings HuggingFaceEmbeddings(model_nameBAAI/bge-small-zh-v1.5) vectorstore Chroma.from_documents( documentschunks, embeddingembeddings, persist_directory./blog_chroma_db # 持久化目录 ) vectorstore.persist() # 保存到磁盘注意事项文本分割的chunk_size和chunk_overlap是关键参数。大小取决于你的文档特点和所用嵌入模型的最佳上下文长度通常512或1024。重叠部分能防止关键信息在分割时被切断。对于技术博客按章节##分割可能比单纯按字符数更有效。4.2 第二步构建检索与生成链这里我们使用LangChain来编排整个流程。from langchain.chains import RetrievalQA from langchain.chat_models import ChatOpenAI # 或使用ChatOllama from langchain.prompts import PromptTemplate # 1. 加载已保存的向量库 persistent_vectorstore Chroma( persist_directory./blog_chroma_db, embedding_functionembeddings ) retriever persistent_vectorstore.as_retriever( search_typesimilarity, # 相似度检索 search_kwargs{k: 4} # 返回最相关的4个片段 ) # 2. 定义提示词模板 prompt_template 你是一个专业的技术助手请严格根据以下提供的上下文信息来回答问题。如果上下文中的信息不足以回答问题请直接说“根据已知信息无法回答此问题”不要编造答案。 上下文 {context} 问题{question} 请给出专业、清晰的回答 PROMPT PromptTemplate( templateprompt_template, input_variables[context, question] ) # 3. 选择LLM # 方案A使用OpenAI GPT llm ChatOpenAI(model_namegpt-4o-mini, temperature0.1) # temperature低输出更确定 # 方案B使用本地Ollama运行的模型 # from langchain.llms import Ollama # llm Ollama(modelllama3) # 4. 创建检索问答链 qa_chain RetrievalQA.from_chain_type( llmllm, chain_typestuff, # 将检索到的所有上下文“塞”进提示词 retrieverretriever, chain_type_kwargs{prompt: PROMPT}, return_source_documentsTrue # 返回源文档便于溯源 ) # 5. 提问 result qa_chain(在博客中关于Python异步编程提到了哪些最佳实践) print(答案, result[result]) print(\n来源) for doc in result[source_documents]: print(f- {doc.metadata.get(source, Unknown)}: {doc.page_content[:200]}...)4.3 第三步优化检索效果基础的相似性检索可能不够精准我们可以进行优化。1. 元数据过滤在存储文档时加入更多元数据如文章标题、作者、发布日期、标签检索时可以进行过滤。# 加载文档时可以自定义元数据 for i, chunk in enumerate(chunks): chunk.metadata[doc_title] extract_title_from_path(chunk.metadata[source]) chunk.metadata[tags] extract_tags_from_content(chunk.page_content) # 检索时使用元数据过滤器 retriever vectorstore.as_retriever( search_kwargs{ k: 4, filter: {tags: {$contains: Python}} # 只检索标签包含Python的块 } )2. 混合搜索结合关键词搜索BM25和向量搜索兼顾精确匹配和语义相似度。from langchain.retrievers import BM25Retriever, EnsembleRetriever from langchain.retrievers import ContextualCompressionRetriever from langchain.retrievers.document_compressors import LLMChainExtractor # 创建BM25检索器基于关键词 bm25_retriever BM25Retriever.from_documents(chunks) bm25_retriever.k 2 # 创建向量检索器 vector_retriever persistent_vectorstore.as_retriever(search_kwargs{k: 2}) # 集成检索器 ensemble_retriever EnsembleRetriever( retrievers[bm25_retriever, vector_retriever], weights[0.4, 0.6] # 给向量检索更高权重 ) # 可选使用LLM对检索结果进行压缩/重排只保留最相关的部分 compressor LLMChainExtractor.from_llm(llm) compression_retriever ContextualCompressionRetriever( base_compressorcompressor, base_retrieverensemble_retriever ) qa_chain RetrievalQA.from_chain_type( llmllm, retrievercompression_retriever, ... # 使用优化后的检索器 )5. 模型微调实战用LoRA定制专属模型当通用模型在特定领域如医疗、法律、你公司的内部文档表现不佳或者你需要模型遵循一种非常固定的输出格式时微调就是必要的。全参数微调成本高昂而LoRALow-Rank Adaptation技术让我们可以在消费级GPU上高效微调大模型。5.1 微调前准备数据与模型目标微调一个开源模型如Mistral-7B使其更好地以“技术文档风格”回答编程问题。1. 数据准备你需要一个高质量的指令-回答对数据集。格式通常是JSONL每条记录包含instruction、input可选、output。{ instruction: 用Python编写一个函数计算斐波那契数列的第n项。, input: , output: def fibonacci(n):\n if n 0:\n return \输入必须为正整数\\n elif n 1 or n 2:\n return 1\n else:\n a, b 1, 1\n for _ in range(3, n1):\n a, b b, a b\n return b\n# 示例\nprint(fibonacci(10)) # 输出55 }你可以从现有数据集中筛选或利用强大的GPT-4/Claude来自动生成一批高质量的合成数据。2. 模型与库选择我们将使用Hugging Face的transformers、peft和trl库。pip install transformers accelerate peft trl bitsandbytes datasetsbitsandbytes库用于4位量化加载模型极大减少显存占用。5.2 LoRA微调脚本核心解析下面是一个简化的训练脚本核心部分import torch from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments from peft import LoraConfig, get_peft_model, TaskType from trl import SFTTrainer from datasets import load_dataset # 1. 加载模型和分词器使用4位量化 model_name mistralai/Mistral-7B-Instruct-v0.2 model AutoModelForCausalLM.from_pretrained( model_name, load_in_4bitTrue, # 4位量化 device_mapauto, # 自动分配设备 torch_dtypetorch.float16, ) tokenizer AutoTokenizer.from_pretrained(model_name) tokenizer.pad_token tokenizer.eos_token # 设置填充令牌 # 2. 配置LoRA lora_config LoraConfig( r16, # LoRA的秩rank影响参数量和能力通常8-64 lora_alpha32, # 缩放参数 target_modules[q_proj, k_proj, v_proj, o_proj], # 针对Transformer的注意力模块 lora_dropout0.05, biasnone, task_typeTaskType.CAUSAL_LM ) model get_peft_model(model, lora_config) model.print_trainable_parameters() # 查看可训练参数通常只占原模型0.1%左右 # 3. 加载并预处理数据集 dataset load_dataset(json, data_filesmy_instruction_data.jsonl, splittrain) def format_instruction(example): text f### Instruction:\n{example[instruction]}\n\n if example[input]: text f### Input:\n{example[input]}\n\n text f### Response:\n{example[output]} return {text: text} dataset dataset.map(format_instruction) # 4. 配置训练参数 training_args TrainingArguments( output_dir./lora-mistral-tech, per_device_train_batch_size4, # 根据GPU显存调整 gradient_accumulation_steps4, # 模拟更大的批次大小 num_train_epochs3, logging_steps10, save_steps100, learning_rate2e-4, # LoRA学习率可以稍高 fp16True, remove_unused_columnsFalse, ) # 5. 创建Trainer并开始训练 trainer SFTTrainer( modelmodel, argstraining_args, train_datasetdataset, tokenizertokenizer, max_seq_length1024, # 根据你的数据长度设置 ) trainer.train() trainer.model.save_pretrained(./final_lora_model) # 只保存LoRA权重5.3 合并与使用微调后的模型训练完成后你会得到一个小型的LoRA权重文件通常几十到几百MB。使用它有两种方式方式一动态加载推理时合并from peft import PeftModel base_model AutoModelForCausalLM.from_pretrained(mistralai/Mistral-7B-Instruct-v0.2, ...) lora_model PeftModel.from_pretrained(base_model, ./final_lora_model) # 使用lora_model进行推理它会在内部合并权重方式二永久合并导出完整模型lora_model PeftModel.from_pretrained(base_model, ./final_lora_model) merged_model lora_model.merge_and_unload() # 合并权重并卸载LoRA配置 merged_model.save_pretrained(./merged_mistral_tech) tokenizer.save_pretrained(./merged_mistral_tech) # 之后就可以像使用普通模型一样加载./merged_mistral_tech实操心得微调的关键在于数据质量。垃圾进垃圾出。确保你的指令-输出对是精准、高质量的。训练时从一个较小的r值如8和较低的epoch如3开始避免过拟合。使用WB监控训练损失如果验证集损失开始上升说明可能过拟合了。另外对于指令微调target_modules选择注意力层的q_proj, v_proj通常效果就不错。6. 避坑指南与效能优化在实际操作中你会遇到各种各样的问题。这里记录了一些常见坑点和优化策略。6.1 提示工程与交互中的常见问题问题1模型输出不听话不按格式要求来。原因提示词中对输出格式的约束不够明确或强硬。解决在系统提示词或用户指令中使用清晰的格式描述甚至提供示例Few-Shot Prompting。例如“请严格按照以下JSON格式输出{summary: 摘要文字, keywords: [关键词1, 关键词2]}”。对于复杂格式可以先让模型“思考”Chain-of-Thought再输出。问题2处理长文档时模型丢失上下文或忽略中间部分。原因模型有上下文窗口限制如4K、8K、128K tokens当输入超过限制早期的信息会被“遗忘”。解决优化检索确保检索到的上下文片段是最相关、最精炼的。分而治之将长文档拆分成有重叠的块分别提问再综合答案。使用支持长上下文的模型如Claude 3200K、GPT-4 Turbo128K或开源模型中的Yi-34B-200K。摘要递归对长文档先进行分段摘要然后基于摘要进行问答。问题3RAG回答“车轱辘话”或包含无关信息。原因检索到的片段可能包含冗余或相关性不高的内容或者LLM在生成时未能很好地筛选信息。解决优化检索尝试混合检索、调整k值返回片段数量、使用元数据过滤。后处理在LLM生成答案后增加一个“验证”或“提炼”步骤让另一个LLM判断答案是否直接来源于上下文并去除无关内容。提示词强化在提示词中强调“仅使用提供的上下文”、“如果上下文没有明确提及请说不知道”。6.2 成本与性能优化策略1. API调用成本控制缓存对相同或相似的查询结果进行缓存可以大幅减少重复调用。可以使用langchain的缓存组件或自建Redis缓存。精简上下文发送给API的上下文不是越多越好。只发送最相关的片段并清理其中的空白、无关字符。使用更经济的模型在非关键步骤使用更便宜、更快的模型如gpt-3.5-turbo进行初稿生成或摘要用gpt-4进行精炼和判断。异步与批处理如果需要处理大量独立项目使用异步调用或批处理API如果支持来提高吞吐量。2. 本地模型推理加速量化使用bitsandbytes的4位或8位量化加载模型能在精度损失极小的情况下大幅降低显存占用和加速推理。推理引擎使用专门的推理引擎如vLLM支持PagedAttention吞吐量极高或TGIText Generation Inference来部署开源模型相比原生transformers推理速度有数量级提升。硬件利用确保CUDA、cuDNN等驱动和库版本正确。对于多GPU使用model.parallelize()或accelerate库进行分布式推理。3. 向量检索性能索引选择向量数据库通常支持多种索引如HNSW、IVF。HNSW适合高召回率、中等规模数据集IVF适合大规模数据集追求速度。根据数据规模进行选择。批量操作插入向量时尽量使用批量接口而不是单条插入。硬件向量检索是计算密集型操作CPU的指令集AVX-512和内存速度会影响性能。生产环境考虑使用高性能CPU和足够的内存。6.3 评估与迭代如何知道你的AI应用真的变好了没有评估优化就是盲目的。建立一套简单的评估体系至关重要。1. 构建测试集手动整理或生成一批有标准答案的问题集QA pairs。问题应覆盖你的应用的主要场景。2. 定义评估指标事实准确性生成的答案与标准答案在关键事实上是否一致可以人工评判或用另一个LLM如GPT-4根据上下文进行一致性评分。相关性答案是否直接回答了问题是否引入了无关信息有用性从最终用户角度看这个答案是否有帮助3. 自动化评估流水线编写脚本用测试集自动运行你的AI应用并记录每次的输入、检索到的上下文、输出。然后可以结合规则关键词匹配和LLM评分使用像gpt-4这样的“裁判”模型来批量评估结果。4. 持续迭代根据评估结果定位问题环节。是检索不准还是提示词不好或者是模型能力不足然后有针对性地调整优化检索器参数、改写提示词、增加上下文长度、甚至考虑微调模型。将这个“评估-调整”循环自动化是工程化AI应用的关键。构建AI技能栈是一个持续学习和实践的过程。从写好一个提示词开始到处理好数据再到集成、优化乃至定制模型每一步都充满了挑战和乐趣。tqviet1978/ai-skills这样的项目提供了一个很好的技能地图但真正的成长来自于动手解决一个具体的问题。先从一个小而美的项目开始比如用RAG给你的个人笔记做个智能搜索或者用LoRA微调一个帮你写特定风格周报的模型在实战中踩坑、总结、提升这套技能才会真正内化为你自己的东西。记住在AI时代最强的技能不是知道所有模型的名字而是能快速让技术为你所用解决实际问题的能力。