实践教程

从本地运行到应用集成,把抽象概念拆成可检查的步骤。教程强调环境准备、结果验证与常见问题定位。

笔记本电脑与开发工作区

从第一次对话开始

建议先完成本地运行,再学习接口调用和应用增强。

本地运行模型

确认内存与显存,选择合适参数规模和量化版本,完成首次对话并记录运行速度。

通过 API 调用

启动兼容接口服务,设置模型地址与参数,用一个最小请求验证流式和非流式输出。

接入自己的资料

理解文档切分、向量检索与引用回溯,构建一个可验证的知识问答样例。

按任务查找实践内容

用 Ollama 运行第一个开源大模型

完成安装、模型选择、首次下载与终端对话,并了解模型文件占用空间。

使用 vLLM 启动兼容 OpenAI 的推理接口

准备 Python 环境,启动模型服务,并用最小客户端验证接口与流式输出。

建立一个面向真实任务的小型测试集

从历史问题中抽取代表性样例,定义评分规则并记录模型版本与参数。

为模型加入可追溯的本地知识检索

完成文档解析、切分、检索和引用输出,避免把“能回答”误认为“有依据”。

让模型安全调用一个只读查询工具

定义工具结构、校验参数并返回结果,从最小权限场景理解智能体调用流程。