读懂 LLM : AI 是如何“思考”的,又该如何高效使用

掌握大语言模型(LLM)的核心在于理解其底层机制与交互技巧。首先,Token 是模型处理文本的最小单位,直接影响输入输出长度及费用。默认的非确定性模式赋予模型创意,但也导致结果不可预测。其次,温度、最大 Token 数和 Top-p 三个参数共同调控模型的随机性、回复长度及词汇选择范围,用户可根据精准或创意需求灵活调整。此外,受限于上下文窗口,模型仅能记忆当前对话片段,超出部分会被丢弃。最后,提示词质量决定输出效果,高质量的提示词应包含清晰指令、背景信息及期望格式,通过缩小猜测空间来提升回答的准确度。

发布于2026年5月13日 22:35
编辑小创
评论0
阅读35

你真的会用大模型吗?从 Token 到提示词,一次说清楚

用 ChatGPT 敲几个字就能得到像人一样的回复,这件事确实有点魔幻。但凡认真用过一段时间的人都会发现,输出质量高不高,很大程度上取决于你怎么跟模型“说话”。想真正用好大语言模型( Large Language Model , LLM ),得先搞清楚它内部是怎么运作的。

Token :模型认识世界的最小单位

LLM 处理文字的方式跟人类完全不同。它看到的不是一个个完整的单词,而是被切割成小块的 Token 。一个 Token 可能是一个完整的词,也可能只是某个词的一部分,甚至是一个标点符号。“Hello”通常对应一个 Token ,而“Cybersecurity”这样的长词则可能被拆成好几个。这件事不只是个技术细节。模型的输入上限、输出长度、费用计算,全都以 Token 为单位。

模型还有一个让很多人困惑的特性:同一个问题问两次,答案可能不一样。这不是故障,而是刻意为之的设计。所谓“确定性输出( Deterministic output )”,指的是相同输入必然产生相同输出。而绝大多数 LLM 默认运行在“非确定性( Non-deterministic )”模式下,这让它们更灵活、更有创意,代价是偶尔难以预测。

三个参数,决定模型说话的“风格”

温度( Temperature )是控制随机性的核心旋钮。把它调低到 0.1 到 0.3 的区间,模型会变得保守、精准,适合需要准确答案的场景。调高到 0.7 以上,输出就会更发散、更有想象力,适合创意写作或头脑风暴。一个粗略的类比是:低温度像工程师,高温度像诗人。

最大 Token 数( Max Tokens )决定回复的长度上限。设置过低,答案会被硬生生截断。设置合理,才能拿到完整的解释。

Top-p (核采样, Nucleus Sampling )和温度协同工作,控制模型在生成每一个 Token 时会“考虑”多大范围的候选词汇。数值越低,选择越保守。数值越高,措辞越多样。两个参数同时调整时,效果会叠加,需要一点点实验感。

上下文窗口:模型唯一的“记忆”

LLM 没有真正意义上的记忆。它能“看到”的全部内容,只有当前对话里那一段有限的文本,也就是上下文窗口( Context Window )。这个窗口里装着你的提示词、历史对话和模型自己的上一条回复。一旦对话内容超出窗口大小,最早的信息就会被悄悄丢掉。这就是为什么聊到后面,模型有时候会“忘记”你在开头说过的事。

提示词写法,才是真正拉开差距的地方

绝大多数人低估了提示词( Prompt )的作用。模糊的问题只会换来模糊的答案。“解释一下 API”和“用简单的语言解释 REST API ,并附上真实的使用例子”,得到的结果天差地别。

一个高质量的提示词通常包含几层信息:清晰的指令(让模型知道它该干什么)、背景信息(比如“我正在准备网络安全面试”)、期望的输出格式(“用不超过 150 个字回答”)。这些不是繁文缛节,而是在帮模型缩小它需要猜测的空间。

相关文章

拜耳用 3 层反思循环把 AI 拉进制药生产线:上下文工程和 harness 工程到底在干什么
智能体工程
2026年6月21日
0 条评论
零重力瓦力

拜耳用 3 层反思循环把 AI 拉进制药生产线:上下文工程和 harness 工程到底在干什么

拜耳制药和 Thoughtworks 在 Martin Fowler 的博客上发表了一篇完整案例,讲他们花了两年多时间把 PRINCE(Preclinical Information Center)从关键词搜索工具演变成多智能体 RAG 系

#智能体工程
阅读全文
Vercel 发布 eve 开源智能体框架:Agent 界的 Next.js 终于来了
智能体工程
2026年6月18日
0 条评论
零重力瓦力

Vercel 发布 eve 开源智能体框架:Agent 界的 Next.js 终于来了

Vercel 发布开源智能体框架 eve,采用文件系统优先设计,将 Agent 定义为目录结构以降低理解成本。框架内置持久化会话、沙盒计算、人类审批、安全连接、多渠道部署及可观测性六大生产级能力,解决重复造轮子痛点。eve 目前处于公开预览阶段,框架免费但托管服务收费。该框架标志着 AI Agent 开发正从混乱走向标准化,大幅缩短从 demo 到上线的距离,但需注意 beta 阶段的 API 变动及供应商锁定风险。

#智能体框架#智能体工程
阅读全文
谷歌说 AI 不该假装确定:忠实不确定性如何终结幻觉困局
智能体工程
2026年6月13日
0 条评论
零重力瓦力

谷歌说 AI 不该假装确定:忠实不确定性如何终结幻觉困局

谷歌研究团队提出“忠实不确定性”框架,主张 AI 应诚实表达置信度而非盲目追求零错误,以解决大模型“自信错误”导致的幻觉问题。该研究指出传统降幻觉方法存在高昂“效用税”,建议将输出区分为自信错误与诚实猜测。这对 AI Agent 尤为关键,能优化元认知判断与工具调用效率。开发者可通过调整评估指标、提示词及路由策略落地应用,推动系统从可用迈向可靠。

#Google#智能体工程
阅读全文
互动讨论

评论区

围绕《读懂 LLM : AI 是如何“思考”的,又该如何高效使用》展开交流,未登录用户可浏览评论,登录后可参与讨论。

评论数
0
登录后参与评论
支持发表观点与回复一级评论,互动后将同步到消息中心。
登录后评论
暂无评论,欢迎成为第一个参与讨论的人。