589 B
589 B
title, gap
| title | gap |
|---|---|
| 什么是 token | 0.4 |
intro
你有没有想过，cue:question当我们和 AI 对话的时候，AI 到底是怎么理解我们的话的呢。
token-1
答案是它根本不理解汉字，cue:reveal它只认识 token。
token-2
你可以把 token 理解成 AI 的最小信息单位。 比如「人工智能」这四个字，cue:split在 AI 眼里可能是两个 token：人工，智能。
ending
所以下次看到「百万 token 上下文」这种说法，cue:context你就知道，它说的是 AI 一次能记住多少个这样的小块。