--- title: 什么是 token gap: 0.4 --- ## intro 你有没有想过,[[cue:question]]当我们和 AI 对话的时候,AI 到底是怎么理解我们的话的呢。 ## token-1 答案是它根本不理解汉字,[[cue:reveal]]它只认识 token。 ## token-2 你可以把 token 理解成 AI 的最小信息单位。 比如「人工智能」这四个字,[[cue:split]]在 AI 眼里可能是两个 token:人工,智能。 ## ending 所以下次看到「百万 token 上下文」这种说法,[[cue:context]]你就知道,它说的是 AI 一次能记住多少个这样的小块。