18 lines
589 B
Markdown
18 lines
589 B
Markdown
---
|
||
title: 什么是 token
|
||
gap: 0.4
|
||
---
|
||
|
||
## intro
|
||
你有没有想过，[[cue:question]]当我们和 AI 对话的时候，AI 到底是怎么理解我们的话的呢。
|
||
|
||
## token-1
|
||
答案是它根本不理解汉字，[[cue:reveal]]它只认识 token。
|
||
|
||
## token-2
|
||
你可以把 token 理解成 AI 的最小信息单位。
|
||
比如「人工智能」这四个字，[[cue:split]]在 AI 眼里可能是两个 token：人工，智能。
|
||
|
||
## ending
|
||
所以下次看到「百万 token 上下文」这种说法，[[cue:context]]你就知道，它说的是 AI 一次能记住多少个这样的小块。
|