chore: ruler files update

Signed-off-by: Dmytro Stanchiev <git@dmytros.dev>
This commit is contained in:
2026-05-24 21:03:49 -04:00
parent 97b3ddd653
commit abb472c83d
303 changed files with 46670 additions and 25369 deletions

View File

@@ -0,0 +1,17 @@
---
title: 什么是 token
gap: 0.4
---
## intro
你有没有想过,[[cue:question]]当我们和 AI 对话的时候AI 到底是怎么理解我们的话的呢。
## token-1
答案是它根本不理解汉字,[[cue:reveal]]它只认识 token。
## token-2
你可以把 token 理解成 AI 的最小信息单位。
比如「人工智能」这四个字,[[cue:split]]在 AI 眼里可能是两个 token人工智能。
## ending
所以下次看到「百万 token 上下文」这种说法,[[cue:context]]你就知道,它说的是 AI 一次能记住多少个这样的小块。