Skip to main content
Back to top
Ctrl
+
K
Deep-Learning-The-Definitive-Guide
Search
Ctrl
+
K
Deep-Learning-The-Definitive-Guide
Foundation
Foundation
Basic Math
PyTorch
Hardware
Large Language Models
Large Language Models
Natural Language to Tokens
为什么大模型需要 token
Word2Vec：从 one-hot 到 embedding
BPE：把自然语言切成 token 的一种办法
Repository
Open issue
.md
.pdf
Natural Language to Tokens
Natural Language to Tokens
#
为什么大模型需要 token
Word2Vec：从 one-hot 到 embedding
BPE：把自然语言切成 token 的一种办法