Tokenizationトークン化(トークンか)中級Models & ArchitectureテキストをAIモデルが処理できる小さな単位（トークン）に分割するプロセス。なぜ重要かテキストのトークン化方法はモデルの性能、多言語対応、トークンベースの料金に影響します。実際の活用例「unhappiness」が['un', 'happiness']または['un', 'hap', 'pi', 'ness']にトークン化される。