같은 글인데 한국어는 토큰이 1.4배 — 내 블로그 285편으로 비영어 토큰세를 직접 쟀다
같은 글을 ko/ja/en/zh 네 언어로 내는 내 블로그 285편을 실제 토크나이저 세 개로 토큰화해 비영어 토큰 비용을 측정했다. 한국어는 영어의 1.38배, 일본어 1.34배, 그리고 토크나이저 세대 교체가 사실상 비영어 할인이었다는 것까지 데이터로 확인했다.
jangwook.net
Kim Jangwook
Personal technical notes on AI agents, automation, developer tools, and the process of building software.
Latest Notes
Recent writing by language
The root page stays intentionally small. Choose a language, then read the full archive and related posts there.
한국어
AI 에이전트, 자동화, 개발 도구, 소프트웨어 제작 과정을 한국어로 기록합니다.
로컬 LLM은 같은 답을 두 번 줄까 — temperature와 seed로 출력 재현성 직접 측정
같은 프롬프트를 로컬 Gemma 4에 수십 번 던져 LLM 출력 재현성을 직접 측정한 실험 기록이다. temperature=0은 완전히 결정적이었고, 온도를 올려도 seed를 고정하면 출력이 한 줄로 수렴했다. 평가와 CI 테스트에 바로 적용할 결론과 권장 설정값까지 정리한다.
JSON을 그대로 LLM에 넣지 마라 — 데이터 포맷 9종 토큰 비용 실측
같은 50개 레코드를 JSON·YAML·CSV·TSV 등 9가지 포맷으로 직렬화해 tiktoken으로 토큰을 측정했다. 평탄한 데이터는 TSV가 pretty JSON 대비 62% 저렴했고, 중첩 데이터는 compact JSON으로 결론이 뒤집힌다. 포맷 하나가 토큰 비용을 가른다.
English
Personal notes on AI agents, automation, developer tools, and building software.
Same Article, 1.4x the Tokens in Korean: Measuring the Non-English Token Tax Across 285 of My Posts
I tokenized 285 of my posts across ko/ja/en/zh with three tokenizers. Korean ran 1.38x English tokens, Japanese 1.34x. The non-English token tax, measured.
Does a Local LLM Ever Repeat Itself? Measuring Output Reproducibility with Temperature and Seed
I sent the same prompt to local Gemma 4 dozens of times. temperature=0 was deterministic, and even at higher temperature a fixed seed collapsed output to one line.
Stop Feeding Raw JSON to Your LLM — I Measured Token Cost Across 9 Data Formats
I serialized 50 records into 9 formats (JSON, YAML, CSV, TSV, XML...) and counted tokens with tiktoken. For flat data, TSV ran 62% cheaper than pretty JSON.
日本語
AIエージェント、自動化、開発ツール、ソフトウェア開発の記録です。
同じ記事なのに韓国語はトークン1.4倍 — 自分のブログ285本で非英語トークン税を実測した
同じ記事をko/ja/en/zhの4言語で出している自分のブログ285本を、実トークナイザー3種でトークン化し非英語のトークン費用を測った。 韓国語は英語の1.38倍、日本語1.34倍、そしてトークナイザーの世代交代が実質的に非英語向けの割引だったことまでデータで確かめた。
ローカルLLMは同じ答えを二度返すか — temperatureとseedで出力再現性を実測した
同じプロンプトをローカルのGemma 4へ数十回投げ、出力がどれだけ再現するかを測定した。temperature=0は決定的で、 temperatureを上げてもseedを固定すると出力は一行に収束した。評価とCIにすぐ使える結論までまとめる。
JSONをそのままLLMに渡すな — データ形式9種のトークンコストを実測した
同じ50件のレコードをJSON・YAML・CSV・TSV・XMLなど9形式に直列化し、tiktokenでトークンを実測した。平坦なデータはTSVがpretty JSONより62%安く、ネストすると結論が逆転する。
简体中文
记录 AI 代理、自动化、开发工具和软件构建过程。
同一篇文章，韩语却要1.4倍token — 我用自己博客的285篇实测了非英语token税
我把同一篇文章以ko/ja/en/zh四语发布的博客285篇，用三种真实分词器逐一分词，测量非英语的token成本。 韩语是英语的1.38倍，日语1.34倍，而且分词器的代际更替实质上是给非英语文本的一次打折。
本地LLM会两次给出相同答案吗 — 用temperature和seed实测输出可复现性
我把同一个提示词向本地Gemma 4发送了数十次，测量输出的可复现程度。temperature=0是确定性的， 即使提高temperature，只要固定seed，输出也会收敛成一行。文末给出可直接用于评估和CI的结论。
别把原始JSON直接喂给LLM — 我实测了9种数据格式的token成本
把同样的50条记录序列化成JSON、YAML、CSV、TSV、XML等9种格式，用tiktoken实测token。平坦数据下TSV比pretty JSON便宜62%，而数据一旦嵌套，结论就反转。