로컬 LLM은 같은 답을 두 번 줄까 — temperature와 seed로 출력 재현성 직접 측정
같은 프롬프트를 로컬 Gemma 4에 수십 번 던져 LLM 출력 재현성을 직접 측정한 실험 기록이다. temperature=0은 완전히 결정적이었고, 온도를 올려도 seed를 고정하면 출력이 한 줄로 수렴했다. 평가와 CI 테스트에 바로 적용할 결론과 권장 설정값까지 정리한다.
jangwook.net
Kim Jangwook
Personal technical notes on AI agents, automation, developer tools, and the process of building software.
Latest Notes
Recent writing by language
The root page stays intentionally small. Choose a language, then read the full archive and related posts there.
한국어
AI 에이전트, 자동화, 개발 도구, 소프트웨어 제작 과정을 한국어로 기록합니다.
JSON을 그대로 LLM에 넣지 마라 — 데이터 포맷 9종 토큰 비용 실측
같은 50개 레코드를 JSON·YAML·CSV·TSV·XML 등 9가지 포맷으로 직렬화해 tiktoken으로 토큰을 직접 측정했다. 평탄한 데이터는 TSV가 pretty JSON 대비 62% 저렴했고, 중첩 데이터는 결론이 뒤집힌다.
TypeScript MCP 클라이언트 만들기 — @modelcontextprotocol/sdk v1.29
@modelcontextprotocol/sdk v1.29.0을 직접 설치해 TypeScript MCP 클라이언트를 만들어봤다. Claude Desktop 없이 MCP 서버의 tool을 프로그래밍으로 호출하고 resource를 읽는 실전 가이드. 실제 실행 로그와 에러 처리 패턴 포함.
English
Personal notes on AI agents, automation, developer tools, and building software.
Does a Local LLM Ever Repeat Itself? Measuring Output Reproducibility with Temperature and Seed
I sent the same prompt to local Gemma 4 dozens of times. temperature=0 was deterministic, and even at higher temperature a fixed seed collapsed output to one line.
Stop Feeding Raw JSON to Your LLM — I Measured Token Cost Across 9 Data Formats
I serialized 50 records into 9 formats (JSON, YAML, CSV, TSV, XML...) and counted tokens with tiktoken. For flat data, TSV ran 62% cheaper than pretty JSON.
Building a TypeScript MCP Client — @modelcontextprotocol/sdk v1.29
I built a TypeScript MCP client with @modelcontextprotocol/sdk v1.29.0: calling server tools and reading resources programmatically, without Claude Desktop.
日本語
AIエージェント、自動化、開発ツール、ソフトウェア開発の記録です。
ローカルLLMは同じ答えを二度返すか — temperatureとseedで出力再現性を実測した
同じプロンプトをローカルのGemma 4へ数十回投げ、出力がどれだけ再現するかを測定した。temperature=0は決定的で、 temperatureを上げてもseedを固定すると出力は一行に収束した。評価とCIにすぐ使える結論までまとめる。
JSONをそのままLLMに渡すな — データ形式9種のトークンコストを実測した
同じ50件のレコードをJSON・YAML・CSV・TSV・XMLなど9形式に直列化し、tiktokenでトークンを実測した。平坦なデータはTSVがpretty JSONより62%安く、ネストすると結論が逆転する。
TypeScriptでMCPクライアント自作 — @modelcontextprotocol/sdk v1.29
@modelcontextprotocol/sdk v1.29.0を実際にインストールしてTypeScript MCPクライアントを作った。 Claude Desktopなしでサーバーのツールをプログラムから呼び出す実践ガイド。 実際の実行ログとエラー処理パターンも含む。
简体中文
记录 AI 代理、自动化、开发工具和软件构建过程。
本地LLM会两次给出相同答案吗 — 用temperature和seed实测输出可复现性
我把同一个提示词向本地Gemma 4发送了数十次，测量输出的可复现程度。temperature=0是确定性的， 即使提高temperature，只要固定seed，输出也会收敛成一行。文末给出可直接用于评估和CI的结论。
别把原始JSON直接喂给LLM — 我实测了9种数据格式的token成本
把同样的50条记录序列化成JSON、YAML、CSV、TSV、XML等9种格式，用tiktoken实测token。平坦数据下TSV比pretty JSON便宜62%，而数据一旦嵌套，结论就反转。
用 TypeScript 构建 MCP 客户端 — @modelcontextprotocol/sdk v1.29
我亲自安装了 @modelcontextprotocol/sdk v1.29.0，构建了一个 TypeScript MCP 客户端。 不依赖 Claude Desktop，通过编程方式调用 MCP 服务器工具和读取资源的实战指南，包含真实运行日志和错误处理模式。