MCP 거버넌스 감사에서 성공 종료는 성공을 증명하지 않는다 — 15회 실행 전부 exit 0이었지만 측정은 실패했다
검증 파이프라인이 성공 신호를 보내도 실제로는 아무것도 측정하지 못했을 수 있다. 15회 실행이 전부 성공 종료 코드로 끝났지만, 결과 파일이 없거나 출력이 비어 있어 측정 자체가 실패한 사례를 보여준다.
jangwook.net
Kim Jangwook
Personal technical notes on AI agents, automation, developer tools, and the process of building software.
Latest Notes
Recent writing by language
The root page stays intentionally small. Choose a language, then read the full archive and related posts there.
한국어
AI 에이전트, 자동화, 개발 도구, 소프트웨어 제작 과정을 한국어로 기록합니다.
MCP 서버 리스크 점검은 결과 파일이 없으면 0점으로 기록된다 — 리스크 0과 측정 불가를 구분하는 규약이 먼저다
점검 도구가 성공이라고 말해도 결과 파일이 비어 있으면 그 0점은 리스크 없음이 아니라 측정 안 됨이다. 점수 도구 도입 전에 설정 파일 스냅샷과 셀별 결과 파일이 없으면 실패로 기록되는 저장 규약부터 만들어야 한다.
AI 학습만 거부하고 검색 노출과 인용을 유지하는 robots.txt 설정은 OpenAI 봇 토큰에서는 공식 문서로 보장되지만, Google-Extended는 학습과 인용을 한 토큰에 묶어 그 분리를 제공하지 않는다
robots.txt 파일 하나로 AI 로봇의 방문을 통제할 때, 검색에는 나오면서 학습만 막는 설정이 제공사마다 가능 여부가 다르다. 이 글은 내 사이트의 실제 파일과 여섯 로봇의 응답 실험, OpenAI와 Anthropic의 공식 문서를 대조해 어디서 분리 설정이 보장되는지 좁혀 본다.
English
Personal notes on AI agents, automation, developer tools, and building software.
Exit code 0 does not prove success in MCP governance audits: all 15 runs ended with success but the measurement failed
A governance audit pipeline reported success on all 15 runs, yet produced no actual measurements. The exit code alone cannot distinguish a clean result from a failed one, so teams must verify that result files exist before trusting a green light.
MCP Server Risk Checks Record Zero When No Result File Exists. A Storage Rule Must Come Before Scoring
A security check that finishes successfully can still leave no results. When the result files are missing, a zero score means "not measured," not "no risk," so teams need a storage rule before they adopt any scoring tool.
robots.txt can block AI training while keeping search exposure for OpenAI bots, but Google-Extended ties training and citation into one switch
A robots.txt file decides whether AI crawlers may use your content, and providers differ in how finely you can control them. OpenAI documents independent tokens so you can allow search and block training, while Google-Extended bundles training and citation into a single lever.
日本語
AIエージェント、自動化、開発ツール、ソフトウェア開発の記録です。
MCPガバナンス監査で「成功終了」は成功を証明しない — 15回の実行すべてがexit 0でも測定は失敗していた
検証パイプラインが「成功」と表示しても、実際には何も測定できていないことがある。MCPガバナンス監査の15回の実行はすべて成功終了コード0で終わったが、結果ファイルは生成されず、出力が空のセルもあった。成功信号をそのまま信じる前に、成果物の存在を確認する必要がある。
MCPサーバーのリスク点検は結果ファイルが無いと0点で記録される — リスク0と測定不能を区別する規約が先だ
点検ツールが「成功」と表示しても、結果ファイルが空ならその0点は「リスクなし」ではなく「測定できなかった」ことを意味する。点検ツールを導入する前に、入力と結果がファイルとして残る保存規約を先に整えるべきだ。
Google-Extendedは学習拒否と引用許可を1つのトークンに束ねており、OpenAIのbotは分けて設定できる
検索には出続けながらAI学習だけを拒否するrobots.txtの設定は、OpenAIでは公式文書がbotトークンの独立性を保証する。Google-Extendedは学習と引用を単一のトークンにまとめ、その分離を提供しない。
简体中文
记录 AI 代理、自动化、开发工具和软件构建过程。
MCP 服务器风险检查在没有结果文件时记录为零，先建立区分零风险与无法测量的存储规则
风险检查工具在结果文件缺失时会把所有项目记录为零分，但零分可能意味着"没有风险"也可能意味着"根本没测成"。在引入评分工具之前，必须先建立"文件不存在就记为失败"的存储规则。
MCP治理审计中"成功退出"并不证明成功 — 15次运行全部以exit 0结束，但测量实际失败了
你的验证管道今天又亮起了绿灯，但那个绿灯可能什么都没测到。15次运行全部以exit 0结束，却没有产生任何实际测量结果——成功信号与真实结果之间出现了断裂。
Google-Extended 把 AI 训练和引用绑在同一个开关上，只有 OpenAI 的爬虫可以分开设置
想让文章继续出现在搜索结果里，同时拒绝被 AI 学习，这种组合在 OpenAI 一侧有官方文档保证。Google 的 Google-Extended 没有提供这种拆分，关掉学习的同时引用通道也会一起关闭。