내가 쓴 글을 AI 학습에 안 쓰이게 하려면, 홈페이지 최상위에 있는 robots.txt 파일에 두 줄을 넣으면 됩니다. 첫 줄에 User-Agent: __usage_ai-training 을 적고, 다음 줄에 Disallow: / 를 적습니다. 공백까지 세면 42자, 파일 용량으로는 44바이트입니다. 다만 이 두 줄을 오늘 넣어도 오늘부터 모든 곳이 듣는 것은 아닙니다. 곳마다 적용 날짜가 다르고, 이미 가져간 글은 되돌아오지 않습니다.
핵심 요약
- robots.txt 에 User-Agent: __usage_ai-training 과 Disallow: / 두 줄을 넣으면 AI 학습을 거부한다는 뜻이 전달됩니다.
- 2026년 10월 30일 발표 기준으로 네 곳이 이 신호를 받기로 했고, 실제 적용은 마이크로소프트가 2027년 2월 1일, 구글이 2027년 초입니다.
- 학습 거부와 검색 노출은 따로 돌아갑니다. 두 줄을 넣어도 검색 결과에는 그대로 나옵니다.
- 이미 학습에 들어간 글은 이 두 줄로 지워지지 않고, 신호를 무시하는 쪽을 막는 힘도 없습니다.
AI 학습 거부란 무엇을 말하는 걸까요
AI 학습 거부는 「내 사이트 글을 AI 모델 만드는 재료로 쓰지 말아 달라」고 사이트 주인이 적어 두는 것입니다. 여기서 먼저 정리해야 할 게 있습니다. AI 가 내 글을 쓰는 방식은 한 가지가 아니고, 세 가지로 나뉩니다.
- 검색 색인 - 검색 결과 목록에 내 페이지를 올리려고 글을 읽는 것입니다. 이걸 막으면 검색에서 사라집니다.
- 답변 근거 - 지금 들어온 질문에 답하려고 내 페이지를 열어 읽고, 답변 아래에 출처로 붙이는 것입니다. 모델 자체는 바뀌지 않습니다.
- 모델 학습 - 내 글을 학습 재료로 써서 모델 내부 값을 바꾸는 것입니다. 한 번 들어가면 뒤에서 내 글만 빼내기가 어렵습니다.
이번에 생긴 두 줄은 세 번째만 가리킵니다. 표준 논의 쪽에서도 학습을 「생성형 AI 모델의 학습된 값을 바꾸는 데 자료를 쓰는 것」으로 좁게 정의해 두었습니다. 그래서 두 줄을 넣어도 검색에서는 그대로 보입니다. 다만 AI 답변에 출처로 붙는 것까지 그대로인지는 곳마다 다릅니다. 마이크로소프트는 학습(ai-training)과 답변 근거(ai-grounding)를 따로 적을 수 있게 해 두었지만, 구글은 이 두 줄을 Google-Extended 를 전부 막아 둔 것과 같이 보기 때문에 제미나이 앱·버텍스의 답변 근거까지 같이 막힙니다. 구글 검색 쪽 AI 요약(AI 개요)의 인용은 이 설정으로 막히지 않고, 검색 포함이나 순위에도 영향이 없습니다.
“robots.txt 는 자물쇠가 아니라 문에 붙인 쪽지입니다.” 현관에 「전단지 넣지 마세요」를 붙여 두는 것과 성격이 같습니다. 지키는 쪽은 지키고, 안 지키는 쪽은 그냥 넣고 갑니다. 이 성격을 알고 넣는 것과 모르고 넣는 것은 뒤에 생기는 기대가 완전히 다릅니다.
어느 곳이 언제부터 듣나요
발표 날짜와 실제 적용 날짜가 다릅니다. 2026년 10월 30일에 네 곳이 같은 신호를 받겠다고 알렸는데, 적용 시점은 아래처럼 갈립니다.
| 회사 | 적용 시점 | 발표 당시 상태 |
|---|---|---|
| 앤트로픽 | 발표 시점에 이미 적용 시작 | 초안을 쓴 쪽이라 가장 빠릅니다 |
| 오픈AI | 발표 뒤 수개월 내 | 구현 예정으로만 밝혔습니다 |
| 마이크로소프트 | 2027년 2월 1일 | 그날부터 다시 수집할 때 반영합니다 |
| 구글 | 2027년 초 | 그 전까지는 기존 설정으로 처리합니다 |
표에서 눈여겨볼 건 마지막 칸입니다. 구글은 공통 신호를 보면 기존 Google-Extended 를 막아 둔 것과 같이 취급한다고 밝혔습니다. 두 줄이 당장 완전히 새로운 일을 하는 게 아니라, 이미 있던 설정에 연결되는 방식이라는 뜻입니다.
마이크로소프트 쪽에는 날짜가 하나 더 붙습니다. 2027년 3월 1일부터는 예전에 쓰던 NoArchive, NoCache 표시를 학습 거부로 봐 주지 않습니다. 옛 방식으로 막아 둔 사이트라면 그날 전에 새 방식으로 바꿔 적어야 합니다. 2026년 12월 15일부터는 빙 웹마스터 도구에서 임시로 설정해 둘 수 있습니다. 임시로 웹마스터 도구에서 설정해 둔 값도 2027년 9월 30일에 만료된다고 안내했습니다.
두 줄은 정확히 어떻게 쓰나요
파일 이름은 robots.txt 이고, 자리는 사이트 최상위입니다. 주소로 치면 도메인 바로 뒤에 /robots.txt 가 붙는 자리입니다. 하위 폴더에 두면 읽지 않습니다. 내용은 이렇습니다.
User-Agent: __usage_ai-training
Disallow: /첫 줄 31자, 둘째 줄 11자입니다. 사이트 전체가 아니라 특정 폴더만 막고 싶으면 둘째 줄을 Disallow: /blog/ 처럼 바꿉니다. 반대로 「학습에 써도 된다」는 적을 필요가 없습니다. 아무것도 안 적으면 허용이 기본값입니다.
이미 robots.txt 가 있는 사이트라면 기존 내용을 지우지 말고 맨 아래에 빈 줄 하나를 둔 뒤 붙이면 됩니다. User-Agent 로 시작하는 묶음은 서로 독립이라, 원래 있던 User-agent: * 묶음과 섞이지 않습니다. 이 점을 몰라서 기존 줄을 지우고 두 줄만 남기는 경우가 있는데, 그러면 원래 막아 두었던 관리 폴더가 같이 열립니다.
1. 공통 신호 두 줄 넣기
robots.txt 에 __usage_ai-training 묶음 하나만 넣는 방식입니다.
특징: 한 번 적으면 네 곳에 같이 전달됩니다. 새 수집기 이름이 생겨도 파일을 다시 고칠 일이 없다는 게 이 방식의 핵심입니다.
어떤 경우에 맞나: 글을 계속 쌓는 블로그나 자료실이 있고, 검색 노출은 지키면서 학습만 막고 싶은 경우에 맞습니다.
주의점: 아직 정식 표준이 아니라 인터넷 초안 단계입니다. 네 곳 밖의 수집기는 이 두 줄을 아예 읽지 않습니다.
2. AI 수집기 이름을 하나씩 적어 막기
예전부터 쓰던 방식입니다. 수집기 이름을 User-agent 에 적고 그 아래에 Disallow: / 를 붙입니다.
실제로 어떻게 쓰는지 보려면 큰 사이트의 파일을 열어 보면 됩니다. 2026년 11월 3일에 blog.naver.com 의 robots.txt 를 열어 보니, AI 학습과 검색 결합 목적의 접근을 금지한다는 주석 아래에 수집기 이름이 아홉 개 줄줄이 적혀 있었습니다. GPTBot, OAI-SearchBot, PerplexityBot, Google-Extended, ClaudeBot, Claude-SearchBot, meta-externalagent, Applebot-Extended, CCBot 입니다. 이름마다 두 줄씩이니 열여덟 줄입니다.
특징: 어느 수집기를 막았는지 눈으로 바로 확인됩니다. 공통 신호를 아직 안 받는 곳도 막을 수 있습니다.
어떤 경우에 맞나: 특정 서비스만 막고 나머지는 열어 두고 싶은 경우입니다.
주의점: 이름이 새로 생기면 계속 따라가야 합니다. 두 줄과 열여덟 줄, 이 차이가 곧 이 방식의 품입니다. 이름을 한 글자라도 틀리게 적으면 그 줄은 아무 일도 하지 않는데, 틀렸다는 경고도 어디에서도 나오지 않습니다.
3. 페이지 단위로 메타태그나 응답 헤더 넣기
사이트 전체가 아니라 페이지 하나만 막고 싶을 때 쓰는 방식입니다. 마이크로소프트가 안내한 형태는 이렇습니다.
<meta name="Bingbot" content="ai-training:disallow">서버 응답 헤더로도 같은 뜻을 보낼 수 있습니다.
X-Robots-Tag: Bingbot: ai-training:disallow학습이 아니라 「지금 답변에 근거로 쓰는 것」까지 막고 싶으면 ai-training 자리를 ai-grounding 으로 바꿉니다. 답변에 쓰이는 범위를 자사 제품 안으로만 좁히는 값도 따로 안내되어 있습니다.
특징: 페이지 하나 단위로 정할 수 있습니다. robots.txt 는 경로 단위라 이렇게 잘게 쪼갤 수 없습니다.
어떤 경우에 맞나: 소개 페이지는 열어 두고 공들여 쓴 상세 노하우 글이나 유료 자료 페이지만 막고 싶은 경우입니다.
주의점: 페이지 수가 많으면 손이 많이 갑니다. 그리고 위 형태는 마이크로소프트가 안내한 것이라, 다른 곳에서도 똑같이 동작한다고 볼 수 없습니다.
4. Content-Signal 한 줄로 쓰임별로 나누기
2025년 9월 24일에 해외 한 보안·CDN 업체가 내놓은 방식입니다. robots.txt 안에 한 줄을 넣어 쓰임을 셋으로 나눠 적습니다.
Content-Signal: search=yes, ai-train=nosearch 는 검색 색인, ai-input 은 지금 답변에 넣는 것, ai-train 은 모델 학습입니다. 이 업체는 자사 robots.txt 관리 기능을 쓰는 380만 개 넘는 도메인에 위 한 줄을 자동으로 넣었습니다. ai-input 은 주인 뜻을 알 수 없다는 이유로 비워 두었습니다.
특징: 세 가지 쓰임을 한 줄에서 갈라 적을 수 있습니다. 「검색은 좋고 학습은 싫다」는 생각을 가장 짧게 표현하는 형태입니다.
어떤 경우에 맞나: 외부 보안 서비스를 이미 앞단에 두고 쓰는 경우라면 이미 들어가 있을 수 있습니다. 한 번 열어 보시는 게 좋습니다.
주의점: 이것도 법으로 강제되는 게 아닙니다. 그리고 쓰는 쪽에서는 「무엇을 적었는가」보다 「무엇을 비워 뒀는가」가 더 중요해집니다. ai-input 이 비어 있으면 답변에 쓰는 것은 막지 않은 상태입니다.
5. 신호를 무시하는 쪽은 접근 자체를 막기
위 네 가지는 전부 「읽고 지켜 달라」는 부탁입니다. 부탁을 안 듣는 수집기는 그래도 들어옵니다. 그럴 때는 서버나 앞단에서 접근 자체를 걸러야 합니다.
특징: 실제로 막힙니다. 신호가 아니라 차단입니다.
어떤 경우에 맞나: 수집 때문에 트래픽이 갑자기 튀거나 사이트가 눈에 띄게 느려지는 경우입니다.
주의점: 과하게 걸면 검색 수집기까지 같이 막혀 검색에서 사라질 수 있습니다. 차단 목록은 반드시 검색 수집기와 분리해서 잡아야 합니다. 학습을 막으려다 검색을 잃는 게 이 방식에서 가장 자주 나오는 사고입니다.
검색 노출은 그대로 두고 학습만 막을 수 있나요
됩니다. 공통 신호 두 줄은 학습만 가리키기 때문에 검색 색인에는 영향이 없습니다. 마이크로소프트는 학습이나 답변 근거 설정과 상관없이 사이트가 검색 결과에 계속 나온다고 밝혔고, 구글의 Google-Extended 역시 처음부터 검색 포함이나 순위에는 영향이 없는 설정이었습니다. 다만 구글은 공통 두 줄을 Google-Extended 전체 금지로 보기 때문에, 검색 노출과 순위는 그대로여도 제미나이 앱·버텍스의 답변 근거 인용은 함께 막힙니다. 구글 검색 쪽 AI 요약(AI 개요)의 인용은 이 설정으로 막히지 않습니다. Google-Extended 는 학습과 답변 근거(그라운딩)를 함께 끄는 스위치 하나라, 구글 쪽에서는 학습만 막고 제미나이 인용만 살리는 조합이 안 됩니다.
반대로 말하면, 검색에서 빠지는 게 싫다면 절대 하지 말아야 할 실수가 하나 있습니다. User-agent: * 아래에 Disallow: / 를 적는 것입니다. 그 한 줄은 학습이 아니라 검색을 막습니다. 학습 거부를 적으려다 이 줄을 잘못 쓰면 며칠 안에 검색 유입이 사라집니다.
두 줄을 넣어도 아직 안 되는 것
- 오늘부터 네 곳이 다 듣지는 않습니다. 발표 시점에 실제로 적용 중인 곳은 한 곳이고, 나머지는 수개월 내, 2027년 2월 1일, 2027년 초로 흩어져 있습니다. 넣어 두는 건 빠를수록 좋지만, 넣는 날부터 효과가 나는 게 아닙니다.
- 이미 가져간 글은 안 지워집니다. 이사하면서 주소 이전을 신청해도 이미 배달된 편지가 되돌아오지는 않습니다. 이 두 줄은 앞으로 쓰지 말라는 표시이고, 지난 학습을 되돌리는 버튼이 아닙니다.
- 강제력이 없습니다. 정식 표준이 아니라 초안 단계이고, 안 지킨 쪽에 물릴 벌칙이 따로 없습니다. 그래서 신호를 넣는 것과 접근을 막는 것은 다른 일로 봐야 합니다.
1단계부터 5단계까지, 직접 넣는 순서
- 1단계. 지금 파일부터 엽니다. 브라우저 주소창에 내 도메인을 치고 뒤에 /robots.txt 를 붙입니다. 화면에 글자가 나오면 그 내용을 전부 복사해 둡니다. 페이지를 찾을 수 없다고 나오면 파일이 아직 없는 것입니다.
- 2단계. 메모장을 열어 복사한 내용을 붙입니다. 맨 아래에 빈 줄 하나를 두고 두 줄을 적습니다. 파일이 없었다면 두 줄만 적어도 됩니다.
- 3단계. robots.txt 라는 이름으로 저장합니다. 글자 인코딩은 UTF-8, 확장자는 .txt 입니다. 모르고 robots.txt.txt 로 저장되는 실수가 가장 흔하니 저장 뒤 파일 이름을 한 번 더 확인하시면 됩니다.
- 4단계. 사이트 최상위 폴더에 올립니다. 이미지나 자료를 넣어 둔 하위 폴더가 아니라, 첫 화면 파일이 있는 바로 그 자리입니다.
- 5단계. 다시 /robots.txt 를 열어 두 줄이 보이는지 확인합니다. 예전 내용이 그대로 보일 수 있으니 주소 끝에 ?1 을 붙여 한 번 더 확인하시면 됩니다.
넣기 전에 확인할 것 4가지
- 기존 줄을 지우지 않았는지. 관리 폴더를 막아 둔 줄이 사라지면 엉뚱한 페이지가 검색에 올라옵니다.
- User-agent: * 아래에 Disallow: / 가 들어가지 않았는지. 이 한 줄이 검색을 끊습니다.
- 사이트맵 주소 줄이 그대로 남아 있는지. 검색 쪽에 내 페이지 목록을 알려 주는 줄이라 같이 날아가면 색인이 느려집니다.
- 서브도메인이 따로 있는지. robots.txt 는 주소 단위로 읽히므로, blog 같은 서브도메인을 쓰고 있으면 그쪽에도 따로 올려야 합니다.
네이버 블로그에 쓴 글과 내 홈페이지에 쓴 글, 어느 쪽이 AI 학습에서 더 안전할까요
앞에서 본 것처럼 네이버 블로그의 robots.txt 는 AI 수집기 아홉 개를 이름까지 적어 전부 막아 두었습니다. 안전하냐고만 물으면 거기가 더 안전합니다. 내 홈페이지는 아무것도 안 넣으면 허용이 기본값이니까요.
그런데 같은 파일을 조금 더 들여다보면 OAI-SearchBot, Claude-SearchBot 처럼 「답변에 출처로 붙이는 수집기」까지 같이 막혀 있습니다. 학습도 안 되고 인용도 안 되는 상태입니다. 애써 쓴 글이 AI 답변에 출처로 붙어 사람이 찾아오는 길도 같이 닫혀 있다는 뜻입니다.
그래서 이 질문은 질문부터 모순이 있는 질문입니다. 어느 쪽이 안전하냐가 아니라, 어느 쪽을 내가 고를 수 있느냐를 물어야 합니다. 빌려 쓰는 공간에서는 주인이 정해 둔 줄을 내가 바꿀 수 없습니다. 내 도메인에 올린 홈페이지에서는 어디까지 막을지를 내가 직접 정할 수 있습니다. 다만 얼마나 잘게 갈라 적을 수 있는지는 곳마다 다릅니다. 마이크로소프트는 학습(ai-training)과 답변 근거(ai-grounding)를 따로 적을 수 있지만, Google-Extended 는 학습과 답변 근거(그라운딩)를 함께 끄는 스위치 하나라, 구글 쪽에서는 학습만 막고 제미나이 인용만 살리는 조합이 안 됩니다. “고를 수 있다는 것이 이 두 줄의 진짜 값입니다.”
처음 차를 살 때 유지비가 가장 비싼 차부터 골라야 할까요. 아닙니다. 어디에 쓸지를 먼저 정하고 고릅니다. 글도 같습니다. 학습에 안 쓰이는 게 중요한 자료라면 두 줄을 넣고, 많이 읽히고 많이 인용되는 게 중요한 글이라면 열어 두는 쪽이 맞습니다. 같은 사이트 안에서 폴더를 갈라 둘을 같이 쓰는 것도 됩니다.
자주 묻는 질문
robots.txt 파일이 아예 없으면 어떻게 되나요
없으면 전부 허용으로 봅니다. 학습도 막히지 않습니다. 파일을 새로 만들어 두 줄만 적어 올리면 됩니다. 다른 줄을 억지로 채울 필요는 없습니다.
빌더로 만든 사이트도 이 파일을 고칠 수 있나요
서비스마다 다릅니다. 파일을 직접 올리는 구조면 바로 됩니다. 관리 화면만 제공하고 최상위 파일 접근을 막아 둔 구조면 운영하는 쪽에 요청해야 합니다. 쓰고 있는 서비스에서 /robots.txt 를 열어 보고, 내용이 내가 넣은 적 없는 것이라면 그쪽이 관리하고 있는 것입니다.
두 줄을 넣으면 검색 순위가 떨어지나요
떨어지지 않습니다. 학습 거부와 검색 색인은 분리되어 있고, 검색 쪽에서 이 신호를 순위에 쓰겠다고 밝힌 곳도 없습니다. 순위가 떨어진다면 다른 줄을 잘못 적었을 가능성을 먼저 보셔야 합니다.
네이버나 카카오도 이 두 줄을 듣나요
공통 신호를 받기로 한 곳은 2026년 10월 30일 발표 기준 네 곳입니다. 국내 포털은 그 발표에 들어 있지 않습니다. 국내 쪽까지 챙기려면 각 서비스가 안내하는 수집기 이름을 따로 확인해 적는 편이 확실합니다.
서브도메인마다 따로 넣어야 하나요
따로 넣어야 합니다. robots.txt 는 그 주소의 최상위 파일만 읽습니다. 본 사이트에 넣었다고 블로그용 서브도메인까지 함께 적용되지 않습니다.
이미 학습된 글을 지워 달라고 요청할 수 있나요
이 두 줄로는 안 됩니다. 두 줄은 앞으로의 수집과 학습에 대한 표시입니다. 지난 학습을 되돌리는 절차는 이번 발표에 들어 있지 않습니다.
아이비전트에서 올린 사이트는 어디를 고치나요
robots.txt 는 설정 화면의 체크박스가 아니라 사이트 최상위에 올리는 파일입니다. 아이비전트 AI 호스팅의 SEO·GEO 관리 탭에는 사이트 이름, 검색 결과에 보일 설명, 사이트맵 주소, 검색엔진 소유확인 코드, 모든 페이지에 넣을 스크립트 항목이 있고 robots.txt 는 그 목록에 없습니다. 그래서 파일을 올리는 쪽으로 처리합니다. 직접 올리기 어려우면 관리 화면의 문의 접수에 두 줄을 넣어 달라고 적으시면 됩니다.
우리도 같은 파일을 쓰고 있습니다. 2026년 11월 3일 기준으로 www.ibigent.com 의 robots.txt 에는 User-agent: * 아래에 /doc/, /backup/, /_backup/, /data/, /private/, /order/ 여섯 곳을 막는 줄과 사이트맵 주소 한 줄이 들어 있습니다. 공통 신호 두 줄은 아직 넣지 않았습니다. 공식 블로그 글이 AI 답변에 근거로 쓰이는 쪽을 택했기 때문입니다. 막는 게 늘 정답은 아니라는 뜻이기도 합니다.
요금은 베이직이 월 3,300원에 디스크 1GB, 스탠다드가 월 6,600원에 2GB, 프리미엄이 월 9,900원에 4GB 입니다. 무료체험은 14일이고 0.5GB 로 시작합니다. 어느 요금제든 robots.txt 는 같은 자리에 올립니다. 검색 노출 상태를 함께 보고 싶다면 스탠다드부터 SEO·GEO·AEO 진단이 월 5회, 검사 페이지가 최대 100쪽까지 제공됩니다.
두 줄을 넣어야 할지 열어 둬야 할지 판단이 서지 않는다면, 먼저 지금 내 사이트의 /robots.txt 를 열어 보시면 됩니다. 손대야 할 자리가 어디인지는 그 화면에서 바로 보입니다.
정리 - 목적을 먼저 정하고 고르시면 됩니다
정리하면 세 가지입니다. 첫째, 학습 거부는 robots.txt 두 줄로 알립니다. 둘째, 그 두 줄은 검색을 건드리지 않습니다. 셋째, 두 줄은 쪽지일 뿐이라 날짜가 와야 듣고, 지난 일은 되돌리지 못하며, 안 듣는 쪽은 그래도 들어옵니다.
그러니 넣을지 말지부터 고민하기보다, 이 글을 어디에 쓰려고 썼는지를 먼저 정하시면 됩니다. 사람에게 읽히고 AI 답변에 인용되는 게 목적이면 열어 두고, 자료 자체가 값인 페이지라면 그 폴더만 막습니다. 목적을 정하고 나면 두 줄을 어디에 둘지는 저절로 정해집니다.
확인 기준 : 2026년 11월
