GitHub Copilot evaluation models auto model selection: Copilot Auto 평가 모델 끄는 방법과 주의점

 

GitHub Copilot Auto에 평가 모델이 들어온다: 끄는 방법과 주의점

2026년 6월 1일 GitHub 공지 기준, 개인 Copilot 사용자가 먼저 확인할 설정과 검증 기준

 

GitHub Copilot Auto 평가 모델 업데이트, 먼저 확인할 것

 

GitHub는 2026-06-01 개인 비엔터프라이즈 Copilot 사용자에게 evaluation models 접근을 제공하며, 이 모델들이 Copilot Auto에서 선택될 수 있다고 공지했습니다. 모델 라우팅과 결과 안정성에 민감하다면 GitHub 설정의 AI controls에서 비활성화 여부부터 확인하는 편이 좋습니다.

GitHub Copilot evaluation models auto model selection 업데이트는 겉으로는 작은 설정 변경처럼 보입니다. 실제로는 개인 사용자가 Copilot Auto를 켜 둔 상태에서 어떤 모델이 답했는지, 그 답을 어디까지 믿을지 다시 정해야 하는 변화에 가깝습니다.

제가 보기에는 질문을 이렇게 좁히는 편이 낫습니다. "Copilot Auto는 계속 쓰되, 평가 모델은 어느 작업에서 막아야 하나." 2026년 6월 1일 GitHub Changelog와 GitHub Docs가 확인해 준 범위 안에서 적용 대상, 끄는 경로, 모델 확인 방법, 비용과 보안 검증 포인트를 정리했습니다.

특히 회사 저장소를 개인 Copilot 계정으로 다루거나, 생성된 코드를 테스트·배포 코드에 빠르게 반영하는 개발자라면 설정 화면을 한 번 열어보는 것이 먼저입니다. Auto의 편의성은 남겨두더라도 평가 모델이 섞일 때 보수적으로 다룰 작업은 따로 정해야 합니다.

 

 

무엇이 바뀌었나: 개인 Copilot Auto에 평가 모델이 포함될 수 있다

 

이번 변경은 특정 모델을 직접 고르지 않고 Copilot Auto를 쓸 때 evaluation models가 응답 모델로 선택될 수 있다는 뜻입니다. GitHub가 직접 밝힌 대상은 개인 비엔터프라이즈 사용자입니다.

여기서 볼 부분은 "평가 모델을 사용자가 직접 고른다"가 아닙니다. Copilot Auto를 선택했을 때 GitHub의 자동 모델 선택 흐름 안에서 evaluation models가 서빙될 수 있다는 점입니다.

Business나 Enterprise 사용자에게 같은 방식으로 적용된다고 넓혀 말하면 부정확합니다. 2026-06-01 Changelog의 직접 대상은 individual non-enterprise users입니다. 조직 정책, 엔터프라이즈 정책, 데이터 레지던시 조건이 있는 환경은 별도 정책 범위에서 봐야 합니다.

평가 모델이라는 표현도 과하게 해석하지 않는 편이 좋습니다. 공식 문서는 이 모델들이 GitHub와 Microsoft의 테스트 및 검증을 거친다고 설명합니다. 동시에 일반 제공 모델과 가용성·rate limit이 다를 수 있고, 사전 고지 없이 추가, 업데이트, 제거될 수 있다고 안내합니다.

> 지금 할 일은 평가 모델을 무조건 피하는 것이 아니라, Copilot Auto가 어느 작업에서 어떤 모델을 쓰는지 확인 가능한 상태로 만드는 것입니다.

 

Auto model selection은 왜 지금 중요해졌나

 

Copilot Auto는 2026년 4월 CLI, 5월 cloud agent와 VS Code 작업 기반 라우팅을 거쳐 6월 1일 evaluation models와 과금 업데이트까지 이어졌습니다. 흐름을 보면 GitHub가 모델 선택을 수동 선택보다 작업 기반 라우팅 쪽으로 넓히고 있음을 알 수 있습니다.

2026-04-17에는 Copilot CLI에서 Auto model selection이 모든 Copilot 플랜 대상으로 일반 제공됐습니다. 2026-05-14에는 Copilot cloud agent가 Auto를 지원하기 시작했습니다.

2026-05-20에는 VS Code의 Auto model selection이 작업 특성 기반 라우팅으로 확장됐습니다. GitHub는 실시간 가용성, 안정성, 추론 난이도, 코드 생성 복잡도, 버그 진단 난이도, 도구 오케스트레이션 필요성 등을 고려한다고 설명했습니다.

그리고 2026-06-01에 개인 사용자의 evaluation models 접근과 usage-based billing 업데이트가 같이 나왔습니다. 한국 사용자 입장에서는 이 조합이 더 중요합니다. Auto가 편해질수록 모델 선택은 덜 보이지만, 비용과 결과 검증은 사용자가 더 의식적으로 관리해야 하기 때문입니다.

날짜	변화	독자가 확인할 의미
2026-04-17	Copilot CLI Auto 일반 제공	터미널 작업에서도 Auto 모델 사용 흐름이 확대됨
2026-05-14	Copilot cloud agent Auto 지원	에이전트 작업 결과의 모델 확인 필요성 증가
2026-05-20	VS Code 작업 기반 라우팅 확장	코드 작업 유형에 따라 모델이 바뀔 수 있음
2026-06-01	개인 사용자 evaluation models 및 billing 업데이트	평가 모델, 토큰, AI Credits를 함께 점검해야 함

 

 

 

끄는 방법: GitHub AI controls에서 Disabled를 선택한다

 

비활성화 경로는 GitHub 우측 상단 프로필 사진, Settings, AI controls, Evaluation models in Copilot auto model selection, Disabled 순서입니다. 설정을 바꾼 뒤에는 새 Copilot Chat 세션에서 Auto 응답의 사용 모델 표시를 다시 확인하는 방식이 안전합니다.

실제로 확인할 부분은 GitHub 개인 설정 화면입니다. GitHub Docs 기준 경로는 우측 상단 프로필 사진을 누른 뒤 Settings로 들어가고, 상단의 AI controls에서 Evaluation models in Copilot auto model selection 항목을 찾는 순서입니다. 여기서 Disabled를 선택하면 Copilot Auto가 evaluation models를 쓰지 않도록 설정합니다.

VS Code에서 Copilot Chat 모델을 직접 바꾸고 싶다면 채팅 하단의 현재 모델 드롭다운을 봅니다. Auto를 고르면 GitHub가 가용성과 rate limiting 완화를 고려해 모델을 자동 선택합니다.

다만 이미 Auto model selection으로 대화 중이라면 모델 전환을 위해 새 채팅 세션이 필요하다고 GitHub Docs가 안내합니다. 설정을 바꾼 뒤 기존 대화의 모든 응답 조건이 바로 같은 방식으로 재평가된다고 가정하지 않는 편이 좋습니다.

 

도입 시뮬레이션: 켜둘지 끌지 20분 안에 점검하는 방법

 

첫 테스트는 개인 계정 대상 여부 확인, Copilot Chat에서 Auto 선택, 짧은 코드 설명 또는 테스트 생성 요청, 실제 사용 모델 기록, Disabled 전환 후 재확인 순서가 적합합니다. 운영에서는 모델 표시, 세션 관리, 보안 검증, 비용 관찰, 변경 감시를 함께 기록해야 합니다.

Copilot Auto를 계속 쓸지 판단할 때 거창한 벤치마크부터 만들 필요는 없습니다. 개인 저장소의 짧은 함수 하나를 골라 "이 함수의 경계 조건 테스트를 만들어 달라"고 요청하고, 응답 위에 표시되는 모델 정보를 기록합니다. CLI나 cloud agent를 쓴다면 터미널 또는 agent 응답 끝의 모델 표시도 같이 확인합니다.

다음 단계는 사람이 검토하기 쉬운 기준으로 보는 일입니다. 테스트가 실제 실패 케이스를 잡는지, 보안 민감 입력을 멋대로 추정하지 않는지, 프로젝트 컨벤션을 지키는지 체크합니다. 그 뒤 AI controls에서 evaluation models를 Disabled로 바꾸고 새 채팅 세션을 시작해 같은 유형의 요청을 다시 비교합니다.

운영 체크는 짧게 남겨도 됩니다.

• Copilot Chat: 응답 위 모델 표시를 확인하고 민감 작업은 모델명을 메모합니다.
• Copilot CLI: 터미널에 표시되는 사용 모델을 기록합니다.
• Copilot cloud agent: 응답 끝의 모델 표시를 확인합니다.
• 비용: 토큰 사용량과 선택 모델이 GitHub AI Credits로 이어지는지 billing 문서 기준으로 봅니다.
• 보안: 인증, 권한, 결제, 개인정보 처리 코드는 CodeQL이나 기존 SAST/CI와 사람 리뷰를 거칩니다.

저라면 개인 토이 프로젝트, 학습용 리팩터링, 테스트 초안 작성에는 Auto를 열어 둡니다. 반대로 고객 데이터 처리, 결제 로직, 접근권한 변경, 보안 패치처럼 실패 비용이 큰 작업은 평가 모델을 끄거나 특정 검증된 모델로 고정하고 결과를 교차검토합니다.

 

 

 

어떤 작업에서 켜두고, 어디서는 피할까

 

추천 범위는 개인 프로젝트, 학습용 코드 리뷰, 테스트 초안, 리팩터링 아이디어처럼 검증 비용이 낮은 작업입니다. 보안 패치, 결제 로직, 개인정보 처리, 회사 정책이 얽힌 저장소에서는 Auto 편의성보다 재현성과 검토 흐름을 우선해야 합니다.

GitHub Copilot evaluation models auto model selection을 켜둘 만한 작업은 실패해도 되돌리기 쉬운 영역입니다. 오래된 함수를 설명하게 하거나, 테스트 케이스 후보를 만들거나, 간단한 README 초안을 잡는 작업에서는 Auto가 주는 속도 이점이 분명합니다.

프로덕션 코드에 바로 들어가는 제안은 다르게 봐야 합니다. 공식 문서는 evaluation models가 보안 관련 또는 일부 프롬프트 범주에서 다른 모델보다 성능이 낮을 수 있다고 조심스럽게 적고 있습니다. 이 문장을 "항상 나쁘다"로 읽을 필요는 없지만, 보안 민감 작업에서 바로 병합할 이유도 없습니다.

함께 쓸 도구도 화려할 필요가 없습니다. Copilot Chat model picker로 모델을 고정하거나, GitHub AI controls로 평가 모델 사용을 제한하고, CodeQL 또는 기존 SAST/CI로 생성 코드의 최소 안전선을 확인하는 조합이 현실적입니다.

 

주의점: 모델명, 비용, 재현성은 단정하지 말아야 한다

 

Evaluation models는 제품 안에서 코드명으로 표시될 수 있고, 사전 고지 없이 추가·업데이트·제거될 수 있습니다. Auto 사용 비용도 항상 낮아진다고 말할 수 없으며, 선택 모델과 토큰 사용량을 함께 봐야 합니다.

다만 여기서 조심할 점은 모델 정체를 과하게 추정하는 일입니다. GitHub Docs는 evaluation models가 공식 모델명이나 제공자명이 아니라 코드명으로 표시될 수 있다고 설명합니다. 화면에 낯선 이름이 보인다고 해서 특정 OpenAI, Anthropic, Google, Microsoft 모델이라고 단정하면 안 됩니다.

비용도 비슷합니다. GitHub Docs는 유료 Copilot 플랜에서 Copilot Chat, CLI, cloud agent의 Auto model selection을 쓰면 모델 비용에 10% 할인이 적용된다고 안내합니다. 그러나 실제 Copilot 사용 비용은 선택된 모델과 토큰 사용량에 좌우됩니다. 긴 컨텍스트를 자주 보내면 할인 문구만 보고 비용을 낙관하기 어렵습니다.

재현성은 운영 문제입니다. 같은 프롬프트라도 Auto가 가용성, 안정성, 작업 특성, 플랜, 정책에 따라 다른 모델을 고를 수 있습니다. 팀 규칙이 있는 코드베이스라면 "Auto가 준 답"이 아니라 "어떤 모델 표시, 어떤 세션, 어떤 테스트 결과"였는지를 남겨야 나중에 추적됩니다.

 

한국 개인 개발자에게 남는 판단 기준

 

한국 개인 개발자에게 이번 업데이트는 Copilot이 어느 모델로 답했는지와 그 결과를 어느 작업에 믿고 쓸지를 분리해 관리하라는 신호입니다. 회사 코드, 비용 한도, 보안 검토가 얽힌 사용자는 Auto 편의성보다 설정과 기록을 먼저 확인해야 합니다.

한국어로 GitHub Copilot을 쓰는 개인 개발자는 보통 세 부류로 나뉩니다. 개인 프로젝트 생산성을 높이려는 사용자, 회사 업무와 개인 도구 사용 경계가 흐린 사용자, AI 도구 비용을 월 단위로 예민하게 보는 사용자입니다. 이번 업데이트는 세 부류 모두에게 다른 질문을 던집니다.

개인 프로젝트라면 GitHub Copilot evaluation models auto model selection을 켜두고 모델 표시만 확인해도 충분할 수 있습니다. 반면 회사 저장소를 다루는 상황이라면 조직의 AI 사용 정책, 소스코드 반출 규정, Copilot 계정 유형부터 확인해야 합니다. 비용을 아끼려는 사용자라면 Auto 할인만 보지 말고 긴 프롬프트와 반복 요청이 AI Credits에 어떤 식으로 잡히는지 확인해야 합니다.

제 기준의 실무 결론은 간단합니다. Copilot Auto는 기본 작업의 속도를 높이는 도구로 두되, evaluation models는 보안·비용·재현성이 중요한 작업에서 별도 스위치처럼 다룹니다. 끄는 방법을 알아두고, 켰을 때는 모델 표시와 테스트 결과를 남기는 습관이 이번 업데이트의 가장 현실적인 대응입니다.

 

자주 묻는 질문

 

Q. GitHub Copilot evaluation model은 무엇인가?
A. GitHub Copilot에서 일반 모델과 별도로 평가 중인 모델군으로 이해하면 됩니다. GitHub Docs는 이 모델들이 Microsoft, OpenAI, Anthropic, Google 중 하나 이상에서 오거나 fine-tune될 수 있고 GitHub와 Microsoft의 테스트 및 검증을 거친다고 설명합니다. 다만 제품 안에서는 공식 모델명 대신 코드명으로 표시될 수 있습니다.

Q. Copilot Auto에서 평가 모델을 비활성화하려면 어디로 가야 하나?
A. GitHub 우측 상단 프로필 사진을 누른 뒤 Settings, AI controls, Evaluation models in Copilot auto model selection 항목으로 이동해 Disabled를 선택합니다. 설정 후에는 새 Copilot Chat 세션에서 Auto 응답의 사용 모델 표시를 다시 확인하는 편이 좋습니다.

Q. Copilot Auto가 어떤 모델을 썼는지 확인할 수 있나?
A. 확인할 수 있습니다. GitHub Docs는 Copilot Chat에서는 응답 위에 마우스를 올리고, Copilot CLI에서는 터미널 표시를 보고, Copilot cloud agent에서는 응답 끝에서 실제 사용 모델을 확인할 수 있다고 안내합니다.

Q. 평가 모델 사용이 코드 품질이나 보안 검토에 영향을 줄 수 있나?
A. 영향을 줄 수 있는 작업이 있습니다. GitHub Docs는 evaluation models가 일부 보안 관련 또는 특정 프롬프트 범주에서 다른 모델보다 성능이 낮을 수 있다고 안내합니다. 프로덕션 병합 전에는 테스트, SAST나 CodeQL, 사람 리뷰, 다른 모델 교차검토를 거치는 것이 안전합니다.

Q. Auto model selection을 쓰면 Copilot 비용이 항상 줄어드나?
A. 항상 그렇다고 말할 수 없습니다. GitHub Docs는 유료 플랜에서 Copilot Chat, CLI, cloud agent의 Auto model selection 사용 시 모델 비용 10% 할인을 안내하지만, 실제 비용은 선택 모델과 토큰 사용량에 따라 GitHub AI Credits로 환산됩니다.

Q. 언제 evaluation models 또는 Copilot Auto를 피하는 것이 좋은가?
A. 결제, 인증, 권한, 개인정보 처리, 보안 패치처럼 실패 비용이 큰 코드에서는 evaluation models를 끄거나 특정 모델로 고정하는 편이 낫습니다. GitHub Copilot evaluation models auto model selection은 학습, 테스트 초안, 리팩터링 아이디어처럼 검증 비용이 낮은 작업부터 확인하는 것이 현실적입니다.

함께 읽으면 좋은 글

 

• Microsoft MAI 모델군 공개: Foundry에서 reasoning·이미지·음성 모델을 어떻게 쓰나 — AI UPDATES
• Chrome Enterprise MCP 서버: 브라우저 보안 관리를 AI 에이전트로 자동화하는 법 — AI UPDATES
• OCI Generative AI가 xAI 도구 호출을 지원한다: Responses API 업데이트 의미 — AI UPDATES
• Claude Code Dynamic Workflows란? 병렬 서브에이전트로 대규모 코딩 작업을 처리하는 새 기능 — AI UPDATES
• OpenAI Rosalind Biodefense 공개: GPT-Rosalind 접근 확대가 뜻하는 것 — AI UPDATES

참조 링크

 

• Evaluation models in auto for individual plans — 2026-06-01 개인 비엔터프라이즈 사용자 대상 evaluation models와 Copilot Auto 적용 가능성을 알린 원 업데이트입니다.
• Supported AI models in GitHub Copilot — Evaluation models의 코드명 표시, 변동성, 보안 검증 주의, AI controls 비활성화 경로를 확인한 문서입니다.
• About Copilot auto model selection — Auto model selection의 라우팅 기준, 정책 영향, 실제 사용 모델 확인 방법, 유료 플랜 할인 조건을 확인한 문서입니다.
• Changing the AI model for GitHub Copilot Chat — VS Code Copilot Chat에서 모델을 직접 바꾸는 방법과 새 세션 관련 안내를 확인한 문서입니다.
• Models and pricing for GitHub Copilot — 선택 모델과 토큰 사용량이 GitHub AI Credits 기준 비용으로 이어지는 구조를 확인한 문서입니다.
• Auto model selection now routes based on your task in VS Code — VS Code에서 작업 특성 기반 Auto 라우팅으로 확장된 흐름을 설명한 업데이트입니다.
• GitHub Copilot CLI now supports Copilot auto model selection — Copilot CLI에서 Auto model selection이 일반 제공된 시점을 확인한 업데이트입니다.
• Copilot cloud agent supports auto model selection — Copilot cloud agent에서 Auto model selection 지원이 추가된 시점을 확인한 업데이트입니다.
• Updates to GitHub Copilot billing and plans — 2026-06-01 usage-based billing과 AI Credits 맥락을 확인한 업데이트입니다.