[카테고리:] Uncategorized

회의 메모를 정리시킬 때마다 “담당자가 없으면 추측하지 말고, 취소된 일은 따로 빼줘”라고 설명한다면, 그 설명을 파일로 저장해 다시 쓸 수 있을까?

짧은 가상 회의 메모로 확인했다. 동일한 지침 파일을 매번 새 작업 폴더에 복사한 뒤, 새 대화에서 불러올 수 있었다. 다만 이번에 정한 사실 검사에서는 정확도 차이가 관측되지 않았다. 지침 없이 보낸 일반 요청도 같은 사실 검사를 모두 통과했다.

‘가르친다’는 말부터 나누자

여기서 쓴 Agent Skill은 AI가 업무를 처리할 때 읽는 지침 묶음이다. 이름과 설명, 수행 절차를 SKILL.md라는 텍스트 파일에 적는다. AI 모델 자체를 다시 훈련하는 작업과는 다르다. 필요한 절차를 꺼내 읽게 하는 쪽에 가깝다. Agent Skills 표준

AI에게 파일 작업을 맡기는 도구인 Codex와 Claude Code는 이런 지침을 지원한다. 다만 파일을 저장하는 위치와 부르는 방법이 다르다. 같은 형식의 파일을 쓴다고 모든 도구·권한·실행 결과가 같아지는 것은 아니다.

같은 지침을 붙여 넣거나 파일로 불렀다

2026년 9월 5일, Mac에서 Codex와 Claude Code로 한국어 회의 메모 두 개를 정리했다. 하나는 평범한 워크숍 준비, 다른 하나는 인쇄 취소와 서로 다른 검토 기한이 섞인 소식지 준비 메모다. 모두 가상 자료이며 실제 회의나 초보 사용자의 체험담이 아니다. 실행과 평가는 Codex의 AI 에이전트가 맡았다.

각 도구에서 세 조건을 비교했다.

지침에는 네 구역으로 나누기, 메모 각 줄의 번호로 근거 표시하기, 없는 담당자·기한은 미정으로 남기기, 취소와 충돌을 보존하기를 적었다. 붙여넣기와 저장 조건의 지침 내용은 동일했다. 붙여넣기 대 저장 호출이 전달 방식의 비교다. 일반 요청은 추가 지침이 없어도 처리하는지 보는 참고 조건이다. 파일을 읽는 위치와 도구의 처리 과정까지 같지는 않다.

매번 새 대화와 작업 폴더를 만들었고, 저장 조건에는 동일한 파일을 복사했다. 개발용 메모로 호출을 확인한 뒤 입력과 채점 기준을 고정했다. 도구 둘 × 조건 셋 × 메모 둘, 총 12개 첫 응답을 보존했다.

짧은 요청도 모두 통과했다

평가는 메모별로 미리 정한 사실 항목 9개를 사용했다. 확정된 행동, 담당자·기한, 미정 정보, 취소와 충돌을 빠뜨리거나 바꾸는지 봤다. 모델·조건 이름을 가린 별도 AI 에이전트가 채점하고 Codex 총괄이 대조했다. 답의 형식은 가리지 못했다. 사람의 독립 채점이 아니며, 평가에도 비교 대상 도구를 썼다는 한계가 있다. 실질적 누락·오류에는 최대 2회 수정을 요청하되, 형식 차이는 사실 점수에서 제외하기로 했다.

예를 들어 검토 기한이 9월 14일과 16일로 충돌하는 메모에서, 어느 응답도 한쪽을 정답으로 골라 버리지 않았다. 취소된 인쇄 견적 요청도 할 일로 되살리지 않았다. 일부 일반 응답의 “A가 기한을 정해야 한다” 같은 말은 확인할 사항 아래의 권고로 보고, 회의에서 확정된 약속을 지어낸 오답으로 세지 않았다. 한 Claude 저장 호출 응답에는 영어 안내가 붙었다. 이런 해석과 형식 차이는 별도 기록했으며, 사실 통과가 전체 품질의 동등함을 뜻하지 않는다.

지침이 실제 쓰였는지는 답의 모양으로 추측하지 않았다. 저장 조건 네 번 모두 파일 읽기 또는 도구의 지침 삽입 기록을 확인했다. 별도 진단에서는 일반 요청 조건과 달리 파일을 설치해 두고, 이름을 지정하지 않은 요청을 도구별 한 번씩 보냈다. 두 도구 모두 지침을 불러왔다. 본시험과 요청문이 다른 호출 확인이며, 정확도 비교에 합치지 않았다. 도구별 한 번의 성공으로 자동 호출의 신뢰도를 알 수는 없다.

요청 길이와 실제 수고는 다르다

다음은 입력을 조립한 방식에서 생기는 문자 수 차이다. 저장 호출은 붙여넣기보다 700자 짧았지만, 일반 요청이 가장 짧았다. 두 도구에 같은 문자열 구성을 사용했다.

공백과 메모를 포함한 문자 수이며, 자동으로 조립한 요청이다. 사람이 실제로 덜 타이핑한 양이나 작업 시간은 측정하지 않았다. 파일의 지침도 AI가 읽으므로 토큰·비용 절약을 뜻하지 않는다.

이번 측정에서 저장 호출은 도구 둘 × 메모 둘의 네 비교 모두 붙여넣기보다 오래 걸렸다. 조건마다 한 번뿐이라 일반적인 속도 차이로 해석할 수 없다.

준비 과정도 필요했다. 오래된 Codex 실행 도구가 선택한 모델을 지원하지 않아, 이미 설치된 앱에 포함된 더 새 버전으로 개발용 호출을 재확인했다. 지침 파일이 있어도 도구 버전 문제로 실행이 막힐 수 있었다.

실험은 보유 구독 범위에서 진행했다. Codex 도구 버전은 0.153.0-alpha.5, 선택 모델은 gpt-6-astra였다. Claude Code는 2.1.261, 주응답은 Fable 5.1이었다. 순수한 모델 성능 대결로 읽어서는 안 된다. Codex 기록만으로 실제 반환 모델을 확인할 수 없었고, Claude 일부 사용량에는 보조 모델도 나타났다.

재사용 가능성과 정확도 향상은 별개다

이번에 확인한 것은 같은 절차를 파일에서 꺼내 쓸 수 있다는 점이다. 모두 만점이어서 이 짧은 메모와 채점 기준으로는 성능 차이를 구분하지 못했다. 취소·충돌은 두 번째 메모에서만 시험했다. 장기적인 일관성이나 초보자의 시간 절약도 검증하지 않았다. 작업 폴더는 새로 만들었지만 도구의 모든 기본 설정까지 없앤 실험도 아니다.

이 정도 메모에서는 일반 요청으로도 사실을 보존했으므로, 정확도를 위해 스킬이 꼭 필요하다는 근거는 없다. 반복 업무에 적용한다면 “쓰던 절차를 제대로 불렀나?”, “없는 정보를 미정으로 남겼나?”부터 확인하자. 잘 맞는 지침을 재사용하는 것과 결과를 검증하는 일은 함께 남는다.

이 글은 AI를 활용해 자료 조사와 초안 작성을 보조했으며, 작성자가 최종 원고를 검토하고 수정 방향을 결정했습니다.