- Knowledge
AI가 이상한 행동을 했을 때 어디부터 디버깅해야 할까?
AI의 오답을 모델·입력·도구 실행으로 구분해 추적하고 평가하는 방법을 알아봅니다.
시리즈15편 중 9편AI 에이전트는 어떻게 일할까
- 01AI는 어떻게 대답만 하다가 실제로 일을 처리하게 될까?
- 02AI 에이전트는 왜 같은 작업을 계속 반복할까?
- 03AI는 방금 읽은 파일을 왜 다시 찾아볼까?
- 04AI에게 도구를 많이 연결하면 왜 오히려 일을 못할까?
- 05AI에게 문서를 검색하게 해도 왜 틀린 답을 할까?
- 06AI가 코드를 고쳤다면 바로 실행해도 될까?
- 07AI가 응답하지 않아 다시 실행했는데, 왜 작업이 두 번 처리될까?
- 08AI 여러 명을 동시에 투입하면 개발이 더 빨라질까?
- 09AI가 이상한 행동을 했을 때 어디부터 디버깅해야 할까?읽는 중
- 10AI와 대화할 때 실제로 어떤 데이터가 오갈까?
- 11AI는 왜 대화가 길어질수록 비용이 많이 들까?
- 12AI 에이전트를 여러 개 만드는 진짜 이유는 무엇일까?
- 13AI가 작업하는 도중 상황이 바뀌면 어떻게 알까?
- 14AI 에이전트에 새로운 능력을 추가하는 방법은?
- 15AI 에이전트를 직접 만든다면 어떤 코드가 필요할까?
AI가 “수정한 파일을 확인했다”고 답했는데 실제로는 다른 파일을 읽었습니다. 코드에는 예외가 없고 API 요청도 성공했어요. 그런데 결과는 틀렸습니다.
이 결과만 보고 모델의 판단을 탓하기는 어렵습니다. 모델에 전달된 정보가 부족했을 수도 있고, 도구나 외부 상태가 예상과 다르게 동작했을 수도 있습니다.
먼저 실제로 주고받은 내용을 확인하자
일반 프로그램을 디버깅할 때 로그를 살펴보듯, 에이전트도 요청과 응답을 확인해야 합니다.
사용자 요청이 무엇이었는지, 모델에 실제로 어떤 메시지와 도구 정의가 전달됐는지, 모델이 어떤 도구 인자를 만들었는지, 하네스가 무엇을 반환했는지 순서대로 살펴보는 것이 출발점이에요.
예를 들어 “config 파일을 읽어 줘”라는 요청이 실패했다면 서로 다른 가능성이 있습니다. 파일 경로가 모델 입력에 없었을 수도 있고, 모델이 경로를 잘못 골랐을 수도 있고, 도구가 접근 권한 때문에 실패했을 수도 있습니다.
세 경우 모두 요청을 제대로 처리하지 못했지만, 확인해야 할 위치는 각각 다릅니다.
한 번의 작업을 여러 사건으로 나눠 보면
실행 과정에 run_id와 step_id를 부여하면 도구 호출과 모델 응답을 연결하기 편합니다.
{
"run_id": "task-42",
"step_id": 3,
"event": "tool_finished",
"tool": "read_project_file",
"status": "denied",
"duration_ms": 18
}이는 설명용 로그 형식입니다. 실제 구현에서는 요청 ID, 사용 모델, 도구 버전, 승인 결과, 오류 종류, 소요 시간 등 필요한 필드를 추가할 수 있어요. 중요한 것은 각 사건이 어떤 요청과 결과에 연결되는지 추적할 수 있다는 점입니다.
다만 모든 입력과 출력을 그대로 영구 저장하는 것은 위험할 수 있습니다. 파일 내용에 개인정보나 비밀 정보가 포함될 수 있으므로 접근 제한, 마스킹, 보관 기간 등을 함께 설계해야 합니다.
모델의 실수인지 도구의 실수인지 어떻게 구분할까?
같은 작업을 재현 가능한 작은 시험으로 쪼개 보세요.
예를 들어 모델이 잘못된 파일을 선택했다면, 실제 파일 목록을 고정한 상태에서 “어떤 파일을 선택하는가?”만 관찰합니다. 도구가 파일을 잘못 읽었다면 모델을 거치지 않고 도구를 직접 호출해 테스트합니다.
이렇게 분리하면 불안정한 언어 생성과 결정적으로 동작해야 하는 코드의 문제를 구별할 수 있어요.
AI의 결과에도 테스트가 필요할까?
필요합니다. 다만 일반적인 함수 테스트와 방식이 조금 다를 수 있어요.
코드 수정 작업이라면 테스트 통과 여부, 수정 범위, 빌드 성공 여부 등을 기계적으로 확인할 수 있습니다. 문서 요약이라면 필수 사실이 포함됐는지, 근거 없는 주장이 들어갔는지 등을 확인해야겠죠.
완전히 동일한 문장이 나오는지를 검사하는 것은 많은 생성 작업에서 적절하지 않습니다. 대신 성공 조건과 금지 조건을 명시한 여러 시험 사례를 준비하고, 수정 전후 결과를 비교하는 편이 유용합니다.
평가자가 또 다른 모델이라면 그 판정 역시 틀릴 수 있으므로, 가능한 곳에서는 정답 데이터·실제 도구 결과·사람의 검토와 함께 사용해야 해요.
잘못된 판단이 발생했을 때 고쳐야 할 위치
모델이 필요한 정보를 보지 못했다면 입력 구성이나 검색이 문제입니다. 존재하지 않는 도구를 요청했다면 도구 설명과 사용 가능한 기능을 확인해야 합니다. 하네스는 성공이라고 반환했지만 실제 파일이 바뀌지 않았다면 도구 자체의 결과 검증이 필요합니다.
원인을 구분하지 않고 프롬프트만 길게 고쳐서는 해결되지 않을 수 있습니다. 잘못된 상태를 읽는 코드가 원인이라면 그 코드를 먼저 수정해야 합니다.
믿을 만한 AI는 잘 설명하는 AI만이 아니다
에이전트의 결과를 살펴볼 때는 최종 답변과 함께 모델이 받은 정보, 실행한 도구, 실제 반환 결과를 확인해야 합니다.
예상과 다른 결과가 나왔다면 실행 기록을 따라가며 문제가 입력, 모델의 선택, 도구 실행 중 어디서 시작됐는지 확인해 보세요.
갑자기 추워진 날, 진주에서
진주에서 하루종일 돌아다녔다

내 단점을 커버하는 동료와 함께.
새로운 프로젝트를 함께 준비하는 친구와의 저녁. 미운 점도 고마운 점도 있지만, 결국 같이 잘됐으면 좋겠다는 마음.

순천과 여수 여행3
마지막 하루. 공부랑 런닝으로 끝내기


댓글 0
이 글에 대한 생각을 자유롭게 남겨주세요.
댓글을 불러오는 중…