목록QA (1)

JangBaGeum.gif

AI 에이전트 테스트

AI를 이용한 프로덕션 에이전트를 운영하기는 정말 힘들다. AI 민원 처리 에이전트를 개발하였고 현재 운영 중이다. 새로운 기능 개발 / 개선은 지금도 계속 이어가고 있다. 어제 잘 동작하던 에이전트가 오늘 갑자기 다른 게 처리하거나 답을 하는 경우가 많다. 코드는 한 줄도 바꾸지 않았는데, 운영에서 사용자 컴플레인이 들어오거나 QA 테스트 중 뜬금없는 곳에서 확인 요청이 온다. 추적해 보면 결국 프롬프트 한 줄 수정, 도구 추가, 모델 버전 업그레이드 중 하나다. 처음에는 이게 무서웠다. 내가 통제하지 못하는 변수가 너무 많아서, 어디서부터 손을 대야 할지 막막했다. 단위 테스트 패턴은 그대로 안 통하고, 옵서버빌리티 도구는 이미 일어난 일만 보여줄 뿐이다. 그래서 한동안은 "이건 그냥 받아들이는 수밖..
Backend/개발 방법론 & 디자인 패턴 2026. 5. 25. 17:39
이전 Prev 1 Next 다음