코딩 이외의 AI툴 사용 경험
요즘 회사에서 적극적으로 AI툴들을 도입하기 시작했습니다.
Claude code, Cline 같은 코딩툴부터 Amazon Q Business 같은 비즈니스 특화툴, 티켓 관리봇 같은 커스텀 툴 그리고 이런 툴들을 위한 사내 코드베이스/문서 등의 mcp 같은것들요.
동시에 CEO가 “효율성이 향상된만큼 인력규모를 줄이겠다”는 전사메일을 보내기도 했지만요 ㅎㅎ;;
다른 분들의 경험을 들어보면 코드 리뷰할 일이 늘었다 같은 코딩 관련 리뷰들이 많던데, 저는 비즈니스부터 거기서 파생되는 프로젝트 디자인, 티켓 정리 같은 온콜 업무 보조 같은 이야기를 공유해보려고 해요.
개인적으로 AI는 “방금 이직한 2~3년차 경력직”이라고 생각합니다. 많은 ai가 일을 못한다고 하는 사례들을 보면 ‘방금 이직한’ 부분을 간과해서 생기더군요.
사실 이 부분이 가장 어려운 부분이기도 합니다. “방금 이직한 사람을 어떻게 온보딩시켜서 업무를 제대로 시키지?”는 모든 시니어들의 고민거리죠.
그런면에서 잘 정의된 문서/위키의 가치가 이전과는 비교도 안되게 높아졌습니다.
예를 들어볼까요? Readme.md 열심히 관리하시는분 있나요? 사실 신규 입사자들이나 보는거고 “어차피 말로 가르치면 되는데”라면서 신경 안 쓰시는 분들이 많을겁니다. 그런데 AI가 바로 그 신규 입사자입니다. 심지어 새로 켤때마다 다 까먹고 새로 입사하는 친구죠.
실제 저의 사례를 들어볼게요
티켓 관리봇을 쓰다보면 티켓에 따라 성능이 천차만별입니다. 관련 패키지의 readme에 코드에 드러나지 않는 비즈니스적 목표도 잘 정리되어 있고, 대처방안 문서도 있으면 봇이 달아놓은 댓글에 달린 실행 버튼만 누르면 될 수준이죠. 여기까지 도달한 과정은 이렇습니다.
“고객이 자기 게시글에 댓글이 안 보인다고 합니다. xxx게시글입니다”라고 CS담당자가 티켓을 만들었다고 칩시다. 온콜의 시간은 소중하니 티켓 읽는 시간을 줄이기 위해 요약 봇을 붙였습니다.
그랬더니 CS담당자가 빠뜨린 내용은 여전히 따로 물어봐야해서 시간이 걸립니다. 봇에게 다른 티켓 검색/조회 권한을 주고 유사 티켓에있는 중요 데이터를 CS담당자에게 요청하는 댓글을 달도록 합니다.
CS담당자와 핑퐁이 줄었지만 봇이 CS담당자에게 아무거나 요청해서 CS쪽 업무 부담이 늘었습니다. 기존 이슈들과 해결방안이 담긴 문서(이하 답안지)를 만들어서 해결방안에 필요한것만 묻도록 업데이트 합니다.
새로운 이슈 케이스가 너무 많습니다. 사람이 답안지를 만드려니 너무 힘듭니다. 티켓이 성공적으로 처리되면 봇이 답안지 업데이트를 하도록 만듭니다.
케이스가 늘어나니 컨텍스트가 너무 커서 봇이 환각을 일으키기 시작합니다. 문제 파악하기 문서를 따로 만들고 알맞은 예상 답안만 읽도록 업데이트합니다.
문제를 이상하게 파악하는 경우가 생각보다 많습니다. 확인해보니 해당 케이스는 관련 프로젝트 위키/readme가 없거나 방치되어서 봇을 혼란하게 만들고 있었습니다. 인간 주니어를 시켜서 전부 업데이트 해줍니다.
드디어 잘 작동합니다!
티켓봇 프로젝트를 끝내고나니 갑자기 동료가 한마디 합니다. “AI가 갑자기 프로젝트 디자인 문서를 굉장히 잘 써주는데?”
그렇습니다. 우리는 프로젝트를 정의할때 기존 구조를 참고합니다. 여태 AI가 해당 작업을 못 했던건 기존 상태 파악이 어려웠기 때문이죠. 이제 AI의 온보딩이 쉬워졌으니 해당 작업을 잘 하게 된거였습니다.
흥미 본위로 “xxx api는 누가 써?”라고 물어보니 관련 서비스를 다 찾고 플로우차트랑 콜스택까지 그려주더군요;;
그래서 아예 팀의 다음 분기 계획 문서를 넣고 적당한 크기의 프로젝트 high level 문서를 만들어달라고 했습니다. 그럴듯한데 뭔가 핀트가 다 어긋나 있습니다. 팀의 목표와 높으신분들의 기대치가 뭔지 잘 모르는것 같은데, 가르치려고 해봐도 제 설명 능력 부족인지 잘 안 됩니다.
대신 실제 프로젝트 high level 문서를 하나 넣고 low level 문서를 달라고 했습니다. 꽤나 그럴듯한 문서가 나옵니다.
결국 모든건 신규 입사자에게 제공해줄 온보딩 프로세스의 부족에서 생기는 문제였던거죠.
개인적으로 최근 경험은 정말 무섭습니다. AI를 위한 온보딩 절차를 개선할때마다 제 자리가 없어지는 기분입니다. AI는 비즈니스적 결정을 못한다, 뭐가 안 된다하는 것들이 실제로 AI가 못하는게 아니었으니까요.
아직은 모델들의 성능상 잘 정의된 작업에서도 실수를 하고는 하지만, 몇년후 그런게 사라진 다음에도 지금 같은 인력 수요가 있을까라는 생각이 많이 드네요.
아예 경영자조차 ai와 대화하는게 익숙할 저희 자식세대는 정말 인간 개발자가 필요없지 않을까 싶습니다.
