Spring 복붙 장인이었던 내가 이직했더니 생성형 AI 개발자? 2탄
안녕하세요? 아래 끝물이 어쩌고하는 글을 보고 긁혀서 2탄을 예상보다 빨리 가져왔습니다.
별거아닌 제 푸념을 재밌게 읽어주신 okky 선배님들께 감사 드립니다.
====================================================
[1]
입사 후 놀란 점은, 소프트웨어 개발회사에서 소프트웨어를 사서 납품 한다는 점이었습니다.
그룹에서 필요한 대부분의 소프트웨어는 ‘전문인력’ 이라는 미명하에 외부에 구축을 의뢰하거나 구매를 하게되고
회사에 그 많은 개발자는 단지 전화 받고 외주회사 관리하고, 유지보수 명목으로 자리 지키며 페이퍼만 만들어도
개발자 대접받고 월급도 많이 받는다는 사실이죠.
회사의 그런 공기 때문일지도 모르겠습니다. 저와 함께 입사한 석사 출신 ‘데이터 싸이언티수뚜’ 동기는 회의를 할때면,
“원래 AI 하려면 돈이 많이 드는거다, H100 정도는 다들 사는거다”
“솔루션 구축 하려면 전문 인력이 있어야 한다, 전문 인력도 아니시지 않냐”
(크리미드림: 샬라샬라 어떤 기술적인 내용을 설명함)
“그거는 크리미 씨가 제대로 된 프로젝트를 해본적이 없어서 그렇다, 그런식으로 하는게 아니다. 솔루션 안사고는 답이없다”
“원래 ai솔루션이 비싸다. 생산성이 늘어나는게 당연하지 않냐, 생산성이 증가한다는 관점으로 솔루션 구매 밀어붙여야한다”
GPU 자원을 확보하지 못해 난관에 부딪힌 상황이었고, “데이터 싸이언티수뚜” 님은 솔루션 구매를 강하게 주장 하였습니다.
저희 팀은 지역의 작은회사부터(작다해도 개발자 100명넘는, 자체사업도있는 회사), 요즘 ai 국가대표로 나오는 일부 어떤 기업까지
미팅을 진행하고, 일부는 견적도 받았습니다. 금액대는 물론 다양했는데, 1년치 영업이익을 전부 부어야하는 금액부터, 1년치 매출
다때려 넣어야 소프트웨어’만’ 확보가 되는 규모까지 다양했습니다.
다만, 아무리 내가 AI 팀이라 하더라도, 밀어 붙이기 곤란한 부분이 있었는데,
이 금액을 그룹 공동으로 추진 하는것이, 내가 얼핏 들은 지금 그룹의 기조와 매우 괴리가 있다.
GPU, 소프트웨어, 유지보수까지 하면 비용이 어마무시하다보니 수익을 뽑는 것이 불가능하다
“싸이언띠수뚜” 님이 주장하는 생산성 향상을 정량화 해서 측정 하는 것이 어렵다. 한다 하더라도 금액과 대칭적이지 않다.
이후에도 “싸이언띠수뚜” 님은 몇개의 회사를 발굴하여, 저에게 회의때 ‘이 회사 미팅 한번 이야기 해보면 안되겠냐’ 는 식으로
이야기를 했는데, 그냥 흘려 들었습니다. 과장님, 팀장님, 부장님의 눈치를 보니, 이미 그쪽은 보고 있으시지 않은듯 싶었거든요.
[2]
그러던 어느날, 기술 협업을 구실로 타사의 GPU 자원을 이용할 수 있는 기회를 찾았습니다. 부장님께서 발로 뛰어 만든 기회였죠.
저희 프로젝트에는 개요는 이렇습니다.
인원을 늘릴수는 없습니다. 매출이 나는 프로젝트가 아니기때문에
5개월 내 결과물이 나와야합니다
계열사의 다른 개발자님께 RAG 개발 비법을 전수(?) 해줘야합니다.
이때쯤 “싸이언티수뚜” 님께서도 솔루션 구매를 체념한듯 싶었는데, 협업을 위한 서비스를 구성하고 설계하는 과정에서
스케일을 과하게 부르는 듯한 느낌이 있었습니다.
(여기서부터는 저의 지극히 개인적인 생각입니다. 반박시 님들말 다 맞음)
“인프라 구성은 무조건 쿠버네티스로 해야한다”
인프라 구성을 쿠버네티스로 무조건 해야한다는 이야길 오래했습니다. 쿠버 이야기 외에 거의 대화가 안되던 지점이었는데,
몇가지 의문점이 있었습니다.
(나도 잘 모름 그냥 내 뇌피셜임 주의)
쿠버네티스 컨테이너 오케스트레이션의 이점은, 클라우드의 탄력적, 즉시적 스케일링과 결합하여 위력이 생기는 것이라고 알고 있습니다. 당사의 운영 환경은 클라우드가 아닙니다. 당사가 보유한 물리 서버장비에 VM을 이용한 방식입니다. 거기다 조직문화도 보수적이라 스케일링을 탄력적으로 운영 할 수도 없습니다. 저희는 비수익성 프로젝트이기에 인프라 자체도 굉장히 빡빡했습니다. 테스트 서버부터 쿠버네티스로, 그것도 약 2.5명이 개발하는데, 폐쇄망에 레퍼런스도 없이, 만들자? 처음에는 큰회사는 원래 이런식으로 일하나? 생각했지만, 의구심을 지우기 어려웠습니다.
또한, 저희가 구한 GPU(테스트, 운영 구분도 없음) 자원은, 작은 모델을 겨우, 하나 올릴 수 있을정도의 협소한 공간이었는데, 이러한 특성상, 최종 종착지인 LLM서버 자체가 단일 장애점으로 작용합니다. LLM 서버가 탄력적이지 않은데, 웹서버, db서버 이중화 삼중화 된다고 서비스가 원할하답니까?
“LLM 서빙은 전문인력에게 맡겨야한다, 쿠다 프레임워크 같은거 할줄 알아야 서빙 할 수 있다”
??
저는 아직도 그말을 이해하지 못하고 있습니다.
“70B 모델 정도는 서빙해야 운영에서도 굴릴 수 있다”
네…뭐 이해합니다, 불과 작년 이맘때만 해도 Llama 3.X 이럴때라… 막 한국어도 어수룩하고… 네….그냥 넘어갑시다 갈길도 먼데
아무튼 “싸이언티수뚜” 님의 의견을 최대한 반영하여, 인프라님 팀장님도 설득하고, 꿈에 그리던 GPU도 열고, 네트워크 접근 권한
결제까지 받아, 착수 준비가 되고, 입사 4개월만에 “코딩”을 할수 있게된 월요일 아침이었습니다.
[3]
서버가 준비된 월요일 아침이었습니다. “싸이언티수뚜”님은 굳은 표정으로 출근을 하였고,
우리팀 과장님과 따로 이야기를 하러 자리를 비웠습니다.
“왜 지들끼리만 회의하지, 이제 대놓고 왕따시키는건가” 이런 한가한 생각을 하던 크리미드림,
잠시후 고급인력의 퇴사통보 소식을 듣게됩니다.
“싸이언티수뚜”의 퇴사사유는 그렇습니다, 자기는 공기업 갈준비 할거라… 방해된답니다…얘..
WBS 결제가 완료되었고, 오늘부터 착수고, “싸이언티수뚜”는 GPU 세팅과 도커쯤은 껌이라 호언장담을 했고…네…
저한테 틈만나면, 퇴사할꺼면 회사에 이야기하기전에 미리 알려달라던 그분은…저의 뒷통수를 시원하게 치고
그날부터 다시 놀기시작했습니다..네
[4]
내부적으로 그런 역할 정리가 되었었습니다
크리미드림: UI/UX개발, 비즈니스 로직 개발
데이터싸이언머시기: RAG 개발, 자기가 쿠버로 세팅하겠다고 호언장담
그래서 저는 다소 방심하고 있었고, 초반에 열심히 하던 생성형 AI공부도 놓고 리액트나 만지작 거리던…그런… 나날 이었습니다.
어찌됬든 서버에 Docker를 설치하고, 도커 못하는 과장님도 사용가능하도록 compose를 작성하고, gitlab, langfuse 도
구축하고, Qdrant, Redis, MariaDB도 설치하고, 리눅스에 Nvidia driver, Nvidia Container toolkit도 설치하고..
LLM 모델 옮기고 vLLM 세팅하고..
호언장담 하던 그분은 월차 소진한다고 놀러가고… 네….
이때부터 저를 AI 개발자로 만들기 위한 눈물나는 회유 작업이 시작되는데…
이 이야기는 다음에..
============================================================================
크림아 그래서 생성형AI 이야기는 언제 나오냐 대체?
다음시간에 나옵니다 다음시간에…네…아마
다음이야기: 회사의 회유와 크리미드림 생성형AI 개발자 전직(?)썰, Langchain 공부썰…
감사합니다.
