24년차 개발자가 현재 하고 있는 일
갑자기 현재 내가 하고 있는일을 정리해 놓고 싶어졌습니다.
1. 도커 스웜 기반 설치·배포 자동화 및 솔루션 인프라 구성 자동화
2.카프카 기반 실시간 로그 및 대사 코드 수집 → 실시간 분석 기능 관리
3.카프카 스트림즈 전처리 시스템 (실시간 빅데이터 로그 정규화/가공)
4.ClickHouse DB (1차 가공 데이터의 카프카 연동 및 분산 저장)
5.ClickHouse 기반 보안관제 단일분석 시스템
6. AI Assistant
- RAG를 활용한 유사도검색, 사내 지식공유서비스(디스코드연동)
- CVE 취약점, MITRE ATT&CK, Defender 관련 유사도 검색 매핑 (예정)
- 보안관제 상관분석 (바이브룰) (현재 개발중)
7.시각화 솔루션 지원용 미들웨어 (SI 개발 지원 포함)
8.GraphQL기반 채팅, 실시간데이터 공유 프로그램
그외 (자잘한)
분산환경 대응용 설정정보 일원화/배포 관리(Spring Config)
내부 마이크로서비스 접근 일원화(Spring Gateway)
폐쇄망간 데이터 전송 관리(디비, SSH, SFTP, FTP, RESTful 등)
SI 프로젝트 지원 프로그램 몇 가지
위 대부분의 기술은 최근 4년 동안 공부하고 적용한 것들입니다.
물론 현재도 하고 있는 일들이고요.
연차가 쌓이면 더 이상 배울 게 없을 줄 알았는데,
실제로는 지난 19년보다 최근 4년간의 학습량이 더 많았던 것 같습니다.
(Chat-GPT등장 이후 학습량이 비약적으로 많아지게 된것도 사실입니다.)
위에 언급은 안했지만 도입했다가 버린 기술도 있습니다.
예: 아파치 스파크와 스칼라.
- 스파크는 카프카 스트림즈로 대체되었고,
- 스칼라는 스파크 드라이버 개발시 사용하다가 스파크가 없어짐으로서
- 역시 카프카 스트림즈로 대체되었습니다.
사실 올해 초만 해도 나이는 계속 먹어가는데 “점점 내 역할이 줄어드는 건 아닐까?”
하는 조바심 속에 방황했습니다.
그러다 AI를 가지고 내가 할 수 있는 일을 고민하던차에, 휴가 중 새벽에 테스트삼아
WEB-UI와 LLM을 붙여보고서는 단순챗봇인데 이걸 가지고 뭘할수있다는거지? 라는
고민을 하다 깨달았습니다. “LLM을 단순 챗봇으로만 볼게아니라, RAG와 결합해야 한다”는
그냥 단순한 아이디어였습니다. 아마 다들 알고있었는데 저만 몰랐을수도 있는 거였죠.
동시에 제 스스로의 한계도 분명히 알게 되었습니다.
- 모두가 AI를 외치지만 나는 AI 모델을 직접 개발할수 없다.
- 파인튜닝 역시 내가 할수있는 영역이 아니다. (할수있다해도 시간낭비이다.)
- 내가 현재 할 수 있는 최선은 RAG를 활용한 응용개발이다.
아무튼 그 순간은 정말 “유레카”를 외쳤습니다. 그리고 이후는 오히려 예전보다
더 개발열정이 살아났습니다. 적어도 올해만큼 재미있는 개발을 한적은
없던것 같습니다.
