AI 로 개발 하면서 쓸만한 것들

여러 언어에 대한 코드 제네레이터와 테스트, 설계 관련해서 ai 를 사용해보고 있습니다.

목적에 따라 철저하게 분리하니 기존방식이었던 단일 프롬프트보다 좋은 결과를 받고 있습니다

아래 방법을 쓰고 있습니다

• 프로그래밍 기반으로 프롬프트 사용하기(LangChain)

  • 답변의 변화를 기록

  • 질문 예약 가능

• RAG 적용하기

  • 파인튜딩보다 쉽고, 강력하다

• LLM 자체를 다양하게 써보는 것

  • chatGPT, claud, llama

• 프롬프트 엔지니어링 하면서 결과가 달라지는 것 기록하기

• Multi Agent 아키텍처 적용하기

• Context 과감하게 관리하기

  • ai 가 문맥을 일정량 이상을 유지하면 오히려 이상한 답안을 내놓았습니다

    • 최대 5개의 최근 질의 목록만 참조합니다

코드 제네레이터로 쓰는 모델은 llama3.1 70B 쓰고 있습니다

답변 시간은 최소 1분 정도로 많이 느리지만, 토큰 비용이 없어서 기분 좋네요

사람이 개입하는 부분을 EDA 형태로 만들 예정이어서,
앞으로 답변을 기다리거나 입력이 일정 시간 이상 없으면 자동으로 진행하도록 할 것 같습니다

서버에서 ai 와 협업하는 것을 목표로 하고 있습니다