오픈소스 AI 생태계 총정리

Perplexity Pro가 만든 어설픈 그림

 1. 오픈소스 LLM 모델

기반 모델 (Base Models)

• LLaMA/LLaMA2/LLaMA3: Meta의 강력한 오픈소스 LLM

• Mistral/Mistral-7B/Mixtral: Mistral AI의 고성능 LLM

• Falcon: TII에서 개발한 다국어 LLM

• MPT: MosaicML의 LLM 시리즈

• BLOOM/BLOOMZ: BigScience의 다국어 LLM

• StableLM: Stability AI의 LLM

• Phi-1/Phi-2/Phi-3: Microsoft의 소형 LLM

• FLAN-T5/FLAN-UL2: Google의 지시 모델

• GLM/ChatGLM: 중국 Tsinghua의 LLM

• Dolly: Databricks의 LLaMA 기반 모델

• Pythia: EleutherAI의 연구용 LLM

• OpenLLaMA: LLaMA 아키텍처의 오픈 재구현

• RedPajama: Together의 LLaMA 대체 모델

• Baichuan/Baichuan2: 중국 Baichuan의 다국어 모델

• Yi/Yi-34B: 01.AI의 개방형 LLM

• OPT: Meta의 초기 오픈소스 LLM

• Qwen/Qwen2: Alibaba의 오픈소스 모델

• DeepSeek: DeepSeek의 고성능 LLM

• XGLM: Meta의 다국어 생성 모델

• TinyLlama: 작은 크기의 LLaMA 모델

• Gemma: Google의 오픈 웨이트 LLM

• HyperCLOVA X SEED: 네이버의 오픈 웨이트 LLM

특화 모델

• CodeLLaMA: Meta의 코드 생성 특화 LLM

• StarCoder/StarCoder2: Hugging Face의 코드 생성 모델

• CodeGemma: Google의 코드 특화 오픈웨이트 모델

• WizardCoder: 코딩에 최적화된 지시 조정 모델

• Llama-V-Next: Vision-Language 능력을 가진 LLaMA

• mPLUG-Owl: 시각 기능이 있는 다중 모달 모델

• Whisper: OpenAI의 오픈소스 음성 인식 모델

• SpeechT5: 다목적 음성 및 텍스트 모델

• Megatron-LM: NVIDIA의 대규모 변환기 구현

• Cerebras-GPT: 다양한 크기의 GPT 모델

• Olive: Microsoft의 최적화된 추론 모델

• OLMo: Allen Institute의 오픈 언어 모델

파인튜닝된 모델

• Vicuna: UC Berkeley의 LLaMA 파인튜닝 모델

• Alpaca: Stanford의 LLaMA 파인튜닝 모델

• Koala: UC Berkeley의 대화형 모델

• Orca/Orca 2: Microsoft의 추론 향상 모델

• WizardLM: 복잡한 지시 처리 전문 모델

• SOLAR: Upstage의 고성능 SFT 모델

• Platypus: 다양한 데이터셋으로 조정된 LLaMA

• OpenChat: 지시 고도화 대화 모델

• Zephyr: Hugging Face의 지도 미세조정 모델

• Hermes: 다양한 기반 모델에 적용된 조정 방법

• Nous-Hermes: Nous Research의 조정 모델

• Yayi: 중국어에 특화된 파인튜닝 모델

• LLaVA: 다중 모달 지시 조정 모델

• RWKV: RNN과 Transformer 특성을 결합한 모델

• PEFT Models: 다양한 파라미터 효율적 튜닝 모델들

2. LLM 학습 및 파인튜닝 도구

학습 프레임워크

• DeepSpeed: Microsoft의 대규모 분산 학습 최적화

• Megatron-DeepSpeed: NVIDIA+Microsoft 대규모 학습

• FSDP (Fully Sharded Data Parallel): PyTorch 분산 학습

• Alpa: JAX 기반 자동 모델 병렬화

• ColossalAI: 대규모 AI 모델 병렬화 시스템

• BMTrain: OpenBMB의 효율적인 학습 도구킷

• Composer: MosaicML의 학습 라이브러리

• FairScale: 대규모 PyTorch 모델 학습

• Accelerate: Hugging Face의 분산 학습 유틸리티

• Hivemind: 분산 PyTorch 학습

• DeepSpeed-MII: 모델 추론 인터페이스

• HuggingFace TRL: 강화학습 기반 LLM 파인튜닝

• LMFlow: LLM 파인튜닝 툴킷

• LLM-Foundry: MosaicML의 LLM 학습 도구

• Flash Attention: 효율적인 어텐션 구현

• xFormers: 효율적인 Transformer 구현

파인튜닝 도구

• PEFT: Hugging Face의 파라미터 효율적 파인튜닝

• QLoRA: 양자화된 저랭크 어댑터 미세조정

• Lit-LLaMA: LLaMA 모델 경량 구현

• OpenPrompt: 프롬프트 학습 프레임워크

• SetFit: 소량 데이터 미세조정

• Ludwig: 코드 없는 딥러닝 툴박스

• FastChat: LLM 훈련 및 평가 플랫폼

• unsloth: 빠른 LLM 미세조정 라이브러리

• LlamaIndex: 커스텀 RAG 파인튜닝

• FLAML: 효율적인 AutoML 및 미세조정

• EasyLM: JAX 기반 LLM 학습

• Transformers Trainer: HuggingFace 학습 API

• LoraHub: LoRA 어댑터 공유 및 조합

• Axolotl: LLM 미세조정 래퍼

• mergekit: LLM 모델 병합 도구

데이터 처리 및 토크나이저

• Tokenizers: Hugging Face의 빠른 토크나이저

• SentencePiece: 언어에 구애받지 않는 토크나이저

• BPE: 바이트 페어 인코딩 구현

• DataQuality: 데이터셋 품질 분석 도구

• Datasets: HuggingFace 데이터셋 라이브러리

• LMSYS Datasets: 대화형 LLM 데이터셋

• Alpaca-cleaned: 클린 지시 데이터셋

• RedPajama-Data: LLM 학습용 오픈 데이터셋

• OpenAssistant: 대화 어시스턴트 데이터셋

• LAION: 대규모 오픈 데이터셋

• Dolly-15k: 지시 따르기 데이터셋

• BigScience-Data: 다국어 데이터셋

 3. LLM 평가 및 벤치마킹 

평가 프레임워크 

• HELM: Stanford의 LLM 평가 프레임워크

• LM-Eval-Harness: EleutherAI의 LLM 평가 도구

• MT-Bench: LLM 멀티턴 질문 벤치마크

• OpenAI Evals: LLM 평가 프레임워크

• Hugging Face Evaluate: 모델 평가 라이브러리

• Giskard: LLM 테스트 프레임워크

• TruLens: LLM 애플리케이션 평가 도구

• LLM Judge: 모델 응답 평가 도구

• PandaLM: LLM 평가를 위한 LLM

• Ragas: RAG 시스템 평가 프레임워크

• Uptrain: LLM 평가 오픈소스 도구

• Promptfoo: 프롬프트 테스팅 도구

벤치마크 데이터셋

• MMLU: 다양한 과목 평가 벤치마크

• HumanEval: 코드 생성 벤치마크

• GSM8K: 수학 문제 해결 데이터셋

• BBH: Big-Bench Hard 벤치마크

• TruthfulQA: 사실성 평가 벤치마크

• MATH: 고난도 수학 문제 데이터셋

• HellaSwag: 상식 추론 벤치마크

• AlpacaEval: 지시 따르기 벤치마크

• DROP: 읽기 이해 데이터셋

• C-Eval: 중국어 평가 벤치마크

• GLUE/SuperGLUE: 자연어 이해 벤치마크

• FLORES: 다국어 번역 평가

 4. LLM 추론 및 서빙

 추론 최적화

• vLLM: 고성능 LLM 서빙 엔진

• TensorRT-LLM: NVIDIA 추론 최적화

• FasterTransformer: NVIDIA의 Transformer 추론

• TurboTransformers: 모바일/서버 추론 최적화

• Optimum: Hugging Face 모델 최적화

• TVM: 딥러닝 컴파일러

• ONNX Runtime: 모델 추론 가속화

• DeepSparse: 희소 모델 가속 엔진

• OpenVINO: 인텔 추론 최적화 도구킷

• CoreML: Apple 기기용 모델 변환

• MLC-LLM: 다양한 기기에서 LLM 실행

• HuggingFace text-generation-inference: 최적화 추론 서버

• HuggingFace Optimum-Intel: 인텔 하드웨어 최적화

• llama.cpp: C/C++로 구현된 LLM 추론

양자화 도구

• GPTQ: GPT 모델 양자화

• AutoGPTQ: GPTQ 자동화

• LLM.int8(): 8비트 LLM 추론

• bitsandbytes: 8비트/4비트 최적화

• AWQ: 활성화 인식 가중치 양자화

• SmoothQuant: LLM 혼합 정밀도 양자화

• Quantization: PyTorch 양자화 라이브러리

• SPQR: 희소-양자화 표현

• OmniQuant: 다양한 양자화 방법 도구

• QLoRA: 양자화된 저랭크 파인튜닝

서빙 프레임워크

• Text Generation Inference: HF 추론 서버

• Ray Serve: Ray 기반 서빙 프레임워크

• Triton Inference Server: NVIDIA 서빙 플랫폼

• Nvidia AI Endpoints: LLM 추론 API

• Haystack: 생성형 AI 애플리케이션 프레임워크

• BentoML: 모델 서빙 플랫폼

• Gradio: UI 빠른 구축 도구

• FastAPI: API 개발 프레임워크

• Steamship: 생성형 AI 배포 플랫폼

• SkyPilot: 클라우드 컴퓨팅 관리

• HuggingFace Inference Endpoints: 관리형 추론

• Modal: 클라우드 실행 환경

• Banana: ML 모델 서빙 클라우드

• Replicate: 모델 호스팅 플랫폼

AIOps, 보안도구

• Prometheus: 시계열 데이터 수집 및 저장을 위한 모니터링 시스템

• Grafana: 데이터 시각화 및 모니터링 도구

• Zabbix: 엔터프라이즈급 모니터링 솔루션으로, 네트워크와 서버를 모니터링

• Nagios: IT 인프라 모니터링 도구로, 시스템, 네트워크 및 애플리케이션을 모니터
  
  

• Grype: SCA(소프트웨어 컴포지션 분석) 도구로, 컨테이너 이미지와 파일 시스템의 취약점을 스캔

• OpenSSF: 소프트웨어 공급망 보안을 강화하기 위한 프레임워크

• KubeScape: 쿠버네티스 보안 및 CSPM(클라우드 보안 상태 관리) 도구

• Semgrep: SAST(정적 애플리케이션 보안 테스트) 도구로, 코드 수준의 보안 이슈를 탐지 

5. AI 에이전트 및 어플리케이션 프레임워크

에이전트 프레임워크

• LangChain: LLM 애플리케이션 개발 프레임워크

• LangGraph: LangChain을 확장한 그래프 기반 아키텍처

• MCP: Model Context Protocol

• OpenAI Agents SDK: OpenAI에서 제공하는 에이전트 개발 SDK

• Microsoft 365 Agent SDK: Microsoft에서 제공하는 에이전트 개발 SDK

• AutoGPT: 자율 GPT-4 에이전트

• BabyAGI: 작업 관리 AI 에이전트

• LlamaIndex: LLM 지식/데이터 증강 프레임워크

• CrewAI: 협업 자율 에이전트

• AgentGPT: 브라우저에서 실행되는 자율 에이전트

• XAgent: 자율 에이전트 시스템

• Agent-LLM: 오픈소스 AI 어시스턴트

• Autogen: Microsoft의 다중 에이전트 시스템

• DSPy: LLM 프로그래밍 프레임워크

• TaskWeaver: Microsoft의 코드 중심 에이전트

• Haystack Agents: 재사용 가능 에이전트 시스템

• SuperAGI: 강력한 오픈소스 자율 AI 에이전트

• Marvin: 오픈소스 AI 엔지니어링 프레임워크

• LLM Agents: 전략 AI 에이전트 구축 라이브러리

• Smolagents: 경량화된 AI 에이전트 프레임워크

• SWE-Kit: 코딩 에이전트를 위한 오픈소스 헤드리스 IDE

• Composio: AI 통합 및 도구 플랫폼으로, 코드베이스 채팅, GitHub PR 자동화

• Aider: AI 페어 프로그래밍 도구

• Agentica: Typescript AI 프레임워크

RAG 및 벡터 DB

• Chroma: 임베딩 벡터 데이터베이스

• FAISS: 효율적인 유사도 검색

• Weaviate: 벡터 검색 엔진

• Pinecone: 벡터 데이터베이스

• Milvus: 오픈소스 벡터 DB

• Qdrant: 벡터 유사도 검색 엔진

• Vespa: 검색 및 추천 엔진

• Elasticsearch Vector Search: 벡터 검색

• pgvector: PostgreSQL 벡터 검색 익스텐션

• Marqo: 텐서 검색 엔진

• MongoDB Atlas Vector Search: 벡터 검색

• Typesense: 빠른 검색 엔진

• LanceDB: 임베딩 벡터 데이터베이스

• txtai: AI 기반 검색 엔진

• OpenSearch: 검색 및 분석 엔진

메모리 및 지식 기반

• LangChain Memory: 지속적 대화 메모리

• MEMGPT: 장기 메모리 구현

• Zep: 긴 컨텍스트 저장소

• ChromaDB: 영구 벡터 저장소

• MemoryDB: 인메모리 데이터베이스

• LM Studio: 로컬 LLM 개발/실행 환경

• Neo4j Vector Index: 그래프 벡터 검색

• Ollama: 로컬 LLM 실행 도구

• GPTCache: LLM 응답 캐싱 라이브러리

• Semantic Kernel: Microsoft의 메모리 증강 프레임워크

도구 및 플러그인

• LangChain Tools: 내장 도구 모음

• LlamaHub: LlamaIndex 커넥터/도구

• ToolBench: 도구 활용 프레임워크

• ToolLLM: 도구 사용 LLM 학습

• JARVIS: 도구 중심 AI 시스템

• GPT4Tools: 시각적 도구 사용 향상

• Gorilla: LLM API 활용 프레임워크

• ModelScope: AI 모델/도구 플랫폼

• Outlines: 구조화된 텍스트 생성 라이브러리

• gpt-researcher: 연구 에이전트 프레임워크

• Guidance: 제어된 텍스트 생성 도구

 6. 멀티모달 AI 프레임워크

 시각-언어 모델

• CLIP: OpenAI의 이미지-텍스트 인코더

• Florence: Microsoft의 비전 파운데이션 모델

• BLIP/BLIP-2: 이미지-텍스트 이해 모델

• ViLT: 경량 비전-언어 변환기

• LLaVA: 시각적 지시 조정 모델

• MiniGPT-4: 시각-언어 조정 모델

• CogVLM: 시각-언어 모델

• KOSMOS: Microsoft의 멀티모달 LLM

• mPLUG-Owl: 멀티모달 대화형 모델

• ImageBind: 멀티모달 임베딩

• BakLLaVA: 중국어 시각-언어 모델

• Qwen-VL: Alibaba의 멀티모달 모델

• Fuyu: Adept의 멀티모달 모델

• OpenFlamingo: Flamingo 아키텍처 구현

이미지 생성 모델

• Stable Diffusion: 이미지 생성 확산 모델

• Kandinsky: 오픈소스 이미지 생성 모델

• ControlNet: 컨디셔닝 제어 메커니즘

• Diffusers: 확산 모델 라이브러리

• DALL-E mini/craiyon: 이미지 생성 모델

• Imagen: Google의 텍스트-이미지 모델

• Wuerstchen: 효율적인 텍스트-이미지 모델

• Firefly: Adobe의 이미지 생성 모델

• ComfyUI: 안정적 확산 시각화 도구

• Dreamlike Diffusion: 고품질 이미지 생성

• Automatic1111: SD 웹 UI

• kohya_ss: 미세조정 도구

• SD.Next: 안정적 확산 구현

오디오/비디오 모델

• Whisper: OpenAI의 음성 인식 모델

• AudioLDM: 오디오 생성 모델

• TTS: 텍스트-음성 변환

• Bark: 텍스트-오디오 생성 모델

• MusicGen: 음악 생성 모델

• VALL-E: 텍스트-음성 변환 모델

• SEA: 효율적인 오디오 생성

• Voicebox: 음성 생성 모델

• AudioCraft: 오디오 생성 프레임워크

• Amphion: 오디오 생성 툴킷

• Gen-1/Gen-2: 비디오 생성 모델

• Video-LDM: 비디오 확산 모델

• AnimateDiff: 이미지-비디오 생성

• Text2Video-Zero: 텍스트-비디오 변환

 7. 모델 개발 및 학습 프레임워크

딥러닝 프레임워크

• TensorFlow: 구글에서 개발한 종합 ML 프레임워크, 연구와 프로덕션에 모두 사용

• PyTorch: 페이스북에서 개발한 연구 친화적 ML 프레임워크, 동적 계산 그래프 특징

• JAX: 구글에서 개발한 고성능 수치 계산 라이브러리, 자동 미분 지원

• Keras: 사용자 친화적인 고수준 신경망 API

• MXNet: 아마존이 지원하는 효율적인 분산 학습 프레임워크

• Chainer: 일본에서 개발된 동적 신경망 프레임워크

• Paddle Paddle: 바이두에서 개발한 산업용 딥러닝 플랫폼

• DeepSpeed: 마이크로소프트의 대규모 분산 학습 최적화 라이브러리

• Oneflow: 분산 딥러닝 프레임워크, 대규모 클러스터에 최적화

• MindSpore: 화웨이에서 개발한 전체 시나리오 AI 컴퓨팅 프레임워크

• Together AI: 협업 기반 오픈소스 AI 모델 개발 플랫폼

특화된 ML 라이브러리

• Scikit-learn: 전통적인 ML 알고리즘 구현

• XGBoost/LightGBM/CatBoost: 그래디언트 부스팅 구현

• Vowpal Wabbit: 온라인 학습 및 대규모 데이터셋 처리

• RAPIDS: GPU 가속 데이터 과학

• OpenCV: 실시간 컴퓨터 비전을 위한 라이브러리

• MediaPipe: 구글의 크로스 플랫폼 ML 솔루션 프레임워크

• Dask-ML: 대규모 병렬 ML 계산

• MLpack: 빠른 ML 알고리즘 구현 C++ 라이브러리

• Surprise: 추천 시스템 특화 라이브러리

• PyCaret: 로우코드 ML 라이브러리

• Shogun: C++ 기반 ML 도구모음

• H2O: 분산 ML 플랫폼

• LIBSVM/LIBLINEAR: SVM 구현 라이브러리

• Prophet: 페이스북의 시계열 예측 라이브러리

• PyOD: 이상 탐지 파이썬 라이브러리

• DeepCTR: CTR 예측 모델 라이브러리

 8. 데이터 파이프라인 및 오케스트레이션 도구

 ETL 및 데이터 통합 도구

• Apache Airflow: 워크플로우 오케스트레이션 플랫폼

• Airbyte: 오픈소스 데이터 통합 플랫폼

• dbt: 데이터 변환 도구로, SQL을 사용하여 데이터 웨어하우스에서 변환

• Meltano: 데이터 파이프라인 프레임워크로, Singer를 포함한 여러 오픈소스 도구를 통합

스트림 처리 도구

• Apache Kafka: 분산 이벤트 스트리밍 플랫폼

• Apache Flink: 실시간 및 배치 데이터 처리를 위한 스트림 처리 프레임워크

• Apache Storm: 분산 실시간 계산 시스템

ML 워크플로우 관리

• Kubeflow: 쿠버네티스 기반 ML 워크플로우 플랫폼

• MLFlow: 머신러닝 라이프사이클 관리 플랫폼

• ZenML: ML 파이프라인 프레임워크

9. 엣지/온디바이스/피지컬 AI

• OLMoE (Allen AI): iOS 앱을 을 위한 프라이버시와 보안이 강화된 모델

• TensorFlow Lite: 모바일 및 엣지 디바이스용으로 최적화된 TensorFlow

• EVE-OS: 분산 엣지 컴퓨팅을 위한 오픈 리눅스 기반 운영 체제

• EdgeX Foundry: 엣지 디바이스와 센서에서 엔터프라이즈 또는 클라우드 애플리케이션

• Robot Operating System (ROS): 로봇 애플리케이션 개발을 위한 오픈소스 프레임워크

원문: https://hl1itj.tistory.com/279