게임에 gpu AI 사용하기
너무 뻔한건데 저는 새로운 내용이라
N100 서버2에서 gpu compute shader + 격자계산 + 렌더링 + 인코딩(intel qsv)
igpu 75% 상시가동중 cpu는 코어4개 평균 가동 25% (열은 65’c)
N100 서버1에서는 openvino 로 Gemma-3-1B 쬐그만 LLM 실행하는데요.
서버2의 생태계 데이터 받아서 서버1의 llm이 닥터아토 코멘트 생성해서(30단어 정도 깔끔한 문장 생성에 1~2초 걸림)
서버2로 다시 코멘트 보내서 렌더링에 추가해서 방송합니다
성능이 놀랍습니다
이 정도면 N100으로도 얼마든지 rust 실시간 웹데이터수집 + 임베딩 + vectorDB + LLM retrieval + postgresqldb(timescaledb) 로 RAG 시스템 만들고도 남겠습니다
N100의 저전력 저성능 4코어 CPU와 iGPU 밖에 없는데 이걸 core 하나하나 최대한 쥐어짜서 쓰면 실시간 고성능 추론 및 채팅, 이미지, 음악 생성 같은 무거운 것만 아니라면 안되는 것 없을 정도로 local AI 성능이 막강해졌다 실감합니다
아직 LLM 뿐만 아니라 ML도 여러개 추가해야 되는데 벌써..
intel-gpu-top: Intel Alderlake_n (Gen12) @ /dev/dri/card1 - 750/ 749 MHz; 0% RC6
3.57/10.00 W; 59 irqs/s
ENGINES BUSY MI_SEMA MI_WAIT
Render/3D 0.00% | | 0% 0%
Blitter 0.00% | | 0% 0%
Video 0.00% | | 0% 0%
VideoEnhance 0.00% | | 0% 0%
PID Render/3D Blitter Video VideoEnhance NAME
1615258 |█████████████████| || || | python3
Adapter: ISA adapter
Package id 0: +69.0°C (high = +105.0°C, crit = +105.0°C)
Core 0: +69.0°C (high = +105.0°C, crit = +105.0°C)
Core 1: +69.0°C (high = +105.0°C, crit = +105.0°C)
Core 2: +69.0°C (high = +105.0°C, crit = +105.0°C)
Core 3: +69.0°C (high = +105.0°C, crit = +105.0°C)
이렇게 세팅하는데 거의 반나절 걸렸네요. N100으로 local LLM 구현하는 사람도 많지는 않으니까요
rust로만 해보려다가 잘 안되서 온갖 시도 끝에 결국 python openvino-genai를 끼워서 하는데 성능은 괜찮네요
cpu core 4개로만 구동되다가 cpu core 1개만 사용하도록 했다가 결국 igpu 사용 가능하게 세팅완료
## 📜 Key Dependencies
- **System**: `intel-opencl-icd`, `libopenvino-intel-gpu-plugin` (2024.4+)
- **Python**: `openvino-genai` (in venv: `/home/ubuntu/aqua2/venv`)
- **Rust**: `serde`, `serde_json`, `bincode`, `anyhow`