게임에 gpu AI 사용하기

너무 뻔한건데 저는 새로운 내용이라

N100 서버2에서 gpu compute shader + 격자계산 + 렌더링 + 인코딩(intel qsv)

igpu 75% 상시가동중 cpu는 코어4개 평균 가동 25% (열은 65’c)

N100 서버1에서는 openvino 로 Gemma-3-1B 쬐그만 LLM 실행하는데요.

서버2의 생태계 데이터 받아서 서버1의 llm이 닥터아토 코멘트 생성해서(30단어 정도 깔끔한 문장 생성에 1~2초 걸림)

서버2로 다시 코멘트 보내서 렌더링에 추가해서 방송합니다

성능이 놀랍습니다

이 정도면 N100으로도 얼마든지 rust 실시간 웹데이터수집 + 임베딩 + vectorDB + LLM retrieval + postgresqldb(timescaledb) 로 RAG 시스템 만들고도 남겠습니다

N100의 저전력 저성능 4코어 CPU와 iGPU 밖에 없는데 이걸 core 하나하나 최대한 쥐어짜서 쓰면 실시간 고성능 추론 및 채팅, 이미지, 음악 생성 같은 무거운 것만 아니라면 안되는 것 없을 정도로 local AI 성능이 막강해졌다 실감합니다

아직 LLM 뿐만 아니라 ML도 여러개 추가해야 되는데 벌써..

intel-gpu-top: Intel Alderlake_n (Gen12) @ /dev/dri/card1 - 750/ 749 MHz; 0% RC6

3.57/10.00 W; 59 irqs/s

ENGINES BUSY MI_SEMA MI_WAIT

Render/3D 0.00% | | 0% 0%

Blitter 0.00% | | 0% 0%

Video 0.00% | | 0% 0%

VideoEnhance 0.00% | | 0% 0%

PID Render/3D Blitter Video VideoEnhance NAME

1615258 |█████████████████| || || | python3

Adapter: ISA adapter

Package id 0: +69.0°C (high = +105.0°C, crit = +105.0°C)

Core 0: +69.0°C (high = +105.0°C, crit = +105.0°C)

Core 1: +69.0°C (high = +105.0°C, crit = +105.0°C)

Core 2: +69.0°C (high = +105.0°C, crit = +105.0°C)

Core 3: +69.0°C (high = +105.0°C, crit = +105.0°C)

이렇게 세팅하는데 거의 반나절 걸렸네요. N100으로 local LLM 구현하는 사람도 많지는 않으니까요

rust로만 해보려다가 잘 안되서 온갖 시도 끝에 결국 python openvino-genai를 끼워서 하는데 성능은 괜찮네요

cpu core 4개로만 구동되다가 cpu core 1개만 사용하도록 했다가 결국 igpu 사용 가능하게 세팅완료

## 📜 Key Dependencies
- **System**: `intel-opencl-icd`, `libopenvino-intel-gpu-plugin` (2024.4+)
- **Python**: `openvino-genai` (in venv: `/home/ubuntu/aqua2/venv`)
- **Rust**: `serde`, `serde_json`, `bincode`, `anyhow`