ai앱을 직접 만들어야 될까요?

미련을 못 버리고 있었는데 구글 쇼핑 탭에 s21 특가가 보여서 다시 2개 주문해서 토요일에 도착했네요.

Edge Ai Gallery에는 이런 요청이 있었습니다.

feat(android): add Edge Server — on-device OpenAI-compatible API server by XR-stb · Pull Request #647 · google-ai-edge/gallery · GitHub

api로 스트리밍 하려는 의도죠.

실험적인 기능을 포함해서 잘되는 방식으로 할 것 같습니다.

gallery/Android/src/app/src/main/java/com/google/ai/edge/gallery/runtime/aicore/AICoreModelHelper.kt at main · google-ai-edge/gallery · GitHub

LiteRT CompiledModel Kotlin API  |  Google AI Edge  |  Google for Developers

Get Started with LiteRT-LM on Android  |  Google AI Edge  |  Google for Developers

이런 앱 정도는 로컬 llm이 자기 자신 앱을 만들 수 있겠죠.