ML Commons 플러그인 응답 확인

CLIP 모델을 설치하는 데 ML Commons 플러그인 응답을 확인하는 이유는 다음과 같다.

CLIP 모델은 OpenSearch 혼자 돌리는 게 아니라 ML Commons라는 기능이 대신 관리한다.

그래서 CLIP 설치 전에 ML Commons가 살아있는지 먼저 확인해야 한다.

이 확인을 안하면 나중에 CLIP 등록이나 실행 단계에서 왜 실패하는지 원인 파익이 어려워진다.

curl -k -u admin:'LensLog2829@#' "https://localhost:9200/_plugins/_ml/stats?pretty"
{
  "ml_model_count": 0,
  "ml_config_index_status": "green",
  "ml_controller_index_status": "non-existent",
  "ml_connector_count": 0,
  "ml_model_index_status": "non-existent",
  "ml_task_index_status": "non-existent",
  "ml_connector_index_status": "non-existent",
  "nodes": {
    "ZkyB17vgRkiEFwDRMP8LMg": {
      "ml_deployed_model_count": 0,
      "ml_executing_task_count": 0,
      "ml_circuit_breaker_trigger_count": 0,
      "ml_request_count": 0,
      "ml_jvm_heap_usage": 21,
      "ml_failure_count": 0,
      "algorithms": {},
      "models": {}
    }
  }
}

CLIP 서버 설치

FastAPI 서버 코드 (clip_server.py)

  1. 프로젝트 폴더와 같은 위치에 다른 프로젝트를 만든다.
  2. clip_server.py 파일을 만들고 해당 코드를 넣는다.
from fastapi import FastAPI
from pydantic import BaseModel
import numpy as np
import torch
import open_clip
from PIL import Image
import requests
from io import BytesIO

app = FastAPI()

# OpenCLIP: ViT-B-32 (가볍고 빠르고 품질도 괜찮음)
MODEL_NAME = "ViT-B-32"
PRETRAINED = "laion2b_s34b_b79k"

device = "cuda" if torch.cuda.is_available() else "cpu"

model, _, preprocess = open_clip.create_model_and_transforms(MODEL_NAME, pretrained=PRETRAINED)
tokenizer = open_clip.get_tokenizer(MODEL_NAME)
model = model.to(device)
model.eval()

class TextReq(BaseModel):
    text: str

class ImageReq(BaseModel):
    image_url: str

def normalize(v: np.ndarray) -> list[float]:
    v = v / (np.linalg.norm(v) + 1e-12)
    return v.astype(np.float32).tolist()

@app.post("/embed/text")
def embed_text(req: TextReq):
    with torch.no_grad():
        tokens = tokenizer([req.text]).to(device)
        feat = model.encode_text(tokens)
        feat = feat / feat.norm(dim=-1, keepdim=True)
    vec = feat[0].detach().cpu().numpy()
    return {"dim": int(vec.shape[0]), "vector": normalize(vec)}

@app.post("/embed/image")
def embed_image(req: ImageReq):
    # OpenSearch에서 접근 가능한 public URL이거나, presigned URL이어야 함
    r = requests.get(req.image_url, timeout=10)
    r.raise_for_status()
    img = Image.open(BytesIO(r.content)).convert("RGB")

    with torch.no_grad():
        x = preprocess(img).unsqueeze(0).to(device)
        feat = model.encode_image(x)
        feat = feat / feat.norm(dim=-1, keepdim=True)
    vec = feat[0].detach().cpu().numpy()
    return {"dim": int(vec.shape[0]), "vector": normalize(vec)}