CLIP 모델을 설치하는 데 ML Commons 플러그인 응답을 확인하는 이유는 다음과 같다.
CLIP 모델은 OpenSearch 혼자 돌리는 게 아니라 ML Commons라는 기능이 대신 관리한다.
그래서 CLIP 설치 전에 ML Commons가 살아있는지 먼저 확인해야 한다.
이 확인을 안하면 나중에 CLIP 등록이나 실행 단계에서 왜 실패하는지 원인 파익이 어려워진다.
curl -k -u admin:'LensLog2829@#' "https://localhost:9200/_plugins/_ml/stats?pretty"
{
"ml_model_count": 0,
"ml_config_index_status": "green",
"ml_controller_index_status": "non-existent",
"ml_connector_count": 0,
"ml_model_index_status": "non-existent",
"ml_task_index_status": "non-existent",
"ml_connector_index_status": "non-existent",
"nodes": {
"ZkyB17vgRkiEFwDRMP8LMg": {
"ml_deployed_model_count": 0,
"ml_executing_task_count": 0,
"ml_circuit_breaker_trigger_count": 0,
"ml_request_count": 0,
"ml_jvm_heap_usage": 21,
"ml_failure_count": 0,
"algorithms": {},
"models": {}
}
}
}
from fastapi import FastAPI
from pydantic import BaseModel
import numpy as np
import torch
import open_clip
from PIL import Image
import requests
from io import BytesIO
app = FastAPI()
# OpenCLIP: ViT-B-32 (가볍고 빠르고 품질도 괜찮음)
MODEL_NAME = "ViT-B-32"
PRETRAINED = "laion2b_s34b_b79k"
device = "cuda" if torch.cuda.is_available() else "cpu"
model, _, preprocess = open_clip.create_model_and_transforms(MODEL_NAME, pretrained=PRETRAINED)
tokenizer = open_clip.get_tokenizer(MODEL_NAME)
model = model.to(device)
model.eval()
class TextReq(BaseModel):
text: str
class ImageReq(BaseModel):
image_url: str
def normalize(v: np.ndarray) -> list[float]:
v = v / (np.linalg.norm(v) + 1e-12)
return v.astype(np.float32).tolist()
@app.post("/embed/text")
def embed_text(req: TextReq):
with torch.no_grad():
tokens = tokenizer([req.text]).to(device)
feat = model.encode_text(tokens)
feat = feat / feat.norm(dim=-1, keepdim=True)
vec = feat[0].detach().cpu().numpy()
return {"dim": int(vec.shape[0]), "vector": normalize(vec)}
@app.post("/embed/image")
def embed_image(req: ImageReq):
# OpenSearch에서 접근 가능한 public URL이거나, presigned URL이어야 함
r = requests.get(req.image_url, timeout=10)
r.raise_for_status()
img = Image.open(BytesIO(r.content)).convert("RGB")
with torch.no_grad():
x = preprocess(img).unsqueeze(0).to(device)
feat = model.encode_image(x)
feat = feat / feat.norm(dim=-1, keepdim=True)
vec = feat[0].detach().cpu().numpy()
return {"dim": int(vec.shape[0]), "vector": normalize(vec)}