CLIP은 OpenAI가 만든 멀티모달 인공지능 모델로, 텍스트와 이미지를 통시에 이해할 수 있게 설계된 모델이다.
쉽게 말해, 사람처럼 글과 사진을 연결해서 생각할 수 있는 AI이다.
기본적으로 CLIP은 텍스트 문장과 이미지를 각각 수치 벡터, 즉 임베딩으로 변환하고
이 둘을 같은 공간에 놓아 둘 수 있도록 학습한다.
예를 들어, “귀여운 고양이”라는 문장과 고양이 사진은 임베딩 공간에서 서로 매우 가까운 위치에 배치돼서
비슷한 의미를 가진다는 것을 보여준다.
반대로, 고양이와 자동차 사진은 임베딩 공간에서 멀리 떨어지게 되는 것이다.
: 이미지와 텍스트를 함께 학습해 둘 사이의 연관성을 파악한다.
: 이미지와 텍스트 모두 고차원 벡터(임베딩)로 변환돼 같은 공간에서 비교가 가능하다.