발표자료에 삽입할 이미지를 하나 만들려는데 제목은 꼭 위쪽에, 인물은 오른쪽에, 날짜는 왼쪽 아래에 있어야 한다고 해보자. 보통 이미지 AI에게는 이걸 말로 길게 설명해도 결과가 제멋대로 나올 때가 많아.
제목이 인물 얼굴을 가리거나, 날짜가 엉뚱한 곳에 들어가거나, 정작 넣어 달라는 문구가 이상한 글자로 바뀌기도 하지. 그림 자체는 그럴듯한데 손볼 곳이 한가득인 상황이야.
10월 16일 공개된 MOSS-Image는 이 문제를 줄이는 데 초점을 맞춘 이미지 생성 모델이야. 그림을 그리라는 문장만 받는 게 아니라, 이미지 안에 들어갈 글자와 물체가 어디에 있어야 하는지 구조화된 방식으로 지정할 수 있거든.
게다가 ComfyUI 지원도 공식 저장소에 병합됐어. 노드 연결을 즐기는 사람이라면 눈여겨볼 만한 새 손님이지.
그림을 그리라고만 하지 않고, 어디에 놓을지도 알려준다
MOSS-Image가 내세우는 특징은 레이아웃 제어야. 여행 포스터를 만든다고 생각해 보자. 배경은 크림색, 아래쪽에는 파란 산 그림, 위쪽에는 ‘EXPLORE’라는 큰 제목을 넣고 싶어.
평범한 프롬프트라면 문장으로 차례차례 설명하겠지만, MOSS-Image는 JSON이라는 구조화된 입력으로 장면 전체와 요소별 위치를 나눠 지정할 수 있어. (사실 이건 기존에 "Ideogram 4"에서도 지원하고 있긴 해)
✦ 레이아웃 입력 구조
전체 장면에서 요소 위치까지
예를 들어 전체 장면은 ‘미니멀한 여행 포스터’라고 설명하고, 항목 하나는 text로 분류해 실제 넣을 글자를 EXPLORE라고 적어. 그다음 그 글자 상자가 놓일 위치를 좌표로 지정하는 거야.
산 그림도 별도 항목으로 만들어 위치를 지정하면 돼. 쉽게 말해 화가에게 “산은 아래, 제목은 위”라고 말하는 데서 끝나는 게 아니라, 그림 위에 배치도를 펼쳐 놓고 각 요소가 들어갈 자리를 표시하는 셈이지.
✦ 이런 작업에 쓸모가 있어
글과 그림이 함께 들어가는 작업
이 방식은 썸네일, 행사 포스터, 안내판, 메뉴판, 인포그래픽처럼 글과 그림이 함께 들어가는 작업에 특히 쓸모가 있어. 글자 크기와 위치가 제각각인 디자인을 매번 운에 맡기기보다, 원하는 구성을 입력으로 전달할 수 있으니까.
물론 좌표를 넣는다고 모든 요소가 항상 정확히 들어맞는 건 아니야. 그래도 결과가 마음에 들지 않을 때 어떤 항목의 위치를 바꿔 다시 시도할지 훨씬 분명해진다는 장점이 있어.
물론 JSON 프롬프트를 우리가 직접 작성하는 건 현실적으로 어려우니, 우리가 입력한 프롬프트를 JSON 형식으로 변환해주는 도구(ChatGPT, 로컬LLM 등)가 필요해.
MOSS-Image는 최대 4K 토큰 길이의 프롬프트를 지원한다고 소개돼. 이때 4K는 이미지 해상도가 아니라 모델에 전달하는 글의 길이를 뜻해. 4K 사진을 바로 만들어 준다는 이야기가 아니지.
복잡한 장면과 여러 요소를 설명할 여유가 있다는 쪽에 가까워. 로컬이미지 모델 치고는 꽤 많은 양의 프롬프트를 이해할 수 있다는 거지. JSON프롬프트 특성상 길이가 길어질 수 밖에 없다보니, 필수적인 기능이라고도 볼 수 있겠어.
Base와 SFT, 이름이 비슷해도 쓰임은 다르다
✦ Base와 SFT 비교
MOSS-Image 공개 모델 두 가지
| 구분 | MOSS-Image-Base | MOSS-Image-SFT |
|---|---|---|
| 규모 | 5B | 5B |
| 성격 | 추가 학습을 붙이기 좋은 출발점 | 사람이 보기에 좋은 이미지를 출력하도록 조정된 버전 |
공개된 모델은 MOSS-Image-Base와 MOSS-Image-SFT 두 가지야. 둘 다 5B 규모지만 목적이 달라. Base는 추가 학습을 붙이기 좋은 출발점이고, SFT는 선별한 데이터로 미세조정을 거친 버전이야.
일반 사용자가 바로 이미지를 만들어 보려면 우선 SFT부터 시험해봐.
개발팀이 공개한 예시에서는 SFT가 칠판에 적힌 내용을 더 잘 묶어 배치하고, 화이트보드의 구성을 더 정돈된 형태로 만들었어. 모델 이름 뒤의 SFT는 ‘Supervised Fine-Tuning’의 약자야.
사람이 원하는 작업에 맞춰 추가로 학습했다는 뜻이지. 반면 Base는 LoRA 등을 직접 학습해 특정 스타일이나 작업에 맞춰 보려는 사람에게 출발점이 될 수 있어.
참고로, 다른 이미지생성 모델에서도 Base 모델은 파인튜닝 체크포인트, LoRA를 만드는 사람들이나 연구자들이 주로 쓰는 용도야. 따라서 우리는 괜찮은 이미지를 뽑아내도록 정리가 끝난 증류모델, SFT모델 이런 것들을 사용하면 돼.
Base 모델로 이미지를 생성하는 경우 너무 다양한 이미지가 나와서, 때로는 기괴하거나 이상한 장면이 나오기도 하거든. AI는 어떤 이미지가 인간이 보기에 적절한 이미지인지 아직 완벽히 판단하지 못하니까.
하지만 증류모델은 인간들이 볼 때 "괜찮은 이미지네"라고 생각되는 이미지들로 훈련이 된 거야. 그래서 웬만하면 우리의 마음에 드는 이미지를 뽑아줘. 대신 Base모델에 비해서 다양성은 떨어지지.
글자를 이미지에 넣는 능력도 MOSS-Image가 강조하는 부분이야. 냉장고에 붙은 메모에 “우유 두 통, 달걀 한 판, 빵 한 봉지” 같은 문장을 적어 달라고 하거나, 화이트보드에 제목과 설명을 여러 줄로 배치하는 예제가 공개돼 있어.
이미지 속 글자는 전통적으로 생성 모델이 자주 실수하는 부분이라, 글자를 넣은 샘플을 그냥 훑어보는 것보다 실제 문구가 정확한지와 줄바꿈이 읽기 좋은지를 따져 보는 게 중요해.
공식 가이드도 줄바꿈을 정밀하게 제어하고 싶으면 프롬프트에 \n이나 실제 줄바꿈을 넣으라고 안내해.
ComfyUI에서는 어떻게 써볼까?
MOSS-Image에 대한 ComfyUI용 노드와 예제 워크플로도 공개됐어. ComfyUI 공식 저장소에는 10월 16일 MOSS-Image 지원 코드가 병합됐고, 프로젝트 저장소에서도 플러그인 설치 방법을 안내하고 있어.
✦ ComfyUI에서 시작하는 순서
지원 버전 준비부터 생성까지
먼저 ComfyUI를 MOSS-Image 지원이 들어간 버전으로 준비하고, 모델 파일을 내려받아.
그다음 공식 저장소의 moss-image.json 워크플로를 ComfyUI 화면에 끌어다 놓고, MOSS-Image 로더에서 모델이 저장된 폴더를 지정하면 돼.
모델 폴더에는 transformer, text_encoder, tokenizer, vae 같은 디렉터리가 들어 있어야 해.
프로젝트 플러그인을 따로 설치하는 방식도 공식 안내에 나와 있으니, 사용 중인 ComfyUI 버전에 따라 안내된 경로를 따르면 돼. 구글 검색에서 "Comfy-Org/MOSS-Image"를 검색해봐.
바로 Comfyui Huggingface 공식저장소가 나올 거야.
✦ 공식 기본 샘플링 설정
모델 기본 설정값
| 항목 | 값 |
|---|---|
| 샘플러 | Euler |
| Steps | 50 (Base는 대체로 50 이상 권장) |
| CFG | 3 |
| Shift | 5 |
| Negative-branch skip layer | 22 |
| 네거티브 프롬프트 | 기본적으로 비어 있음 |
공식 가이드의 기본 샘플링 설정은 Euler 샘플러, 50 스텝, CFG 3, Shift 5야. Base의 경우 대체로 50스텝 이상을 권장한다고 하니, 결과물의 품질이 좀 떨어진다고 생각되면 스텝수를 더 올려보자.
✦ 용량과 라이선스 요약
모델 파일과 사용 조건
| 항목 | 내용 |
|---|---|
| 파라미터 | 5B |
| BF16 버전 | 10.2GB |
| INT8 버전 | 5.4GB |
| 라이선스 | 모델 가중치와 추론 코드 Apache 2.0 |
모델의 파일용량은 BF16버전이 10.2기가, INT8버전이 5.4기가야. 모델 파라미터가 5B인데 생각보다는 용량이 좀 크지?
그래도 요즘 나오는 이미지 생성 모델들이 대부분 이 정도 크기이고, 더 크기가 큰 모델들도 많으니 다들 경험해봤을 거야.
Comfyui에서 실행하면 GPU에서 CPU로 오프로딩을 해서라도 어떻게든 돌아가니까, 아마 실험해보는 데에 큰 문제는 없을 거라고 생각해.
오픈 모델이라는 점도 반가운 부분이야. 공개된 모델 가중치와 추론 코드는 Apache 2.0 라이선스로 제공돼. 직접 실행해 보는 것뿐 아니라 라이선스 조건에 맞춰 활용하거나 수정할 수 있는 기반이 열린 셈이지.
참고로, MOSS-Image와 비슷하게 JSON 프롬프트를 지원하고 텍스트에 특화되어 있던 Ideogram 4 모델은 상업적 이용에 제약이 많았어. 반면에 Apache 2.0 라이선스는 상업적 이용에서 훨씬 자유롭지.
그래서 상업적으로 사용 가능하면서도 레이아웃과 텍스트를 자유롭게 조정할 수 있는 이미지생성 모델을 찾고 있었다면, MOSS-Image가 좋은 선택이 되겠다.
MOSS-Image는 모든 이미지 작업에서 1등을 하겠다고 나서는 모델은 아니야. 오브젝트나 텍스트가 들어갈 자리와 내용을 정밀하게 다뤄야 하는 작업에 초점을 맞춘 모델이지.
포스터 한 장을 만들 때마다 글자 때문에 결과물을 다시 뽑는 일이 지겨웠다면, ComfyUI에서 SFT 모델부터 시험해 볼 이유는 충분해 보여
이번 글은 여기서 마칠게. 또 만나자.
관련 글
- 원본을 지키는 AI, 이미지들을 자연스럽게 연결하는 AI… FLUX 3 Image Klein과 Qwen Image 2.1의 차이
- 4K 이미지 한 장에 약 150원.. 구글 나노바나나 2.1 출시! 쓸만할까?
- 친구가 한 말까지 기억해주는 나만의 AI비서? 아마존 AI 기기 "비 프론티어/비 이클립스" 등장
🌐 영어 버전: MOSS-Image Arrives in ComfyUI, and Commercial Use Is OK
💬 댓글
아직 댓글이 없어. 첫 댓글을 남겨줄래?
댓글 쓰기