SDXL 워크플로우에서 ComfyUI의 렌더링 시간을 줄이는 방법

ComfyUI SDXL 워크플로우에서 렌더링 시간을 단축하는 가장 빠른 방법은 일반적으로 하위 수준 실행 플래그를 변경하기 전에 확산 작업량을 줄이는 것입니다. 적절한 SDXL 해상도에서 테스트하고, 튜닝하는 동안 배치 크기를 1로 유지하고, 품질이 유지되는 범위 내에서 샘플링 단계를 줄이고, 리파이너, ControlNet 분기, 업스케일 패스 또는 전처리기와 같은 비용이 많이 드는 추가 작업을 일시적으로 건너뛰십시오. 그런 다음 VRAM, 어텐션, 프리뷰 및 캐시 동작을 튜닝해야 합니다.

이 순서가 중요한 이유는 시작 플래그만으로는 GPU에 필요 이상으로 두세 배 더 많은 작업을 요구하는 워크플로를 보완할 수 없기 때문입니다. 현재 ComfyUI 문서에서도 생성 속도가 느릴 경우 해상도나 배치 크기를 먼저 줄인 다음 필요에 따라 메모리 및 어텐션 최적화를 사용하는 것을 권장합니다. 아래 지침은 2026년 9월 13일 현재 ComfyUI 및 PyTorch 문서를 기준으로 검토되었습니다.

ComfyUI에서 SDXL 워크플로우 속도가 느려지는 이유는 무엇인가요?

SDXL 렌더링은 모델 가중치 로딩 또는 이동, CLIP 텍스트 인코딩, KSampler 내부의 반복적인 노이즈 제거, ControlNet 또는 기타 조건화 작업, VAE 디코딩, 업스케일링, 그리고 모든 2차 패스 또는 리파이너 단계 등 여러 단계에서 시간을 소모할 수 있습니다. VRAM 용량이 부족한 경우, CPU에서 GPU로의 데이터 전송이 추가되어 지연 시간이 더욱 증가할 수 있습니다.

즉, 동일한 GPU를 사용하는 두 사용자라도 렌더링 시간이 매우 다를 수 있다는 의미입니다. 기본적인 1024 클래스 텍스트-이미지 그래프는 리파이너, 두 개의 컨트롤넷, 고해상도 2차 패스, 그리고 대규모 배치 처리가 추가된 워크플로와는 비교할 수 없습니다. 목표는 그래프에서 비용이 많이 드는 부분을 파악한 다음 , 실제로 중요한 출력 품질을 희생하지 않고 해당 부분을 제거하거나 최적화하는 것입니다.

1. 변경하기 전에 깨끗한 기준선을 측정하십시오.

고정 프롬프트 하나, 고정 시드 하나, 배치 크기 1, 그리고 동일한 출력 해상도를 사용하십시오. 워크플로우를 최소 두 번 실행하십시오. 첫 번째 실행에는 체크포인트 로딩, 컴파일, 디스크 I/O 또는 모델 전송이 포함될 수 있으며, 이후 실행이 안정적인 생성 속도를 더 잘 측정합니다.

GPU가 실제로 작업을 수행하고 있는지 여부도 확인하십시오. NVIDIA 시스템에서는 nvidia-smiVRAM 사용량과 GPU 사용률을 확인할 수 있습니다. 시스템이 지속적으로 데이터를 전송하거나 모델을 로드하는 동안 GPU 사용률이 낮게 유지된다면 샘플러 자체보다는 메모리 부족이나 I/O 문제일 가능성이 높습니다.

2. 필요한 결과를 생성하는 가장 작은 SDXL 그래프부터 시작하십시오.

복잡한 워크플로우를 최적화하기 전에, 최소한의 경로(체크포인트 로딩, 프롬프트 조건화, 빈 잠재 이미지, KSampler, VAE 디코딩, 이미지 저장)와 비교해 보세요. ComfyUI의 공식 예제를 보면 SDXL 기본 체크포인트를 일반 체크포인트처럼 사용할 수 있음을 알 수 있습니다. 이 기본 그래프가 빠른데 실제 운영 환경의 그래프가 느리다면, 추가 분기가 문제의 원인일 가능성이 높습니다.

초안 작성 시, 현재 결정에 필수적이지 않은 구성 요소는 일시적으로 비활성화하십시오. 예를 들어, 리파이너, 두 번째 업스케일링 패스, 이미지 전처리, 여러 개의 ControlNet 또는 선택적 스타일 분기 등이 있습니다. 기본 이미지가 만족스러우면 이러한 구성 요소를 하나씩 다시 활성화하십시오.

3. 특이한 속도 설정을 시도하기 전에 KSampler 단계 수를 줄이세요.

샘플링 단계는 렌더링 시간을 단축하는 가장 확실한 요소 중 하나입니다. 노이즈 제거 단계가 추가될 때마다 작업량이 늘어나기 때문입니다. 샘플링 단계를 높은 값에서 낮은 값으로 줄이면 렌더링의 샘플링 부분이 짧아지지만, 모델 로딩, 프롬프트 인코딩, VAE 디코딩 및 기타 노드 작업에도 시간이 소요되므로 전체 렌더링 시간은 정확히 같은 비율로 줄어들지는 않습니다.

다른 사람이 제시한 "최적" 단계 수를 그대로 따라 하지 마세요. 적절한 단계 수는 체크포인트, 샘플러, 스케줄러, 프롬프트, CFG(컨텍스트 파일 시스템) 및 품질 목표에 따라 달라집니다. 실용적인 방법은 초기값을 고정하고 단계적으로 값을 낮춰가며 테스트하는 것입니다. 예를 들어 현재 설정에서 시작하여 조금씩 낮추고, 다시 낮추는 식으로 진행합니다. 텍스처, 해부학적 구조, 타이포그래피 또는 프롬프트의 정확도가 허용 가능한 수준 이상으로 저하되면 테스트를 중단하세요.

4. 테스트 해상도와 배치 크기를 적절히 관리하십시오.

SDXL의 경우, ComfyUI의 공식 SDXL 예제에서는 최적의 기본 모델 동작을 위해 1024×1024 또는 896×1152나 1536×640과 같이 픽셀 수가 비슷한 다른 화면 비율을 권장합니다. 이 픽셀 수를 크게 초과하면 잠재 크기가 증가하여 연산 및 메모리 사용량이 늘어납니다.

프롬프트 및 워크플로 튜닝 중에는 batch_size특별히 처리량 테스트가 필요한 경우가 아니면 값을 1로 유지하십시오. '4개 배치'는 파이프라인이 한 번의 실행으로 4개의 이미지를 생성하도록 요청하는 것입니다. 이는 일부 환경에서 처리량을 향상시킬 수 있지만, 첫 번째 이미지 생성 시간을 최소화하는 방법은 아니며 메모리 요구 사항을 증가시킵니다.

최종 결과물의 해상도가 SDXL의 일반적인 기본 해상도보다 높아야 하는 경우, "합성 테스트"를 최종 고해상도 패스와 분리하는 것을 고려해 보세요. 먼저 프롬프트, 시드, 컨디셔닝 및 합성을 제대로 완료한 다음, 선별된 후보 이미지에 대해서만 비용이 많이 드는 업스케일링 또는 2차 패스 작업을 진행하는 것이 좋습니다.

5. 샘플러와 스케줄러 중 하나가 항상 가장 빠르다고 가정하는 대신, 여러 샘플러와 스케줄러의 성능을 벤치마킹하십시오.

ComfyUI는 KSampler에서 다양한 샘플러 및 스케줄러 옵션을 제공합니다. 각 조합에 따라 적절한 품질에 도달하는 데 필요한 단계 수가 다를 수 있으므로, "가장 빠른" 속도는 단순히 단일 실행 시간 단축이 아니라 필요한 품질을 유지하면서 가장 빠른 속도를 의미해야 합니다 .

비교할 때는 동일한 체크포인트, 프롬프트, 시드, 해상도 및 CFG를 사용하십시오. 샘플러 또는 스케줄러만 변경한 다음 렌더링 시간과 가시적인 품질을 모두 비교하십시오. 원하는 결과를 유지하면서 체크포인트에 필요한 단계 수가 상당히 적은 조합이 있다면, 이는 속도 면에서 확실한 이점입니다. 반대로 디테일을 복구하기 위해 추가 단계가 필요한 경우, 겉으로 드러나는 이점은 사라질 수 있습니다.

6. 중복되는 그래프 작업을 제거하고 ComfyUI의 실행 모델을 활용하세요.

ComfyUI는 그래프에서 실행이 필요한 부분만 실행하도록 설계되었습니다. 프로젝트 문서에 따르면 변경되지 않은 부분은 실행 간에 재사용할 수 있으며, 현재 백엔드에는 구성 가능한 노드 결과 캐싱 기능이 포함되어 있습니다. 이는 전체 워크플로를 재구축하는 대신 하위 값만 변경할 때 유용합니다.

가능하면 로더 노드와 비용이 많이 드는 업스트림 처리를 안정적으로 유지하십시오. 체크포인트를 지속적으로 변경하거나, 대용량 이미지 크기를 반복적으로 조정하거나, 업스트림 노드를 무효화하면 캐시된 작업의 이점을 잃게 됩니다.

ComfyUI에는 선택한 출력 노드에 필요한 워크플로의 일부만 실행할 수 있는 부분 실행 기능이 있습니다 . 이 기능은 하위 브랜치를 테스트할 때 대규모 그래프의 모든 출력을 다시 생성할 필요가 없는 경우에 사용하세요.

7. 그래프가 효율적이 된 후에만 미리보기, 캐싱, VRAM 모드 및 주의 기능을 조정하십시오.

현재 ComfyUI 명령줄 옵션은 몇 가지 성능 제어 기능을 제공합니다. 이러한 옵션의 효과는 하드웨어 및 사용 가능한 메모리에 따라 달라지므로 필수 설정보다는 벤치마크 기준으로 활용하는 것이 좋습니다.

현재 CLI는 비동기 가중치 오프로딩 기능도 제공하며, 도움말 텍스트에 따르면 NVIDIA에서 기본적으로 활성화되어 있습니다. 즉, 플래그를 추가한다고 해서 자동으로 최적화되는 것은 아니므로, 먼저 현재 실행 명령과 로그를 확인해야 합니다.

PyTorch의 스케일링된 도트 프로덕트 어텐션은 입력과 하드웨어가 허용하는 경우 FlashAttention이나 메모리 효율적인 어텐션과 같은 최적화된 CUDA 구현을 자동으로 선택할 수 있습니다. 이것이 최신 어텐션 경로가 중요한 이유이지만, 정확한 성능 향상은 하드웨어에 따라 다릅니다. SDXL 워크플로우에 적용되는 것처럼 일반적인 백분율을 인용하는 것은 피해야 합니다.

8. 큐 및 배치 동작을 목표에 맞춰 유지하세요.

피드백 루프를 최대한 빠르게 확보하는 것이 최우선이라면, 튜닝하는 동안에는 이미지를 한 번에 하나씩 큐에 추가하세요. 큐 개수와 배치 크기를 크게 설정하는 것은 이미 설정을 알고 있고 처리량을 높이려는 경우에 유용하지만, 첫 번째 이미지가 더 빨리 도착하는 것을 보장하지는 않습니다.

워크플로가 확정되면 처리량을 별도로 벤치마킹할 수 있습니다. 이때, VRAM 용량이 충분하고 분당 총 이미지 처리량이 이미지당 지연 시간보다 더 중요하다면 배치 처리량을 늘리는 것이 유리할 수 있습니다.

최적화가 실제로 효과가 있었는지 어떻게 알 수 있을까요?

더 빠른 실행 속도는 이미지가 목표를 충족하는 경우에만 유용합니다. 동일한 시드와 프롬프트를 사용하여 실행 전후를 비교하십시오. 설정이 너무 강할 때 먼저 실패하는 영역(작은 텍스트, 손과 얼굴, 반복 패턴, 미세한 재질, 가장자리 디테일, 프롬프트별 속성 준수 등)을 확인하십시오.

각 테스트에 대해 최소한 다음 네 가지 항목을 기록하십시오. 총 실행 시간, 샘플링 단계, 해상도 및 모델 로딩 발생 여부. 첫 번째 실행에 30초가 걸리고 두 번째 실행에 12초가 걸린 경우, 샘플러 변경에 대한 크레딧을 자동으로 부여하지 마십시오. 첫 번째 실행은 단순히 체크포인트 로딩 비용을 지불했을 수 있습니다.

실질적인 최적화 순서

1. 워밍업 실행을 벤치마킹합니다. 시드, 프롬프트, 해상도 및 배치 설정을 고정합니다.
2. 불필요한 분기를 제거합니다. 리파이너, ControlNet, 업스케일 또는 선택적 전처리기를 사용하지 않고 기본 SDXL 경로를 테스트합니다.
3. 단계를 줄이세요. 품질 기준을 충족하는 최소한의 단계 수를 찾으세요.
4. 해상도를 적절하게 유지하세요. 고해상도 마무리를 하기 전에 SDXL의 1024픽셀 범위 내에서 미세 조정을 하세요.
5. 반복 작업 중에는 배치 크기를 1로 유지하십시오. 워크플로가 안정화된 후에만 처리량을 최적화하십시오.
6. 샘플러/스케줄러 선택 사항을 비교하십시오. 동등한 품질 수준에서 속도를 판단하십시오.
7. 캐싱 및 부분 실행을 활용하십시오. 변경되지 않은 상위 ​​작업의 재실행을 피하십시오.
8. 그런 다음 벤치마크 시작 플래그를 설정합니다. 테스트 미리보기, VRAM, 캐시 및 주의력 변경 사항을 하나씩 확인합니다.

최적화에 더 집중하는 대신 전략을 바꿔야 할 때는 언제일까요?

이러한 변경 후에도 SDXL 워크플로우의 렌더링 시간이 여전히 너무 오래 걸린다면, 실제로 작업이 수행하는 작업을 점검해 보세요. 멀티 컨트롤넷(Multi-ControlNet)과 리파이너(Refiner) 및 업스케일링(Upscale)을 사용하는 프로덕션 그래프는 설계상 연산량이 많을 수 있습니다. 이 경우 세 가지 현실적인 선택지가 있습니다. 최종 이미지 렌더링에 더 오랜 시간이 걸리더라도 감수하거나, 반복 작업을 위해 더 간단한 드래프트 워크플로우를 사용하거나, 워크로드를 더 빠른 하드웨어로 옮기는 것입니다.

마찬가지로, VRAM 부족 현상이 지속적으로 발생한다면 "더 빠른" GPU 상주 모드를 강제로 활성화하는 것은 잘못된 해결책입니다. 기본 동적 메모리 관리 또는 낮은 VRAM 구성에서 안정적으로 실행되는 것이 메모리 부족 오류가 반복되는 것보다 낫습니다. 메모리 절약 설정은 렌더링 시간을 늘릴 수 있지만, 속도가 느리더라도 성공적으로 렌더링하는 것이 빠른 속도로 오류가 발생하는 것보다 훨씬 유용합니다.

공식 참고 자료

현재 동작 및 플래그에 대한 자세한 내용은 ComfyUI 문제 해결 및 성능 가이드 , 최신 ComfyUI 명령줄 인자 소스 코드 , 그리고 공식 ComfyUI SDXL 예제를 참조하십시오 . 그래프 수준 최적화에 대해서는 ComfyUI 부분 실행 및 ComfyUI 프로젝트 문서를 참조하십시오 . 어텐션 동작에 대해서는 PyTorch의 스케일링된 내적 어텐션 문서를 참조하십시오 .