Whisper 모델 크기별 비교

2026년 7월 31일 · 자막공장 가이드

Whisper는 하나의 모델이 아니라 크기가 다른 여러 버전으로 배포됩니다. 이름 뒤에 붙는 tiny, base, small, medium, large는 모델의 파라미터 수(=학습된 지식의 양)를 나타내며, 클수록 정확하지만 느리고 무거워집니다. 여기에 속도를 크게 개선한 turbo 버전이 더해져 선택지가 늘었습니다.

모델별 특징

• tiny / base — 매우 빠르고 가볍지만 오인식이 잦습니다. 실시간 자막처럼 속도가 정확도보다 중요한 용도가 아니면 자막 제작에는 잘 쓰이지 않습니다.
• small / medium — 정확도와 속도의 중간 지점. 영어 위주라면 준수하지만, 일본어·중국어 등에서는 large 계열과 체감 차이가 큽니다.
• large-v3 — Whisper 중 가장 정확합니다. 배경 소음이 있거나 발음이 불분명한 구간에서도 다른 모델보다 안정적입니다. 대신 처리 속도가 느립니다.
• large-v3-turbo — large-v3의 디코더 레이어 수를 줄여 정확도는 거의 유지하면서 속도를 4~5배 끌어올린 버전입니다. 대부분의 실사용 상황에서 가장 균형 잡힌 선택입니다.

왜 large-v3-turbo가 기본값으로 많이 쓰이는가

과거에는 "정확도를 원하면 large, 속도를 원하면 small"이라는 트레이드오프가 뚜렷했지만, turbo 등장 이후에는 large-v3와 비슷한 정확도를 medium에 가까운 속도로 얻을 수 있게 되면서 구도가 크게 바뀌었습니다. 무료로 자막을 뽑는 서비스나 도구들이 기본 모델로 turbo를 채택하는 이유이기도 합니다.

그래도 large-v3(비-turbo)를 쓰는 경우

turbo가 대부분 상황에서 충분하지만, 배경 소음이 크게 섞였거나 발화가 겹치는 등 극단적으로 어려운 오디오에서는 원본 large-v3가 아주 근소하게 더 정확한 경우가 보고됩니다. 시간 여유가 있고 정확도를 한 톨이라도 더 끌어올리고 싶은 파일에만 골라 쓰는 정도가 현실적입니다.

직접 비교해 보고 싶다면

자막공장에서는 자막 추출 시 음성 인식 모델로 large-v3-turbo(기본, 빠름)와 large-v3(정확도 우선) 중 선택할 수 있습니다. 같은 영상을 두 모델로 각각 돌려 결과를 비교해 보면 어떤 모델이 내 콘텐츠에 맞는지 직접 확인할 수 있습니다.