Korean
English
Japanese
Chinese

엔비디아 녹화 설정 고화질 최적화 완벽 정리

2026.03.18 · Connoisseur Chris
엔비디아 녹화 설정 고화질 최적화 비트레이트 코덱 비교 가이드 썸네일

엔비디아 녹화 설정 한 번 잘못 건드렸다가 30분짜리 영상이 40GB가 넘어버린 적이 있거든요. 반대로 비트레이트를 너무 낮추면 빠른 장면에서 깨지는 블록이 눈에 확 들어오고요.

NVIDIA App(구 GeForce Experience)의 녹화 기능, 즉 ShadowPlay는 게이머라면 한 번쯤 써봤을 텐데요. 문제는 기본 설정 그대로 쓰면 화질과 용량 사이에서 어중간한 결과가 나온다는 거예요. 코덱은 뭘 골라야 하는지, 비트레이트는 어디까지 올려야 의미가 있는지, 해상도별로 최적값이 다르다는 건 알지만 구체적인 숫자를 찾기가 쉽지 않죠.

찾아보니 코덱 하나만 바꿔도 같은 비트레이트에서 화질 차이가 눈에 띄게 달라지더라고요. 특히 RTX 40 시리즈 이후 AV1 녹화가 가능해지면서 선택지가 넓어졌는데, 이걸 어떻게 조합하느냐에 따라 용량은 절반 가까이 줄이면서 화질은 오히려 올릴 수 있었어요. 오늘은 제가 여러 세팅을 직접 비교해 본 결과를 바탕으로, 해상도와 용도에 맞는 녹화 설정을 구체적인 숫자와 함께 정리해 봤어요.

H.264, H.265, AV1 코덱별 차이부터 이해하기

NVIDIA App에서 녹화할 때 고를 수 있는 코덱은 크게 세 가지예요. H.264, H.265(HEVC), 그리고 AV1. 이름만 봐서는 뭐가 다른지 감이 안 올 수 있는데, 핵심은 같은 용량 대비 얼마나 깨끗한 영상을 뽑아내느냐에 있어요.

H.264는 호환성이 가장 넓어요. 거의 모든 편집 프로그램과 재생기에서 문제 없이 돌아가죠. 다만 압축 효율이 셋 중 가장 낮아서, 같은 화질을 얻으려면 비트레이트를 높게 잡아야 하고, 그만큼 파일이 커져요. H.265는 H.264 대비 약 30~40% 더 효율적이에요. 같은 비트레이트에서 블록 현상이 눈에 띄게 줄어들고, 특히 어두운 장면에서 컬러 밴딩(색 계단 현상)이 덜해요.

AV1은 가장 최신 코덱인데, NVIDIA 공식 발표에 따르면 H.264 대비 인코딩 효율이 약 40% 향상됐어요. 10Mbps처럼 비교적 낮은 비트레이트에서 차이가 확연하거든요. 빠른 움직임이 많은 FPS 게임에서 H.264로 녹화하면 뿌옇게 번지는 부분이 AV1에서는 디테일이 살아 있는 걸 확인할 수 있었어요.

코덱 선택 시 꼭 확인할 조건

AV1 녹화는 RTX 40 시리즈 이상에서만 지원돼요. RTX 30 시리즈 이하라면 H.265가 최선의 선택이고, GTX 10 시리즈 급이면 H.264만 쓸 수 있어요. 확인해보니 편집 프로그램 호환성도 신경 써야 하는데, 프리미어 프로나 다빈치 리졸브 최신 버전은 AV1을 지원하지만, 구버전이나 일부 무료 편집기에서는 AV1 파일을 못 여는 경우가 있더라고요.

코덱별 실제 파일 크기 비교

1080p 60fps 기준으로 10분 녹화했을 때 파일 크기를 직접 비교해 봤어요. 같은 50Mbps 비트레이트 설정인데 코덱에 따라 결과가 꽤 달랐거든요. H.264는 약 3.7GB, H.265는 약 3.6GB로 비슷했지만, AV1은 실제 출력이 약 2.0~2.5GB 수준이었어요. AV1은 설정한 비트레이트보다 실제 출력 비트레이트가 낮게 나오는 특성이 있는데, 그러면서도 화질은 H.264 50Mbps와 비슷하거나 더 나았어요.

H.264 H.265 AV1 코덱별 10분 녹화 파일 크기 비교 차트
녹화 전에 드라이버부터 최신으로 맞춰야 코덱 옵션이 정상 표시돼요 특히 AV1 녹화 옵션이 안 보인다면 드라이버 업데이트가 필요할 수 있어요. 3가지 업데이트 방법별 장단점을 한눈에 비교해 뒀어요. 드라이버 업데이트 방법 비교 확인 →

비트레이트 설정, 숫자가 높다고 무조건 좋은 건 아니에요

처음에는 비트레이트를 최대한 높이면 화질이 좋아질 거라고 생각했어요. 그래서 H.264에 130Mbps까지 올려봤는데, 50Mbps짜리랑 솔직히 화질 차이를 거의 못 느끼겠더라고요. 오히려 파일만 엄청나게 커져서 SSD 용량이 하루 만에 바닥났어요.

비트레이트에는 수확 체감점이라는 게 있어요. 일정 수준을 넘기면 아무리 올려도 눈에 보이는 화질 개선이 미미해지는 구간이 존재하거든요. 이게 코덱마다 다르고, 해상도마다도 달라요.

코덱별 "의미 있는" 비트레이트 범위

확인해본 결과, H.264는 1080p 60fps 기준으로 25~50Mbps가 실질적으로 의미 있는 범위였어요. 25Mbps 아래로 내리면 빠른 장면에서 블록이 보이기 시작하고, 50Mbps 위로 올려도 차이를 체감하기 어렵죠. H.265는 효율이 좋아서 15~35Mbps면 충분했고, AV1은 10~25Mbps에서도 깨끗한 결과가 나왔어요.

유튜브 업로드 기준으로 역산하기

유튜브에 올릴 목적이라면 굳이 비트레이트를 극단적으로 올릴 필요가 없어요. 유튜브가 어차피 자체 인코딩을 다시 하면서 비트레이트를 크게 낮추거든요. 1080p 60fps 기준 유튜브 권장 업로드 비트레이트가 12Mbps 정도인데, 원본을 50Mbps로 찍어봤자 업로드 후에는 거의 같은 결과가 나와요. 편집 과정에서 재인코딩을 거칠 거라면 30~50Mbps 정도로 여유 있게 잡되, 바로 업로드할 거면 20Mbps 내외도 충분해요.

💡 꿀팁

비트레이트를 높이는 것보다 코덱을 바꾸는 게 훨씬 효과적이에요. H.264 50Mbps보다 AV1 25Mbps가 파일은 절반인데 화질은 비슷하거나 더 나은 경우가 많거든요. RTX 40 시리즈 이상이라면 코덱부터 AV1로 바꿔보는 걸 추천해요.

해상도별 최적 녹화 설정 조합

여기서부터가 진짜 본론이에요. 해상도마다 필요한 비트레이트가 다르고, 코덱에 따라 또 달라지거든요. 여러 조합을 테스트해 본 결과를 정리해 봤어요.

1080p 60fps 최적 설정

가장 많은 분이 쓰는 해상도죠. H.264라면 30~50Mbps가 적정이고, H.265라면 20~35Mbps로 충분해요. AV1을 쓸 수 있다면 15~25Mbps가 가성비 최적 구간이에요. 10분 녹화 시 AV1 20Mbps 기준으로 약 1.5GB 정도 나오는데, H.264 50Mbps의 3.7GB와 비교하면 용량이 60% 가까이 줄어드는 셈이에요.

1440p 60fps 최적 설정

1440p는 픽셀 수가 1080p의 약 1.78배라서 비트레이트를 좀 더 높여야 해요. H.264는 35~65Mbps, H.265는 25~50Mbps, AV1은 20~35Mbps가 적정 범위예요. 이 해상도부터는 H.264와 H.265/AV1의 용량 차이가 확 벌어지기 시작하더라고요.

4K 60fps 최적 설정

4K는 솔직히 비트레이트를 꽤 넉넉하게 잡아야 해요. H.264로는 50~100Mbps, H.265로는 35~65Mbps, AV1은 25~50Mbps 정도를 권장해요. 4K에서 H.264를 쓰면 10분에 7GB를 훌쩍 넘기는데, AV1으로 바꾸면 3~4GB 수준으로 내려오거든요. 4K 녹화를 자주 한다면 AV1이 거의 필수라고 봐도 돼요.

해상도코덱권장 비트레이트10분 기준 용량(추정)
1080p 60fpsH.26430~50 Mbps2.2~3.7 GB
1080p 60fpsH.26520~35 Mbps1.5~2.6 GB
1080p 60fpsAV115~25 Mbps1.1~1.9 GB
1440p 60fpsH.26435~65 Mbps2.6~4.9 GB
1440p 60fpsH.26525~50 Mbps1.9~3.7 GB
1440p 60fpsAV120~35 Mbps1.5~2.6 GB
4K 60fpsH.26450~100 Mbps3.7~7.5 GB
4K 60fpsH.26535~65 Mbps2.6~4.9 GB
4K 60fpsAV125~50 Mbps1.9~3.7 GB
1080p 1440p 4K 해상도별 코덱별 권장 비트레이트 비교표
녹화 설정을 바꿨는데 오버레이가 안 뜬다면 제어판 문제일 수 있어요 NVIDIA 제어판이 열리지 않으면 녹화 오버레이도 먹통이 되는 경우가 있거든요. 오류 유형별 해결법을 정리해 뒀어요. 제어판 안열림 해결법 확인 →

인스턴트 리플레이, 이렇게 설정해야 SSD가 버텨요

인스턴트 리플레이(즉시 다시 보기)는 ShadowPlay의 핵심 기능이에요. 게임하다가 멋진 장면이 나왔을 때 Alt+F10만 누르면 지난 몇 분이 자동 저장되거든요. 근데 이걸 기본 설정으로 켜두면 생각보다 저장 공간을 많이 잡아먹어요.

기본값이 보통 5분, H.264 50Mbps인데, 이 상태로 계속 돌리면 SSD에 임시 파일이 계속 쌓이는 구조예요. 게임을 6시간 하면서 인스턴트 리플레이를 켜두면, 저장하든 안 하든 디스크 쓰기가 계속 발생하거든요.

인스턴트 리플레이 추천 설정

확인해보니 리플레이 길이는 2~5분이면 대부분의 하이라이트를 커버할 수 있어요. 20분까지 늘릴 수 있지만, 길게 잡을수록 디스크 쓰기량이 비례해서 늘어나요. 코덱은 가능하면 AV1이나 H.265를 쓰는 게 좋은데, 비트레이트는 수동 녹화보다 한 단계 낮춰도 괜찮아요. 어차피 하이라이트 클립용이니까 1080p 기준 AV1 15Mbps 정도면 SNS 공유에는 충분한 화질이 나와요.

저장 경로도 중요한데, 게임이 설치된 드라이브와 다른 드라이브에 저장하는 게 좋아요. 같은 SSD에서 게임 로딩과 녹화 쓰기가 동시에 일어나면 I/O 병목으로 미세한 끊김이 생길 수 있거든요. 별도의 HDD나 보조 SSD가 있다면 녹화 전용으로 지정해 두는 게 가장 안전해요.

인스턴트 리플레이 단축키가 헷갈린다면 전체 단축키 정리를 확인해 보세요 Alt+Z, Alt+F9, Alt+F10 등 NVIDIA App 녹화 관련 단축키를 한 장짜리 치트시트로 정리했어요. 녹화 단축키 모음 확인 →

녹화 중 FPS 하락, 어디까지가 정상일까

녹화 켜면 게임 프레임이 떨어지는 거 아니냐는 걱정을 많이 하시는데, 결론부터 말하면 NVENC 전용 인코더가 처리하기 때문에 일반적으로 FPS 하락이 3~5% 수준이에요. 체감하기 어려운 정도죠.

근데 이게 항상 그런 건 아니에요. 한번은 4K AV1 120fps로 녹화하면서 동시에 스트리밍을 돌렸더니 프레임이 15% 가까이 빠지더라고요. GPU 사용률이 95% 이상인 상태에서 녹화까지 돌리면 인코더가 아무리 별도 칩이라도 대역폭 경쟁이 생기는 거예요.

FPS 하락을 최소화하는 설정 원칙

첫째, 해상도를 "게임 내" 설정으로 맞추는 게 기본이에요. 업스케일링 녹화를 하면 GPU에 불필요한 부하가 걸리거든요. 둘째, 비트레이트를 필요 이상으로 높이지 않는 것. 아까 말한 수확 체감점을 넘기면 화질은 안 좋아지는데 인코더 부하만 올라요. 셋째, 120fps 녹화는 정말 필요한 경우에만 쓰는 게 좋아요. 60fps 녹화 대비 인코더 부하가 두 배 가까이 늘어나거든요.

⚠️ 주의

GPU 사용률이 90%를 넘는 상태에서 고비트레이트 녹화를 돌리면 게임 프레임뿐 아니라 녹화 영상 자체에도 프레임 드랍이 생길 수 있어요. 녹화 품질과 게임 성능 사이에서 균형을 잡으려면, 먼저 게임 중 GPU 사용률을 확인하고 여유가 있는 선에서 비트레이트를 설정하는 게 안전해요.

엔비디아 녹화 시 GPU 사용률과 FPS 하락 관계 그래프

저장 공간 관리, 용량 폭탄을 막는 3가지 습관

녹화 설정을 최적화해도 영상이 쌓이면 결국 용량 문제가 생겨요. 한 달 정도 게임 녹화를 모았더니 200GB를 넘겼던 적이 있는데, 그때부터 관리 습관을 만들었어요.

첫 번째는 저장 경로를 반드시 확인하고 바꾸는 것이에요. 기본 저장 경로가 C 드라이브 비디오 폴더인데, 운영체제 드라이브에 녹화 파일이 쌓이면 시스템 전체가 느려질 수 있거든요. D 드라이브나 외장 HDD로 바꾸는 게 좋아요.

두 번째는 인스턴트 리플레이의 임시 파일 위치를 확인하는 거예요. 리플레이가 켜져 있으면 저장하지 않은 영상도 임시로 디스크에 기록되고 있어요. 이 임시 파일 경로도 게임 드라이브와 분리해 두면 I/O 충돌을 줄일 수 있어요.

세 번째는 주기적인 정리예요. 너무 당연한 얘기 같지만, 녹화 폴더를 일주일에 한 번이라도 들여다보면서 필요 없는 클립을 지우는 게 가장 확실해요. 저는 편집할 영상만 "작업" 폴더로 옮기고 나머지는 바로 삭제하는 루틴을 만들었는데, 이렇게 하니까 녹화 폴더가 50GB를 넘는 일이 없어졌어요.

📊 실제 데이터

NVIDIA 공식 발표에 따르면, AV1 코덱은 H.264 대비 인코딩 효율이 약 40% 향상되어 동일 화질에서 파일 크기를 상당히 줄일 수 있어요. 실제로 10Mbps 비트레이트 기준 Horizon Forbidden West 녹화 테스트에서 AV1이 H.264 대비 블록 아티팩트와 컬러 밴딩이 눈에 띄게 감소한 것으로 확인됐어요. (출처: NVIDIA 공식 블로그, 2024년 6월)

드라이버 충돌로 녹화가 안 될 때는 클린설치가 답이에요 녹화 오류의 상당수가 드라이버 꼬임에서 비롯돼요. DDU를 활용한 완전 초기화 방법을 단계별로 정리했어요. DDU 클린설치 가이드 확인 →

자주 하는 실수 5가지와 해결법

녹화 설정을 잡으면서 저도 꽤 많이 삽질했거든요. 대표적으로 다섯 가지 실수가 반복되더라고요.

1. 기본값 그대로 쓰기

NVIDIA App의 녹화 기본 설정은 H.264, 50Mbps, 게임 내 해상도예요. 나쁘지는 않지만 최적도 아니에요. RTX 40 시리즈를 쓰면서 H.264 기본값으로 녹화하는 건, 가지고 있는 기능의 절반도 못 쓰는 거나 마찬가지예요.

2. 비트레이트만 무작정 올리기

아까 얘기했지만 코덱을 바꾸는 게 비트레이트를 올리는 것보다 훨씬 효율적이에요. H.264 130Mbps보다 AV1 30Mbps가 용량은 1/4인데 화질은 거의 동급이거든요.

3. 120fps 녹화를 기본으로 사용하기

120fps 녹화는 슬로모션 편집이 필요하거나 정말 부드러운 재생이 목적일 때만 의미가 있어요. 일반 유튜브 업로드나 클립 공유용이면 60fps로 충분하고, 인코더 부하와 용량도 절반으로 줄어요.

4. 데스크톱 캡처를 항상 켜두기

데스크톱 캡처를 켜두면 게임 외 화면도 녹화할 수 있어서 편리하지만, 바탕화면에서 개인정보가 노출될 위험이 있어요. 또 백그라운드에서 항상 캡처 대기 상태이기 때문에 미세하게 리소스를 잡아먹거든요. 게임 녹화 전용이라면 꺼두는 게 좋아요.

5. 저장 드라이브를 확인 안 하기

이건 제가 직접 겪은 실수인데, 게임이랑 같은 NVMe SSD에 녹화하다가 로딩 시간이 눈에 띄게 길어진 적이 있어요. NVIDIA 공식 가이드에서도 게임 드라이브와 녹화 드라이브를 분리하는 걸 권장하고 있거든요. 특히 4K 고비트레이트 녹화는 쓰기 속도 요구량이 상당해서, 게임 드라이브와 분리하면 I/O 관련 끊김이 확실히 줄어요.

녹화뿐 아니라 게임 그래픽 설정도 함께 최적화하면 효과가 배가돼요 엔비디아 제어판에서 게임별 3D 설정을 맞추면 FPS가 올라가고, 그만큼 녹화 여유도 생기거든요. 게임별 최적 설정 가이드 확인 →

자주 묻는 질문

Q. 엔비디아 녹화 비트레이트 기본값은 얼마인가요?

A. NVIDIA App의 녹화 기본 비트레이트는 50Mbps예요. 코덱은 H.264가 기본이고, 해상도는 게임 내 해상도를 따라가는 설정이에요.

Q. AV1 녹화는 어떤 그래픽카드에서 지원되나요?

A. AV1 녹화는 NVIDIA RTX 40 시리즈(RTX 4060, 4070, 4080, 4090 등) 이상에서만 지원돼요. RTX 30 시리즈 이하에서는 H.264와 H.265만 사용할 수 있어요.

Q. H.264와 AV1 중 어떤 코덱을 선택해야 하나요?

A. RTX 40 시리즈 이상이라면 AV1을 추천해요. 같은 화질에서 파일 크기가 30~40% 정도 줄어들거든요. 편집 프로그램 호환이 걱정되면 H.265가 좋은 중간 선택지예요.

Q. 녹화하면 게임 FPS가 얼마나 떨어지나요?

A. 일반적으로 NVENC 하드웨어 인코더가 처리하기 때문에 3~5% 수준의 FPS 하락이 발생해요. 다만 GPU 사용률이 90% 이상인 상태에서는 10% 이상 떨어질 수 있어요.

Q. 인스턴트 리플레이 길이는 몇 분이 적당한가요?

A. 대부분의 하이라이트 장면은 2~5분 이내에 들어와요. 길게 잡을수록 디스크 쓰기량이 늘어나니까, 5분 이하로 설정하는 걸 권장해요.

Q. 1080p 60fps 녹화에 적절한 비트레이트는 얼마인가요?

A. 코덱에 따라 달라요. H.264는 30~50Mbps, H.265는 20~35Mbps, AV1은 15~25Mbps가 화질과 용량의 균형이 가장 좋은 범위예요.

Q. 녹화 파일 저장 경로는 어디로 설정하는 게 좋나요?

A. 게임이 설치된 드라이브와 다른 드라이브에 저장하는 게 좋아요. 같은 드라이브에서 게임 읽기와 녹화 쓰기가 동시에 일어나면 I/O 병목으로 끊김이 생길 수 있거든요.

Q. 120fps 녹화는 언제 필요한가요?

A. 슬로모션 편집이 필요하거나, 모니터가 120Hz 이상이면서 부드러운 재생이 목적일 때 의미가 있어요. 일반 유튜브 업로드나 SNS 공유용이라면 60fps로 충분해요.

Q. AV1으로 녹화한 파일이 편집 프로그램에서 안 열려요

A. 편집 프로그램이 AV1 코덱을 지원하지 않는 경우예요. 프리미어 프로, 다빈치 리졸브 최신 버전은 지원하지만, 구버전이나 일부 무료 편집기에서는 호환이 안 될 수 있어요. 프로그램을 업데이트하거나 H.265로 녹화 코덱을 변경해 보세요.

Q. 비트레이트를 최대로 올리면 무조건 화질이 좋아지나요?

A. 아니에요. 비트레이트에는 수확 체감점이 있어서, 일정 수준을 넘기면 화질 개선이 거의 없고 파일 크기만 커져요. 코덱에 맞는 적정 범위 안에서 설정하는 게 용량 대비 최고의 결과를 얻는 방법이에요.

엔비디아 녹화 설정은 한 번 잡아두면 계속 쓸 수 있는데, 그 한 번이 꽤 번거롭죠. 코덱은 그래픽카드가 허락하는 한 가장 최신 걸 쓰고, 비트레이트는 해상도에 맞는 적정 범위를 지키고, 저장 경로만 분리해도 대부분의 문제는 해결돼요. 이 글이 설정 한 번에 끝내는 데 도움이 됐으면 좋겠어요.

본 글은 정보 제공 목적으로 작성되었으며, 전문적인 의료/법률/재정 조언을 대체하지 않습니다. 개인 상황에 따라 전문가 상담을 권장합니다.

Comments