AI 영상 제작 앱, 어떻게 작동하나? – 주요 툴의 작동 방식과 기술 분석

AI 영상 제작 애플리케이션 동향 및 딥페이크 기술을 이용한 불법 콘텐츠 저장 방식 연구(2)

III. 주요 AI 영상 제작 앱 작동 방식 심층 분석

앞서 AI 영상 생성 기술이 급속도로 발전하며 다양한 윤리적·사회적 문제를 야기하고 있다는 점을 살펴보았습니다. 그렇다면 실제로 사람들이 사용하는 대표적인 AI 영상 제작 앱들은 어떤 방식으로 작동할까요?

지금부터는 우리가 일상적으로 접할 수 있는 주요 AI 기반 영상/사진 조작 앱들을 중심으로, 사용자 경험(UX) 흐름과 내부 기술 메커니즘을 구체적으로 분석해보겠습니다. 이 분석은 단순한 호기심을 넘어서, 기술이 어떻게 인간의 모습을 재구성하고 현실을 왜곡하는지 이해하는 데 중요한 단서를 제공합니다.

A. 선택된 애플리케이션의 사용자 워크플로우 및 운영 단계

📁Reface (모바일 딥페이크의 사용 편의성 예시)

• 다운로드 및 권한 부여

사용자는 앱을 다운로드하고 카메라/사진 라이브러리 접근 권한을 부여한다.

• 셀카 업로드

사용자는 셀카를 찍거나 업로드하며, 이는 소스 얼굴로 사용된다.

• 템플릿 선택

사용자는 GIF 및 비디오 클립 라이브러리(종종 유명인이나 인기 장면 포함)를 탐색하고 하나를 선택한다.

• 자동 얼굴 교환

앱은 템플릿의 얼굴을 자동으로 감지하고 사용자의 셀카로 교체한다. 이 과정은 빠르며 선택 외에는 최소한의 사용자 입력만 필요하다.

• 저장 및 공유

결과로 생성된 딥페이크 GIF/비디오는 장치에 저장하고 소셜 미디어에 공유할 수 있다. Reface는 현대 모바일 딥페이크 앱의 "포인트 앤 클릭" 단순성을 보여주며, 복잡한 AI 프로세스를 사용자로부터 추상화한다.

📁FaceApp (AI 기반 사진 조작 예시)

• 설치 및 권한 부여

앱을 설치하고 사진 라이브러리 접근 권한을 부여한다.

• 사진 선택/촬영

사용자는 갤러리에서 사진을 선택하거나 새로 촬영한다.

• 필터 적용

사용자는 다양한 AI 기반 필터 중에서 선택한다.

✔️ 연령 변환 (노화, 회춘).

✔️ 성별 전환.

✔️ 미소, 메이크업, 수염 추가.

✔️ 배경 변경, 렌즈 흐림 등.

• 실시간 미리보기 및 비교

변경 사항은 종종 실시간으로 표시되며, 전후를 비교할 수 있는 도구가 제공된다.

• 저장 및 공유

편집된 사진은 저장(무료 버전에서는 종종 워터마크 포함)하고 공유할 수 있다. FaceApp은 정교한 AI 얼굴 분석 및 수정 기능이 접근하기 쉬운 모바일 애플리케이션으로 패키징되어 얼굴 외모의 상당한 변경을 일반화하는 방법을 보여준다.

📁Synthesia (AI 아바타 영상 생성 예시)

• 계정 설정

사용자는 Synthesia.io 웹사이트에서 가입한다.

• 스크립트 입력

사용자는 AI 아바타가 말하기를 원하는 스크립트를 입력하거나 붙여넣는다.

• 아바타 및 템플릿 선택

AI 아바타, 음성, 언어(120개 이상 지원) 및 비디오 템플릿 라이브러리에서 선택한다.² 사용자 지정 아바타도 만들 수 있다.

• 사용자 정의

배경, 음악, 텍스트 오버레이 등을 조정한다.

• 비디오 생성

플랫폼은 입력을 처리하고 AI 아바타가 동기화된 입 모양으로 스크립트를 말하는 비디오를 생성한다.

• 검토 및 다운로드

사용자는 비디오를 검토하고 일반적으로 MP4 파일로 다운로드할 수 있다. Synthesia는 합성 미디어의 전문적인 사용 사례를 보여주며, AI가 전체 비디오 프레젠테이션을 생성하여 실제 배우나 복잡한 촬영 설정의 필요성을 줄인다. 이는 AI가 설득력 있는 인간과 유사한 음성 및 애니메이션을 생성하는 능력을 강조한다.

📁DeepFaceLab (고급, 기술적 딥페이크 생성 예시)

• 준비 및 설정

소프트웨어를 다운로드하고, 호환되는 GPU(NVIDIA 권장)를 확인하며, 소스(src) 및 대상(dst) 비디오 파일을 준비하고, 종속성을 설치한다.

• 데이터 추출

✔️ 소스 비디오(다른 사람에게 씌울 얼굴)에서 얼굴을 추출한다.

✔️ 대상 비디오(얼굴이 교체될 비디오)에서 얼굴을 추출한다.

✔️ 이는 얼굴 프레임을 감지, 정렬 및 저장하는 작업을 포함한다.

• 모델 학습

추출된 얼굴에 대해 AI 모델(종종 GAN 또는 오토인코더 변형)을 학습시킨다. 

모델은 소스 얼굴을 재구성하고 그 특징을 대상 얼굴의 표정 및 머리 움직임에 매핑하는 방법을 학습한다. 

이는 계산 집약적이고 시간이 많이 소요된다.

사용자는 학습 진행 상황을 모니터링하고 매개변수를 조정해야 한다.

• 변환/병합

학습된 모델을 사용하여 소스 얼굴을 대상 비디오 프레임에 변환/병합한다.

사실감을 향상시키기 위해 블렌딩, 색상 보정 및 마스킹 옵션을 사용할 수 있다.

• 출력

최종 출력은 얼굴이 교체된 비디오 파일이다. 

DeepFaceLab은 딥페이크 제작에 대한 보다 "실무적인" 접근 방식을 나타내며, 높은 수준의 제어력과 품질을 제공하지만 상당한 기술, 시간 및 하드웨어 자원을 요구한다. 오픈 소스 특성은 배우고자 하는 모든 사람이 쉽게 사용할 수 있음을 의미하기도 한다.

📁Adobe Firefly Video (윤리적 AI 텍스트/이미지-비디오 예시)

• 접근 및 모드 선택

로그인 후 '텍스트를 비디오로' 또는 '이미지를 비디오로'를 선택한다.

• 입력

📍 텍스트를 비디오로

촬영 유형, 캐릭터, 액션, 장소, 스타일을 설명하는 상세한 프롬프트(최대 175단어)를 작성한다.

📍 이미지를 비디오로

이미지를 업로드하고 텍스트 프롬프트를 사용하여 원하는 움직임을 설명한다. 첫 번째 및 마지막 키프레임 이미지를 업로드할 수 있다.

• 생성

'생성하기'를 클릭한다. Firefly는 5초 길이의 1080p MP4 비디오를 생성한다.

• 조정 및 다운로드

종횡비, 카메라 각도, 움직임을 조정한다. 

MP4를 다운로드한다. 

Adobe의 접근 방식은 상세한 프롬프트를 통한 제어와 윤리적으로 공급된 학습 데이터 사용에 대한 약속을 강조하며, 단순한 얼굴 교환보다는 창의적인 전문가를 위한 도구로 자리매김한다.

Reface 및 FaceApp 과 같은 앱은 사진 업로드, 템플릿/필터 선택 등 매우 간단한 작업 흐름을 가지고 있으며 나머지는 AI가 처리한다. 기본 AI 프로세스(얼굴 랜드마크 감지, 이미지 합성을 위한 GAN/VAE 등)는 사용자에게 숨겨져 있다. 이러한 사용 편의성은 기술 전문 지식이 없는 개인도 얼굴 교환이나 외모의 상당한 변경을 포함한 조작된 미디어를 생성할 수 있음을 의미한다. 

종종 무해한 재미를 위해 사용되지만, 다른 사람의 원본 사진을 사용하는 경우 이러한 동일한 사용 편의성이 비동의적 이미지 조작에 적용될 수 있어 간단한 앱을 괴롭힘이나 가짜 프로필 생성 도구로 바꿀 수 있다. 사용자는 자신이 만들고 있는 것의 "딥페이크" 특성을 완전히 파악하지 못하고 단지 "필터" 또는 "효과"로만 볼 수 있다. 따라서 책임은 부분적으로 앱 개발자와 앱 스토어가 이러한 강력하고 추상화된 기술의 윤리적 사용에 대한 안전장치를 구현하고 사용자를 교육하는 것으로 전환된다. "재미있는 필터"와 "해로운 조작" 사이의 경계는 사용자 의도와 입력 이미지의 출처에 의해 결정된다.

B. 핵심 기술 기능 분석

🙍 얼굴 인식, 매핑 및 조작

대부분의 딥페이크 앱은 이미지/비디오에서 얼굴을 감지하는 것으로 시작한다.

(DeepFaceLab의 '얼굴 추출' ; PowerDirector의 'AI 객체 감지' ).

주요 얼굴 랜드마크(눈, 코, 입)가 식별되고 매핑된다.

그런 다음 이 맵을 사용하여 얼굴을 변형, 왜곡 또는 다른 얼굴로 교체하면서 표정, 조명 및 머리 움직임을 일치시키려고 시도한다.

FaceApp의 필터(나이, 성별)는 유사한 AI 기반 분석 및 얼굴 특징의 사실적인 재렌더링에 의존한다.

🔊 AI 생성 아바타 및 합성 음성 생성

Synthesia는 AI 아바타를 사용하여 텍스트로부터 비디오 프레젠테이션을 만드는 대표적인 예이다. 

여기에는 다음이 포함된다.

✅ 사실적인 인간과 유사한 아바타 생성 (시각적 합성).

✅ 음성을 위한 텍스트 음성 변환(TTS). PowerDirector도 TTS를 제공한다.

✅ 생성된 오디오에 맞춰 아바타의 입 모양을 동기화하는 립싱크.

FakeYou 는 음성 복제에 특화되어 있어 텍스트를 유명하거나 특정 목소리로 읽을 수 있게 하며, 이는 더욱 설득력 있는 시청각 딥페이크의 핵심 구성 요소이다.

자동화된 콘텐츠 생성 (장면 생성, 배경 변경, 효과 적용)

• 텍스트-비디오

Adobe Firefly, Pictory, Deepbrain AI와 같은 도구는 텍스트 설명이나 스크립트를 기반으로 비디오 장면을 생성할 수 있다. 이는 AI가 텍스트를 해석하고 적절한 시각 자료를 선택/생성하는 것을 포함한다.

• 배경 제거/변경

많은 AI 편집기(Movavi, Vmaker AI, PowerDirector )는 원클릭 배경 제거 기능을 제공하여 사용자가 피사체를 다른 환경에 쉽게 배치할 수 있도록 한다.

• 자동화된 효과 및 편집

▶️Wisecut 은 자동으로 무음을 제거하고 자막을 추가한다.

▶️PowerDirector 는 움직임을 따라가는 AI 신체 효과를 제공하고, 하이라이트를 자동 생성하며, 비디오에 애니메이션 스타일을 적용할 수 있다.

▶️Descript 는 필러 단어("음", "어")를 제거하고 오디오를 스튜디오 품질로 향상시킬 수 있다.

📌현재 우리는 서로 다른 영역에서 뛰어난 개별 도구들을 보고 있다

Synthesia는 AI 아바타와 스크립트된 음성, FakeYou는 음성 복제, Adobe Firefly는 텍스트-장면 생성에 강점을 보인다. DeepFaceLab은 기존 비디오에 상세한 얼굴 교환을 가능하게 한다. 

📌이러한 기능들이 단일의 더욱 강력한 시스템으로 통합되는 미래를 상상해 볼 수 있다

사용자는 잠재적으로 시나리오를 설명하는 텍스트 프롬프트를 입력하고, 대상 개인(음성 및 모습이 샘플로부터 학습됨)을 지정하면, AI가 그 사람이 한 번도 하지 않은 말과 행동을 하는 완전히 새로운 비디오를 생성된 환경에서 만들어내는 것이다. 

📌현재 도구들은 이미 이 과정의 일부를 자동화하고 있다

PowerDirector의 AI는 애니메이션을 만들거나 캐릭터 효과를 적용할 수 있으며, 텍스트-비디오 도구는 장면을 생성한다. 논리적인 다음 단계는 이러한 구성 요소들의 통합과 개선을 통해 보다 전체적이고 자율적인 인간 중심 비디오 생성을 이루는 것이다. 

미래의 딥페이크는 단순히 기존 영상에 얼굴을 바꾸는 것뿐만 아니라, 특정 개인을 대상으로 완전히 새로운 시나리오를 생성하여 탐지 및 반박을 더욱 어렵게 만들 수 있다. 이는 허위 정보, 사칭, 그리고 증거의 본질 자체에 심오한 영향을 미친다.

DeepFaceLab과 같은 "프로슈머" 수준의 도구는 그 강력함과 개방성으로 인해 복잡성에도 불구하고 지속적인 위협을 나타낸다. DeepFaceLab은 오픈 소스이며 매우 유능하다. 이는 무료로 사용할 수 있으며 커뮤니티에 의해 지속적으로 개선되고 있음을 의미한다. 기술적 능력과 강력한 하드웨어를 필요로 하지만, 헌신적인 개인이나 그룹은 이를 마스터할 수 있다. 

규제되거나 앱 스토어에서 제거될 수 있는 상용 앱과 달리 오픈 소스 프로젝트는 통제하기가 훨씬 어렵다. DeepFaceLab과 같은 도구로 제작된 딥페이크의 품질은 간단한 모바일 앱보다 훨씬 높고 사용자 정의가 가능하다. 이로 인해 더 심각한 악의적 응용 프로그램, 예를 들어 매우 설득력 있는 허위 정보나 광범위한 배포 또는 표적 괴롭힘을 목적으로 하는 비동의적 음란물 제작에 선택되는 도구가 될 가능성이 높다. 

딥페이크 퇴치 노력은 상용 애플리케이션 규제에만 의존할 수 없다. 강력한 오픈 소스 도구의 위협에 대처하려면 강력한 오픈 소스 탐지 방법 개발, 이러한 도구에 특정한 아티팩트에 대한 법의학 분석 기술, 윤리적 고려 사항에 대한 개발자 커뮤니티와의 협력(후자는 종종 어렵지만)과 같은 다른 전략이 필요하다.