유튜브 자막 추출 후 맞춤법 검사하는 프로그램 만들기

01 먼저 프록시 서버 설정을 위해 youtube-transcript-api의 개발자가 추천하는 서비스인 WEBSHARE에 회원가입을 하겠습니다. 다음 사이트에 접속한 후 메인 화면에서 [Sign Up]을 누르고 구글 계정 또는 이메일을 회원가입하세요.

WEBSHARE 홈페이지: www.webshare.io/proxy-server 

Buy Proxy Servers | 100 Proxies for $2.99 | Webshare

 

회원가입 후 다음 링크에 접속하면, 대시보드의 사용량 항목에 1GB bandwidth/month라고 표시되어 있습니다. 이 정도 용량이면 웹페이지 기준 약 3,000~4,000 페이지를, 유튜브 동영상 기준으로 480p 화질로 약 2~3시간 정도 재생할 수 있는 수준입니다. 즉, 전문적으로 유튜브 자막을 대략으로 추출하는 것이 아니라면 몇백 개 정도의 자막 추출은 문제없이 할 수 있습니다.

 

WEBSHRE 대시보드: dashboard.webshare.io/dashboard

 

02 대시보드 [Free -> Proxy Settings]로 이동하면 프록시 서버 사용에 Username과 Password가 보입니다. 이것을 코드에 포함해야 유튜브 자막을 추출할 수 있습니다. 해당 값을 미리 복사하여 추후 코드에 사용할 수 있도록 저장해두세요.

 

03 이제 커서로 돌아가 유튜브 자막 추출 프로그램을 만들어보겠습니다. 자막을 추출하기 위해 커서에게 다음의 youtube-transcript-api 개발자 안내 문서의 링크와 함께 추천된 코드를 전달해야 합니다.

 

youtube-transcript-api 개발자 안내 문서: https://github.com/jdepoix/youtube-transcript-api

 

개발자 안내 문서에 접속한 뒤, 아래로 스크롤하여 'Working around IP bans (RequestBlocked or IpBlocked exception)' 항목을 찾습니다. 제목 왼쪽에 있는 링크 아이콘을 눌러 주솟값이 변하면 해당 주소를 복사합니다. 이어서 같은 항목에 있는 코드도 복사합니다. 이제 앞에서 복사해두었던 Username과 Password를 함께 입력하여 커서에게 요청해보세요. 프롬프트 문서에는 주솟값을, 코드에는 위 코드를 그대로 붙여 넣으면 됩니다.

 

04 코드를 작성을 마친 뒤 실행해보면 원하는 결과가 잘 나옵니다. 프록시 서버를 거치느라 시간이 조금 걸릴 수 있지만 많은 양의 자막도 쉽게 추출해주었습니다. 이로써 자막 추출 과정은 마무리되었습니다.

 

05 이제 남은 작업은 자막 데이터를 우리가 원하는 형태로 바꾸는 것이네요. 현재 자막은 시간 표시와 함께 여러 줄로 나뉘어 있습니다. 이를 시간 표시 없이, 하나의 긴 문장 형태로 만드는 것이 필요합니다. 커서에게 프로그램을 수정하도록 다음과 같이 요청합니다.

앞에 있는 시간 표시를 없애고, 텍스트를 한 덩이로 만들어줘.

 

06 텍스트가 한 덩이로 정리되었습니다. 이제 CPT API를 이용해서 맞춤법 검사를 진행해보겠습니다. 이때 두가지 전략을 선택할 수 있습니다.

전략 1: 한 덩이의 전체 텍스트를 한 번에 맞춤법 검사를 시키는 것 -> API 한 번만 호출

전략 2: 마침표를 기준으로 문장을 나눠 맞춤법 검사를 시키는 것 -> API 여러 번 호출

 

여기서는 전략 1을 선택해서 프로그램을 수정해보겠습니다. API를 여러 번 호출할 경우 호출 횟수만큼 비용이 더 나올 수도 있기 때문입니다. 또한 요즘 영상은 대부분 짧기 때문에 웬만하면 한 번의 호출로 텍스트 맞춤법을 검사할 수 있습니다.

한 덩이로 만든 텍스트를 적절한 GPT 모델을 사용해서 맞춤법 검사를 해줄래? 맞춤법 프롬프트는 네가 적당히 알아서 작성하면 되고, 내 GPT API 키는 sk-proj-ftX**A야.

 

07 이러한 맞춤법 검사 방식은 실제로 코드 내의 GPT API에 전달한 프롬프트에 따라 결정합니다. 지금까지는 실제 코드를 따로 확인하지 않고 진행했지만, 어떤 방식으로 지시가 이루어졌고 어떻게 수정되었는지 확인하기 위해 코드를 한 번 살펴봅시다.

맞춤법 검사를 위해 사용한 프롬프트는 단순히 '아래의 한국어 텍스트의 맞춤법, 띄어쓰기, 문장 부호를 자연스럽게 교정해 주세요. 의미가 바뀌지 않도록 주의해 주세요.'였네요. 만약 맞춤법 규칙을 더 세밀하게 수정하고 싶다면 커서에서 구체적으로 어떤 부분을 어떻게 고쳐달라고 요청하면 됩니다.

 

08 예를 들어 '메고스', '맥오스'와 같은 표현은 'macOS'를 뜻한다고 명시하면서 프롬프트를 수정해달라고 해보세요.

프롬프트에 메고스와 같은 표현은 macOS로 표시하도록 바꿔줄 수 있어?

 

그러면 코드의 프롬프트를 수정해준 것을 확인할 수 있습니다. 이렇게 프롬프트를 수정한 상태에서 다시 맞춤법 검사를 포함한 유튜브 자막 추출기를 실행하면 어떻게 될까요?

 

09 실행 결과를 보면 맞춤법의 훨씬 더 정확하게 수정된 것을 확인할 수 있습니다. 이번에는 문장 단위로 줄바꿈도 적용해주었습니다.