AI활용 이슈 블로그 자동화 콘텐츠 생성 도전기

google 스프레드시트에서 스크립트 수집이 계속 실패했습니다.

이것도 GPT와 계속 대화해보며 알아낸 내용은 아래와 같습니다.

결국, 저는 RSS로 트렌드 키워드를 수집하려다가 실패를 했습니다.

이번에는 꼭 성공하길 바라며 파이썬을 활용하여 수집하기를 도전합니다!

이전 실패기가 궁금하다면 아래 글을 참고해 주세요~

실전) 구글/네이버 실시간 이슈 키워드 수집 및 Google 시트 자동 적재## Google Trends (RSS)에서 최신 이슈 키워드 수집## 네이버 뉴스에서 실시간 뉴스 제목 기반 키워드 추출## Google Sheets에 자동 수집

kricera.tistory.com

구글 Colab에서 파이썬으로 트렌드 키워드 수집하기

콜랩은 파이썬을 웹으로 사용할 수 있는 툴입니다.

노트북 형태로 병렬 실행이 가능하고, 저는 통계학 수업을 들을때 사용해본 적이 있긴 했습니다.

(저는 찐 문과&예술대 출신이지만 통계학에 관심이 생겨 잠시 찍먹으로 통계학을 배우려고 시도 했습니다.

허나... 적성에 맞지 않아 1년 해보고 그만뒀다는 슬픈 이야기.......)

1단계 : Google Cloud 설정하기

구글에서 앱 배포를 진행하는 곳 같습니다. (저도 정확히 모름)

일단 구글 생태계에서 무언가 배포하려면 이곳을 반드시 거쳐야 합니다.

1. 프로젝트를 만듭니다.

저는 자동화블로그 프로젝트를 만들었습니다.

2. 해당 프로젝트에 IAM 및 관리자 > 서비스 계정 항목으로 들어갑니다.

3. + 서비스 계정 만들기 (기존 계정이 있다면 skip)

저는 해당 프로젝트 계정이 없어 새로 만들었습니다.
아래 사진의 +서비스 계정 만들기를 클릭하면 됩니다.

4. 서비스 계정에서 '작업' 컬럼의 '...'을 클릭 > 키 관리

5. 키 생성하기 [키 추가]

키 관리 화면으로 들어오면 아래와 같은 화면이 나옵니다.
저는 기존 키가 하나도 없어 신규로 [키 추가]를 했습니다.

6. json 형태의 키를 발급합니다.

위의 만들기를 누르면, 키 관련 상세 정보가 txt 파일로 자동 다운로드 되며 아래와 같은 확인 팝업창이 노출됩니다.

7. 내가 발급한 키 값 확인하기

발급한 키는 아래와 같이 만료일 지정 없이 생성되었습니다.

2단계. 구글 코랩 Colab 실행

코랩 실행 파이썬은 GPT가 알려준 내용으로 했습니다. 요즘 코딩을 못해도 AI가 다 해주니까 너무 좋네요!

아래 셀 순서로 내용을 적었습니다.

키워드 수집 자동화 성공인지 실패인지는 아래 내용을 확인해 주세요!

1. 라이브러리 설치

!pip install gspread oauth2client beautifulsoup4 requests

2. 구글 시트 인증 연동

위에서 받아둔 json파일을 업로드하는 인증연동 입니다.
미리 구글 시트 파일을 하나 만들어 두어야 합니다.
아래 "구글시트제목" 부분에 미리 만들어둔 시트 제목을 넣고
아래 시트 번호가 sheet1로 되어있으니, 스프레드시트 시트1 탭 이름을 sheet1로 변경했습니다.

from google.colab import files
from oauth2client.service_account import ServiceAccountCredentials
import gspread

# JSON 키 파일 업로드
uploaded = files.upload()

# 업로드한 파일명 자동 인식
SERVICE_ACCOUNT_FILE = list(uploaded.keys())[0]

# 인증 & 시트 연결
scope = ["https://spreadsheets.google.com/feeds", "https://www.googleapis.com/auth/drive"]
creds = ServiceAccountCredentials.from_json_keyfile_name(SERVICE_ACCOUNT_FILE, scope)
client = gspread.authorize(creds)

# 시트 이름 입력 (미리 만들어 놓은 Google Sheets 문서)
SHEET_NAME = "구글시트제목"
sheet = client.open(SHEET_NAME).sheet1

이 코드를 실행하면 파일 업로드를 하라고 나오고, 업로드 후에 진행됩니다.

3. 데이터 수집 함수 정의

이 부분을 데이터를 수집하는 함수를 '정의'하는 부분이므로 셀 실행 시, 0초가 걸려도 넘어가면 되는 부분입니다.

import requests
from bs4 import BeautifulSoup

def fetch_google_trends_rss():
    url = "https://trends.google.com/trends/trendingsearches/daily/rss?geo=KR"
    headers = {"User-Agent": "Mozilla/5.0"}
    response = requests.get(url, headers=headers)

    if response.status_code != 200:
        raise Exception(f"❌ 요청 실패: {response.status_code}")

    soup = BeautifulSoup(response.content, "xml")
    items = soup.find_all("item")
    results = []

    for item in items:
        title = item.title.text.strip()
        traffic_tag = item.find("ht:approx_traffic")
        traffic = traffic_tag.text.strip() if traffic_tag else "N/A"

        news_items = item.find_all("ht:news_item")
        related_titles = [
            news.find("ht:news_item_title").text.strip()
            for news in news_items if news.find("ht:news_item_title")
        ]
        related_keywords = ", ".join(related_titles) if related_titles else "관련 뉴스 없음"

        results.append([title, traffic, "24시간", related_keywords])
    return results

4. 구글 트렌드 키워드 수집 실행

대실패가 났습니다..............

요청 실패 404가 또 떴어요!!

여기서 제가 간과한 것은.. 파이썬으로 만들어 해도 결국 데이터 가지고 오는게 구글 트렌드 였기 때문에 여기서도 RSS가 연결되지 못했습니다. 지피티가 다른 방법이라고 알려줘서 생각을 안해보고 그냥 돌린 제가 잘못이지요.

새로운 방법으로 재시도 : pytrend

챗 지피티에게 파이썬으로 할 수 있는 다른 수집 방법을 알려달라고 했더니 파이트렌드 라는 라이브러리를 추천 해줬습니다.

1. 라이브러리 설치

!pip install pytrends

2. 파이트렌드 pytrend 한국 키워드 실행

= 대차게 다시 또 실패가 떴습니다.

에러 키워드를 보니 google 이 return을 안한 것으로 보입니다.

이즈음 되니 구글 탓을 해보며 왜 이렇게 된건지 chat GPT에게 다시 물어봅니다.

구글 트렌드 RSS 오류 이유

네?! 2024년 이후 더이상 공식적으로 지원되지 않아.................

지금 한 업무시간 3일을 구글 트렌드 RSS로 삽질을 했는데 2024년 이후 더이상 지원이 안된다네요.

완전히 다른 방법을 찾아봅니다.

구글 트렌드 사이즈 페이지 자체를 크롤링 하는 방법으로 다시 시도해 보겠습니다.

오늘은 정신이 혼미하여 저녁먹으러 가야겠습니다.