셀레니움 없이 네이버 블로그 포스트 검색 결과 수집하기 (API beautifulsoup)
어느날 갑자기 티스토리의 방문자수가 급감합니다. 원인을 알아보니 다음에서 검색 유입이 거의 없어졌네요. 무슨 일일까요? 오늘 포스팅에서는 티스토리 블로그에서 다음 검색 유입이 안 되는 이유와 고객 센터를 통해 그 사안을 해결한 방법에 관하여 알아보겠습니다. 3월 말, 갑자기 저의 티스토리 방문수가 절반 이상 줄어들었어요. 음, 본인이 오늘은 블로그를 쉬어서 그런가보다. 저의 블태기를블로그 포스트 권태기 탓하며 다시 힘을 내서 글을 해봅니다.
그런데도 방문수에는 큰 변화가 없었어요. 하지만 가장 이해가 되지 않았던 문제가 발생했습니다.
원인은 홈페이지 등록 오류 저품질?
혹시 몰라서 다음 검색창에 저의 블로그 포스트 주소를 입력하고 검색해 봅니다. 원래는 제 블로그 포스트 이름인 낭만적일상보관소가 검색 결과로 나와야 합니다. 블로그 포스트 글이 아니라 블로그 포스트 이름이 나와야 해요. 이 말은 자신의 블로그가 정규 사이트로 등록이 되어 있다는 뜻입니다. 그 결과, 네이버에는 홈페이지 등록이 되어있는 반면 다음에는 안되어있습니다. 혹시 몰라 며칠 더 기다려봤습니다.
라이브러리 import
import pandas as pdfrom bs4 import BeautifulSoupimport numpy as npfrom naverblogapi import naverblog .py 파일 동일한 폴더 내에 저장할 것from konlpy.tag import Oktimport requests
위 코드를 실행하시면 폴더 내에 pycache 폴더가 만들어집니다.
본문 수집하기
검색 결과로 받은 데이터프레임을 소비자 정의 함수의 인자로 넣어주시면 끝입니다. 이후 수집한 데이터를 분석 목적에 맞게 가공해서 사용하시면 됩니다. 스마트 에디터 버전별로 html이 다름 이에 따라 스마트 에디터 one html 기준으로 크롤링을 시도하고, 안 될 경우 스마트 에디터 2.0 기준으로 크롤링을 시도하도록 코드를 구현했습니다. 스마트 에디터 3.0 크롤링 불가 다른 글을 보니 셀레니움을 사용해도 스마트 에디터 3.0으로 작성한 경우는 크롤링이 까다로운 것 같습니다. . 크롤링이 안 된 경우는 text 컬럼에 None이라고 입력되어 있기 때문에, 추후 필터링해주셔야합니다.
다음 고객센터에서 문제 해결하기
저의 자식과 같은 귀중한 블로그가 갑자기 이유도 모른 체 다음에서 쫓겨났으니 그 원인을 물어봐야겠죠? 다음 고객센터에 문의를 해봅니다. 다음 고객센터 바로 가기 이럴때 문의 분류를 아래 사진처럼 블로그, 카페 검색 문의 내블로그 포스트 검색RSS 문의로 지정을 해 놓으신 후에 내용을 작성해 주세요. 그래야 고객센터에서 그 원인을 빨리 파악하고 조치를 해주신답니다. 그리고 저는 다음에서 홈페이지 등록이 안되어 있는 부분위의 사진을 캡처에서 첨부파일에 올렸습니다.
그리고 다음날 바로 답장이 왔어요. 엄청 빨리 왔어요. 답장의 요는 네 거 블로그는 정상적으로 홈페이지 등록 처리했어. 하지만 원인은 잘 모르겠네. 저품질에 걸리는 원인은 참 많아서 말이야. 그러니 앞으로 저품질에 걸리지 않도록 조심해 줘. 정상 홈페이지 등록이 되었는지 블로그 포스트 주소를 다음에서 검색을 해봅니다.
자주 묻는 질문
원인은 홈페이지 등록 오류
혹시 몰라서 다음 검색창에 저의 블로그 포스트 주소를 입력하고 검색해 봅니다 자세한 내용은 본문을 참고하세요.
라이브러리 import
import pandas as pdfrom bs4 import BeautifulSoupimport numpy as npfrom naverblogapi import naverblog 궁금한 내용은 본문을 참고하시기 바랍니다.
라이브러리 import
검색 결과로 받은 데이터프레임을 소비자 정의 함수의 인자로 넣어주시면 끝입니다 좀 더 자세한 사항은 본문을 참고해 주세요.
댓글