기상정보 자동 스크래핑 코드 진행중 4


기상정보 자동 스크래핑 코드 진행중 4

하루를 48개로 나눈 기상 사이트에서 시각별 온도를 스크래핑 해오는데 이번에도 48번의 반복을 돌지 못하고 에러가 발생했습니다. Nosuchelem Error 즉 결측치에 해당하는 xpath, data를 찾을 수 없다는 에러인데 생각을 하다가 우선적으로 try, except를 이용해서 해결을 해보았는데 중간에 어느 지점에서 데이터가 비든, 총 48번의 횟수를 채우지 못하는 경우가 발생하기 때문에 해당 경우는 '데이터 48개 미달'이라는 메세지를 출력하고 다음 날짜로 넘어가도록 했습니다. 이전에는 달라진 사이트와 코드로 인해 데이터가 비어있는 날짜를 넘어가지 못하고 계속 에러에 대한 고민을 하는 시간이 길어졌기 때문에 어떻게보면 첫 파일럿? 코드와 같이 느껴져서 후련한 느낌도 들었습니다. 하지만 이 데이터를 활용해서 학습을 한다고 생각했을 때, 학습 이전에 전처리를 하고 가공을 하는 과정을 먼저 생각해보니 해당 시각에 맞지 않는 데이터가 저장되었다고 생각하니 다시 처리를 해야할 필요성...


#selenium #크롤링 #웹자동화 #웹개발 #웹 #예외처리 #스크래핑 #셀레니움 #빅데이터 #기상정보 #파이썬

원문링크 : 기상정보 자동 스크래핑 코드 진행중 4