시작
줌인터넷에서 스타줌을 오픈을 해야했다. 연예인 데이터를 간단히 크롤할 자료를 찾고 해당 어떻게 크롤을 할지 생각을 하고 간단할 줄 알았는데 .. 갑분싸.. 갑자기 버전의 문제가 생겼다. 그 당시에는 chrome version 이 갑자기 올랐고 이 버전이 호환되던 WebDriver 버전이 호환이 맞지 않았다. 또한, 치명적인 실수인게 크롬을 자동 버전 업그레이드를 설정해놓았기 때문에 개발이 어려웠다. 즉, 114버전하고 118버전하고 문제가 생기는 이슈이다. 어떻게 해야할까?
크롬 다운 그레이드
우선 급한대로 일정이 있고 개발을 해야하니 크롬을 다운시키고 chromWebDriver 의 버전을 호환되게끔 맞추려고 했다. 다만, 이 과정에서도 문제가 있었는데..
- 근데 해당 부분은 전체적으로 문제가 생기고 Mac 에서는 너무 어려운 과정이 있음.
- 추가로 다른 사람이 또 추가 개발을 할때, 그사람도 다운그레이드해야한다는게 말이안됨.
- 크롬 북마크등의 데이터가 사라짐
이러한 문제로 잠깐의 시도뿐 .. 그만 뒀다.
webdriverManager 로 강제 버전 수정
- webdriverManager 로 강제 버전 수정
- 강제로 버전을 넣으려고 해도 114 버전으로 됨. 근데 해당 부분이 User/min-yul 쪽 .cache 부분에 114가 남아있었다. 그래서 해당 부분 지우고 가져 오려했지만...
- 하지만, 디폴트 url 이 https://chromedriver.storage.googleapis.com/ 이부분 이였고 여기는 114 버전이 마지막.
- 그래서 나는 https://googlechromelabs.github.io/chrome-for-testing/#stable 해당 부분으로 url 을 수정했고 다시 했으나 태그가 달라서 가져올 수 없었음.
- 117 버전이 호환된다는 얘기를 듣고 https://googlechromelabs.github.io/chrome-for-testing/known-good-versions-with-downloads.json 해당 부분에 117 버전을 다운 받아서 넣었음.
!!
그러나 계속 실행되지않았음. 이유는 m1, intel 용이 있는데 나는 계속 내 노트북이 m1 인줄알고 m1 으로 하고 있었음.
intel로 바꿨더니 실행은 됬음. 근데 또 문제가 생김. 호환이 되지않음.
해결 방법
- https://googlechromelabs.github.io/chrome-for-testing/known-good-versions-with-downloads.json 해당 부분에서 버전을 확인했음.
min-yul@MacBook-Pro drivers % **wget https://edgedl.me.gvt1.com/edgedl/chrome/chrome-for-testing/118.0.5993.70/mac-x64/chromedriver-mac-x64.zip**
--2023-10-20 23:06:59-- https://edgedl.me.gvt1.com/edgedl/chrome/chrome-for-testing/118.0.5993.70/mac-x64/chromedriver-mac-x64.zip
edgedl.me.gvt1.com (edgedl.me.gvt1.com) 해석 중... 34.104.35.123
다음으로 연결 중: edgedl.me.gvt1.com (edgedl.me.gvt1.com)|34.104.35.123|:443... 연결했습니다.
HTTP 요청을 보냈습니다. 응답 기다리는 중... 200 OK
길이: 9256492 (8.8M) [application/octet-stream]
저장 위치: `chromedriver-mac-x64.zip'
chromedriver-mac-x64.zip 100%[=========================================================================>] 8.83M 5.54MB/s / 1.6s
2023-10-20 23:07:01 (5.54 MB/s) - `chromedriver-mac-x64.zip' 저장함 [9256492/9256492]
min-yul@MacBook-Pro drivers % **ls**
chromedriver-mac-x64.zip
min-yul@MacBook-Pro drivers % **unzip chromedriver-mac-x64.zip**
Archive: chromedriver-mac-x64.zip
inflating: chromedriver-mac-x64/LICENSE.chromedriver
inflating: chromedriver-mac-x64/chromedriver
min-yul@MacBook-Pro drivers % **ls**
chromedriver-mac-x64 chromedriver-mac-x64.zip
min-yul@MacBook-Pro drivers % **cd chromedriver-mac-x64**
min-yul@MacBook-Pro chromedriver-mac-x64 % ls
LICENSE.chromedriver chromedriver
min-yul@MacBook-Pro chromedriver-mac-x64 % **mv chromedriver ..**
min-yul@MacBook-Pro chromedriver-mac-x64 % **cd ..**
min-yul@MacBook-Pro drivers % ls
chromedriver chromedriver-mac-x64 chromedriver-mac-x64.zip
min-yul@MacBook-Pro drivers %- resources 쪽에 drivers 에 해당 명령어 작성
- 코드를 추가하자
System.setProperty("webdriver.chrome.driver", new ClassPathResource("drivers/chromedriver").getFile().getAbsolutePath());- 2024년 1월 12일 업데이트
'https://github.com/GoogleChromeLabs/chrome-for-testing' 해당 부분 들어가서 chromedriver 다운
끝내며
해결방법은 무조건 있다.다음에도 같은 문제가 생겼을 때, 이걸로 해결하자.