TIL&TEL 20.09.07~20.09.13

TIL( Today I Learned)

20-09-07 월

• 젠킨스 스크립트 가이드 추가하기
• GCP 동작 팀원에게 설명하기
• 스크래퍼 문제정 정리
• 프로젝트 밑그림 공유하는 시간
• 14시 SaaS 세미나
• 15시 팀 회의

20-09-08 화

• 스크래퍼 개선책 찾기

20-09-09 수

• NLP task 정리해보기

  • 어떤 데이터 를? 어떻게? 무엇을? 왜?
  • 데이터 전처리

20-09-10 목

• 오프라인 미팅
• 코랩을 활용한 BERT fine tuning

• 파일 경로 컨벤션 정리 통일

  • 스네이크 케이스

20-09-11 금

• GCP Cloud Function 세팅및 사용

• colab 동작 파일 확인하기

  • 자료 구조
  • 트레이닝
  • dev
  • 트레이닝, eval 파일 읽어보기

TEL (Trial and Error Log)

20-09-07

• ERROR: WebDriverException: Message: unknown error: cannot find Chrome binary

  • SITUATION: chromedriver 깔아서 selenium 구동 하려던 중
  • REASON: 계속 안되서 뭔가 싶었는데, 크롬을 안깔아서 드라이버 구동이 안되고 있던 거였음
  • SOLUTION: Chrome 깔았다.

• ERROR:unknown error: DevToolsActivePort file doesn’t exist

  • SITUATION: chromedriver 깔아서 selenium 구동중
  • REASON: 구동 옵션 몰랐다.
  • SOLUTION:
  • chrome_options = webdriver.ChromeOptions()
  • chromeoptions.addargument(‘—headless’)
  • chromeoptions.addargument(‘—no-sandbox’)
  • chromeoptions.addargument(‘—disable-dev-shm-usage’)

• ERROR:WebDriverException: Message: unknown error: Chrome failed to start: exited abnormally.

  • SITUATION: chromedriver 깔아서 selenium 구동중
  • REASON: 디스플레이가 없는데 디스플레이 그리려고 해서 그런 에러가 남.
  • SOLUTION: add_options(“—headless”)

20-09-08

• ERROR: 스크래핑 장애

  • SITUATION: GCP 상에서 적용하려니 계속 에러가 남.
  • REASON: 인증쿠키 생성이 잘 안됨
  • SOLUTION: 셀레늄으로 접속해서 쿠키 직접 생성

20-09-10

• ERROR: selenium.common.exceptions.InvalidSessionIdException: Message: invalid session id

  • SITUATION: 셀레늄 드라이버 try- finally로 강제종료하고 있는 상황
  • REASON: try 에서 driver.close()를 하고 finally에서 한번 더해서 없는 것을 종료하게 됨
  • finally는 try, except 가 종료되기 직전에 실행된다 즉 break, continue, return 전에 실행이 된다.
  • SOLUTION: try 절에 있는 driver.close() 삭제하기

20-09-11

• ERROR: Google Cloud Function ’ crash’

  • SITUATION: google cloud function testing
  • REASON: Requests header content-type 미지정
  • SOLUTION: {‘Content-Type’:‘application/json’}으로 고정하고 전송