TIL&TEL 20.08.31~20.09.06

TIL( Today I Learned)

20-08-31 월

• 클라우드 구성도 완벽 및 (스케일업 가능성까지 포함해서) 그려보기

• GCP 이동 구체화 정리하기

  • 세부 세팅
  • 젠킨스
  • NGINX
  • 코드 수정
  • IP 주소들 변경
  • 배포
  • 프로세스들

20-09-01 화

• 웹스크래퍼

  • 인스타 해쉬키 변경 적용
  • 인스타 에러 except 처리 적용

20-09-02 수

• 프로세스 수정 적용 및, 반영 내용 확인하기
• gcp 인스턴스 세팅

20-09-03 목

• 젠킨스 스크립트 만들어서 확인
• 리눅스 유저 생성 및 적용

20-09-04 금

• 프로세스 구동 스크립트 적용

TEL (Trial and Error Log)

20-08-31

• ERROR:pymysql.err.IntegrityError: (1452, ‘Cannot add or update a child row: a foreign key constraint fails

  • SITUATION: 파이썬 프로세스 구동중 에러
  • REASON: 임의로 설정한 id 를 넣고 있었는데 다른 브랜드는 반영되지 않았고 해당 브랜드만 맞았다.
  • SOLUTION: 브랜드 id 수정

20-09-01

• ERROR: json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

  • SITUATION: 파이썬 웹스크래핑 프로세스 중에 에러가 터졌다.
  • REASON: json 파싱 하는데 해당 값이 없어서 문제, 지난번에 해결했다고 넘기고 있었는데 다시 생겼다. JSON decode 에러 발생 조건을 None값을 받았을 때만 해당한다고 생각했는데 그것보다 좀더 복잡하다.
  • SOLUTION:
  • 기존 방법은 Response 값의 NoneType을 체크 했는데 이래가지고는 안되고, JSONDecodeError를 캐치하는게 맞다.
  • 이번에러 났음에도 바로 "" 만 아니면 되겠지 했는데 막장 해보니 일반 텍스트가 들어가도 해당 에러가 반환된다.
  • try - except 구문으로 처리!

• ERROR: instagram scrapping error

  • SITUATION: 잘되던 scrapper 동작이 멈춘다.
  • REASON: instagram api hash key changeed
  • SOLUTION: get changed hash key and apply it

20-09-02

• ERROR: Linux 유저 생성후 SSH Permission denied (publickey).

  • SITUATION: 유저 로그인 하는데 안먹힘
  • REASON: 새로 생긴 유저로 폴더를 만들어 버리면 권한이 꼬여서 sshd 에서 실행을 못한다. 그래서 권한을 변경해줘야한다.
  • SOLUTION:
  • chmod 700 .ssh
  • chmod 600 .ssh/authorized_keys

• ERROR: 사이트 접속 안됨

  • SITUATION: nginx 설정 해놨는데 접속이 안된다.
  • REASON: 방화벽 정책이 막혀있어서
  • SOLUTION: 방화벽 개방 or 수정

20-09-03

• ERROR: [CRITICAL] WORKER TIMEOUT

  • SITUATION: Gunicorn 으로 서버 구동 명령중 에러가 발생
  • REASON: gunicorn 실행 어플리케이션 엉뚱한거 짚어놓고 있었다.
  • SOLUTION: 어플리케이션 path 수정

• ERROR: Publish over SSH 변수 인식 달라짐

  • SITUATION: Publish over SSH execute 문 작성중인데 에러남
  • REASON: $PATH 로 잡아놓은것들이 접속점의 값이 아닌 젠킨스의 값이 잡힘
  • SOLUTION: escape로 순수 텍스트로 입력이 되게한다.

• ERROR:Pseudo-terminal will not be allocated because stdin is not a terminal.

  • SITUATION: ssh -i 명령문 입력
  • REASON: 줄 바꿈이 인식이 안되었따.
  • SOLUTION: 명령어 다음에 ’’ 입력 안함

20-09-04

• ERROR: 설정해논 환경이 아닌 base environment 로 실행이 됨

  • SITUATION: 스크립트로 conda env activate 하는 중
  • REASON: PATH 설정을 잘못 잡고 있었다. 그래서 virtual env 가 아닌, base env에서 command 들을 실행하고 있었다
  • SOLUTION:export PATH=~/miniconda3/bin/envs/projects/bin:$PATH <=== export PATH=~/miniconda3/bin