TIL&TEL 23.02.13~23.02.19

TIL( Today I Learned)

23-02-13 월

• WORKPLACE

  • PHASE 1 9-12 | 6

    • 계정 생성 및 모니터툴들 ON
    • 모니터링 세팅

    • dnsquerylog checking

      • 생기지 않고 있다

      • 다른건 5분 단위로 생기고 있는데

        • 안생김,

          • 데이터가 없어서 안생기는 걸까?
          • 다른 S3로 해서 그런가?

  • PHASE 2 13-16 | 6

    • 프로세스 개선

  • PHASE 3 16-18 | 4

23-02-14 화

• WORKPLACE

  • PHASE 1 9-12 | 6

    • 람다 디버깅

      • [ERROR] TimeoutError: Timer expired

        • 타이머가 딱 30초에 동작 하지 않음

          • 32초
          • 38초
      • [ERROR] OperationalError: (psycopg2.OperationalError) terminating connection due to administrator command
      • SSL connection has been closed unexpectedly
      • [ERROR] OperationalError: (psycopg2.OperationalError) terminating connection due to administrator command
      • SSL connection has been closed unexpectedly

    • Aws 구성도 그리기

      • lucid

    • 람다 만들기

      • 람다수집세팅

        • 디비 만들기

          • 시퀀셜

        • 람다 만들기

          • 람다 생성
          • s3 권한 설정 필요

  • PHASE 2 13-16 | 6

    • 람다 옮기기

  • PHASE 3 16-18 | 4

23-02-15 수

• WORKPLACE

  • PHASE 1 9-12 | 6

    • 통계필터 개선 작업

  • PHASE 2 13-16 | 6

  • PHASE 3 16-18 | 4

    • 람다 에러 알림
    • 람다 에러 재처리

23-02-16 목

• WORKPLACE

  • PHASE 1 9-12 | 6

    • 통계 필터셋 개선

  • PHASE 2 13-16 | 6

    • 통계 필터셋 개선

      • 데이터 로드

      • version 추가

        • 기존 version 로드
        • 새버전 추가

    • 피드백

      • 비율 적용 계산식 변경

      • 데이터 사이즈별 실행시간 비교 시각화

        • 작업량 대비 시간복잡도 증가량 평가
        • 단위 시간당 최대 작업량 평가하기

      • 칼럼 선택 확장성

        • 구동 관리

      • DB 접속 정보 관리

  • PHASE 3 16-18 | 4

23-02-17 금

• WORKPLACE

  • PHASE 1 9-12 | 6

    • 람다 수집 디버그 확인

      • None
    • 마이터 리뷰 25개 하기

  • PHASE 2 13-16 | 6

    • 전체 그림 그려보기

      • 매니징 관련

    • 통계 필터셋 개선

      • 실행 인자 싸기

        • with typer

      • 데이터 로드

        • 필터 체크 제거

      • 표현 수정

        • datetime today -> datetime.utc_now()

      • version 추가

        • 기존 version 로드
        • 새버전 추가
      • logger 달기
      • norm_agent 추가
      • user

    • 통계 모듈 개선하기

      • 성능 측정

  • PHASE 3 16-18 | 4

    • 마이터 매핑 검토

TEL (Trial and Error Log)

23-02-15

• ERROR: [ERROR] OperationalError: (psycopg2.OperationalError) connection to server at ”-.-.-.-”, port xxxx failed: No route to host

  • Is the server running on that host and accepting TCP/IP connections?

  • SITUATION:

    • aws lambda db insert with sqlalchemy

  • REASON:

    • db restrart

  • SOLUTION:

    • Asking notice for DB restart

• ERROR: ValueError: invalid literal for int() with base 10: ‘0.0’

  • SITUATION:

    • convert str to int

  • REASON:

    • type casting error

  • SOLUTION:

    • int(float(“literal”)) <== int(float())

23-02-18

• ERROR: NO module error

  • SITUATION:

    • aws lambda module import

  • REASON:

    • dir name should be “python”

  • SOLUTION:

    • mv other-name python