TIL&TEL 23.02.06~23.02.12

TIL( Today I Learned)

23-02-06 월

• WORKPLACE

  • PHASE 1 9-12 | 6

    • 람다 확인하기
    • 데이터 import 코드
    • db migration

  • PHASE 2 13-16 | 6

    • 필터링 프로세스 다듬기

      • 모듈화
      • 하드코딩 제거하기2

  • PHASE 3 16-18 | 4

    • air flow 습득하기

23-02-07 화

• 승원님 설명

  • 구조

    • EDM, DDD, CQRS,
  • 예시 코드 플로우

• WORKPLACE

  • PHASE 1 9-12 | 6

    • 문제 파악

      • 상황 정리
      • 개선 방안 설계

  • PHASE 2 13-16 | 6

    • Todo
    • 문제 정의

  • PHASE 3 16-18 | 4

    • 개선 방안 정리
  • 작업 내용 공유 동의 진행후 작업하기

23-02-08 수

• WORKPLACE

  • PHASE 1 9-12 | 6

    • Todo 작성

  • PHASE 2 13-16 | 6

    • 문제 정의
    • DB 이름 변경하기

  • PHASE 3 16-18 | 4

    • 개선 방안 정리

23-02-09 목

• WORKPLACE

  • PHASE 1 9-12 | 6

    • 람다 디버깅

      • 23-02-08 07:19:00

        • 2건 발생

        • Concurrent executions

          • 11

            • 다른 곳에서 20 넘은 경우도 있음

      • 타임아웃 동작 안함

        • 개선

          • try, except 절 추가함

      • savedataframe start 에서 pending 걸림

        • 에러 발생 전

          • 2023-02-08 16:17:18.850 KST [114204] LOG: checkpoints are occurring too frequently (3 seconds apart)

          • 2023-02-08 16:17:18.850 KST [114204] HINT: Consider increasing the configuration parameter “maxwalsize”.

            • 이 에러들은 다른 경우에도 발생은 함

          • WARNING: worker took too long to start; canceled

            • 오토 배큠 관련

        • 에러 발생뒤

          • postgresql 로그에는 끊기고 난뒤 기록만 남음

            • 2023-02-08 16:19:35.258 KST [43022] drex@astronrawlog LOG: could not receive data from client: Connection reset by peer
            • 2023-02-08 16:19:35.260 KST [72662] drex@astronrawlog LOG: could not receive data from client: Connection reset by peer
            • 2023-02-08 16:19:35.268 KST [43022] drex@astronrawlog LOG: unexpected EOF on client connection with an open transaction
            • 2023-02-08 16:19:35.268 KST [72662] drex@astronrawlog LOG: unexpected EOF on client connection with an open transaction

        • 개선

          • aa03861b-edf6-4402-b8c0-2171b5758386

            • event_rows 2

          • aa374938-7a82-4680-b58e-aadb4586a792

            • event_rows = 9
      • 동일 코드 펜딩 걸리게한 상태에서 중복으로 늘려보기

  • PHASE 2 13-16 | 6

    • 문제 정의

      • avg * 비율

      • 데이터 배열

        • 극대, 극소

          • num >= avg * 0.001

            • 이래야 다 걸러짐

        • 적당량 평이함

          • event_hour

            • num >= avg * 0.97
            • 이면 다 걸러짐
      • 데이터

  • PHASE 3 16-18 | 4

    • 개선 방안 정리
  • 작업 내용 공유 동의 진행후 작업하기

23-02-10 금

• WORKPLACE

  • PHASE 1 9-12 | 6

    • 동작 정리

  • PHASE 2 13-16 | 6

    • 데이터
  • PHASE 3 16-18 | 4

TEL (Trial and Error Log)

23-02-06

• ERROR: ERROR:Execution failed on sql ‘SELECT name FROM sqlite_master WHERE type=‘table’ AND name=?;’

  • SITUATION:

    • save to db

  • REASON:

    • wrong value

  • SOLUTION:

    • tosql( con = sqlalchemy.engine) <== tosql(con = psycopg.conn)

• 23-02-08

  • ERROR: [ERROR] OperationalError: (psycopg2.OperationalError) terminating connection due to administrator command SSL connection has been closed unexpectedly

    • SITUATION:

      • postgresql connection

    • REASON:

      • The PostgreSQL server killed the database connection.
      • This usually happens because someone killed your connection on purpose, or there is a server shutdown/restart.
      • 커넥션이 종료된뒤에 살아있던 커넥션들을 다시 쓰려고 하면 에러가 난다.

    • SOLUTION:

      • DB 작업시 공유 요청

  • ERROR:

    • The following paths and/or pathspecs matched paths that exist
    • outside of your sparse-checkout definition, so will not be
    • updated in the index:

    • SITUATION:

      • git update

    • REASON:

      • 깃 추적 안했던 파일 업데이트가 안되고 있음
    • SOLUTION:

​ git update-index --no-skip-worktree <path/>