All Articles

TIL&TEL 22.12.19~22.12.25

TIL( Today I Learned)

22-12-19 월

  • WORKPLACE

    • PHASE 1 9-12 / 6

      • TimescaleDB

        • pg Extension

    • PHASE 2 13-16 / 6

      • 미팅 정리

    • PHASE 3 16-18 / 4

  • 22-12-20 화

    • WORKPLACE

      • PHASE 1 9-12 / 6

        • s3 비교 동작 4 | 4

      • PHASE 2 13-16 / 6

        • 타계정간 vpc flow, dns query 수집 방법 정리하기 6 |

          • 조사
          • 정리 : 깃마인드

        • VPC가 계정 귀속이면 별개, 계정 통합이면 통합

          • dns query 도 VPC_id 기반으로 추적함

      • PHASE 3 16-18 / 4

22-12-21 수

  • WORKPLACE

    • PHASE 1 9-12 / 6

      • 타계정간 vpc flow, dns query 수집 방법 정리하기 6 |

        • 조사

          • VPC가 계정 귀속이면 별개, 계정 통합이면 통합

            • dns query 도 VPC_id 기반으로 추적함
        • 정리 : 깃마인드

    • PHASE 2 13-16 / 6

      • 미팅 2 | 2

      • 다음 액션

        • SQL 개선

          • 기본 통계

            • avg, var, median, standard var
          • API event_id 같이 묶기

        • S3

        • EC2 credit ->

          • watch 격리 되어 있음
          • 배치 계정별 별도 람다 => 공통 S3

    • PHASE 3 16-18 / 4

22-12-22 목

  • WORKPLACE

    • PHASE 1 9-12 / 6

      • 람다 디버깅 2 | 1

        • 원인

          • DB 커넥션 과다
        • 데이터 유실됨

        • 대응

          • engine.connect() context 사용함

      • 람다 동작 고치기 3 | 3

        • 키네시스 비활성

        • 코드 변경

          • 테스트 DB 변경 배포
          • connection pool 바꾸기

          • connection close…?

            • with engine.connect() as connection:

              • result = connection.execute(“select username from users”)

              • for row in result:

                • print(“username:”, row[‘username’])
        • 동작 확인
        • 원 DB 복구 배포
        • 키네시스 활성화

      • 데이터 클리닝 4 |

        • 중복값 제거

        • 튀는값 제거

          • 람다가 멈춰있다가 동작할때 들어간것들 인터스와 이벤트 사이에 텀이 길다.
      • 통계 지표 산출 2 | 2

    • PHASE 2 13-16 / 6

      • s3 정책 찾아보기 3 |

        • 등급 변환

          • 수명주기 관리로 자동 적용

          • 수동으로 객체 지정해서 변경

            • 동일 obj key로 class 변경해서 지정하면 등급 변경 가능함

        • 압축 해야 할 수도

          • 왜?

            • glacier 등급을 사용할 경우 Obj 마다 s3 standard 8kb, glacer 32kb 데이터가 추가로 붙어서 저장이 된다.

          • 주기별 파일 압축해서 metadata 낭비 막음

            • hourly
            • daily
            • weekly

          • 어떻게?

            • 람다

              • 로드
              • 압축
              • upload

    • PHASE 3 16-18 / 4

      ​

22-12-23 금

  • WORKPLACE

    • PHASE 1 9-12 / 6

      • EC2 credit 수집 방법 정리하기 구현 6 |

        • watch event -> lambda -> rds
        • s3 생성

        • lambda 생성

          • get ec2 instance list

            • 권한 걸림

              • instance id 조회 필요함

          • watch metric loads

            • 와치 조회 권한 필요

          • s3 put object

            • 권한
          • lambda

    • PHASE 2 13-16 / 6

      • 미팅

        • SQL

          • 지난번 데이터 에러
          • 쿼리

        • s3

          • 전달
          • 공유

        • EC2 credit 수집 방법

    • PHASE 3 16-18 / 4

TEL (Trial and Error Log)

22-12-22

  • ERROR: OperationalError: (psycopg2.OperationalError) connection to server at ””, port failed: Connection refused

    • Is the server running on that host and accepting TCP/IP connections?

    • SITUATION:

      • psycopg2 on Lambda

    • REASON:

      • connection 몰림

    • SOLUTION:

      • 람다 데이터베이스 프록시 사용 <= 람다 개별 커넥션

        • 이건 aws RDS 만 제공함
        • 함수 스프 밖에 있는것 재활용 할 수 있음

Published 25 Dec 2022

개발로 세상을 발전시키는 개발!