TIL&TEL 22.12.26~23.01.01

TIL( Today I Learned)

22-12-26 월

• WORKPLACE

  • PHASE 1 9-12 / 6

    • 수집 방법들 문서 정리하기

      • 수집해야 하는 데이터

        • 나열
      • 옵션들

      • 고려사항들

        • 다계정 이슈

        • 비용

          • 저장
          • 트래픽

        • 편의성

          • 관리
      • 결론
  • PHASE 2 13-16 / 6

  • PHASE 3 16-18 / 4

22-12-27 화

• WORKPLACE

  • PHASE 1 9-12 / 6

    • 수집 방법들 문서 정리하기

      • 수집해야 하는 데이터

        • 나열
      • 옵션들

      • 고려사항들

        • 다계정 이슈

        • 비용

          • 저장
          • 트래픽

        • 편의성

          • 관리
      • 결론

  • PHASE 2 13-16 / 6

    • 오후 3시 대표님 간담회

  • PHASE 3 16-18 / 4

22-12-28 수

• WORKPLACE

  • PHASE 1 9-12 / 6

    • 3종 비교

      • 어제 하루 인풋 지연

        • api call

          • 228

        • stream

          • 114

        • s3 pull

          • 172

  • PHASE 2 13-16 / 6

22-12-29 목

• WORKPLACE

  • PHASE 1 9-12 / 6

    • 구성 만들기

      • 현재상황

        • 트레일

          • s3 댕겨오고 있음

        • Vpc

          • watch 로 댕겨옴

        • Dns

          • watch 로 댕겨옴

        • 메트릭

          • watch로 댕겨옴

      • 진행할 것

        • 트레일

          • 중복 추적 제거하기

        • Vpc / DNS

          • VPC 양식이 모두 동일해야함

          • s3 모으기

          • lambda -> rds

            • 람다 부여, s3 접근 권한

        • 메트릭

          • cloudwatch event
          • lambda trigger
          • => s3 모으기

        • 추후 | 수명 주기 관리 하기

          • 데이터 모으기

            • 압축
            • glacier 전달하기

          • 중복 데이터 지우는 스크립트…?

  • PHASE 2 13-16 / 6

    • 만드는 방법들 정리해놓기
  • PHASE 3 16-18 / 4

22-12-30 금

• WORKPLACE

  • PHASE 1 9-12 / 6

    • 람다 디버깅 2개 4 |

      • vpcflow-s3-to-rds

        • 타임아웃… 데이터 사이즈 최대치 초과.

      • trail

        • 권한 노출로 인한 에러
    • 구성 만들기

  • PHASE 2 13-16 / 6

    • 만드는 방법들 정리해놓기

  • PHASE 3 16-18 / 4

TEL (Trial and Error Log)

22-12-29

• ERROR: pytest ‘ImportError: No module named YadaYadaYada’

  • SITUATION:

    • pytest can see src path

  • REASON:

    • 모듈 찾기 실패

  • SOLUTION:

    • add init.py

• ERROR: ValueError: If using all scalar values, you must pass an index

  • SITUATION:

    • pandas df init

  • REASON:

    • empty 문자열 전달중

  • SOLUTION:

    • 빈값 전달 로직 처리

22-12-30

• ERROR: Found credentials in environment variables.

  • SITUATION:

    • lambda logger error

  • REASON:

    • Lambda tries to read the credentials from reserved environment variables to make a connection to the other service and in the process logs the statement about where it found the credentials to “stdout”

  • SOLUTION:

    • Try setting the logger level to WARNING and observe the logs.

• ERROR: OpenBLAS WARNING - could not determine the L2 cache size on this system, assuming 256k

  • SITUATION:

    • aws lambda running

  • REASON:

    • lack of ram: 256mb으로 초기 구동에 램부족함

  • SOLUTION:

    • extend ram

22-12-31

• ERROR: src 내 모듈 임포트시 에러

  • SITUATION: tests/ 밑에 자료들에서 src/ 밑에 불러오려는 상황

  • REASON:

    • 구조 인식하도록 바꿔줘야 한다.

  • SOLUTION:

    • [tool.pytest.ini_options]
      addopts = "--tb=short"
      pythonpath = "src"