TIL( Today I Learned)
23-02-20 월
-
WORKPLACE
-
PHASE 1 9-12 | 6
- 람다 수집 디버그 확인
-
필터셋 운영 정리
- 주기
-
PHASE 2 13-16 | 6
-
통계 모듈 개선하기
-
refer 시간,사 시간 분리하기
- 불필요함
-
피클링
- hashing (가중치+기간)
-
동작 시간 측정하기
-
1
- 1.6375770568847656s
-
10
- 1.6291093826293945s
-
100
- 1.7062113285064697s
-
1000
- 1.9645256996154785s
-
10000
- 4.411994695663452s
-
100000
- 44.676647424697876s
- 1000000
-
-
warning 해결 하기
- 122
- 124
- 134
- 139
-
-
-
PHASE 3 16-18 | 4
- 마이터 리뷰 25개 하기
- 이벤트 매핑 정리하기
-
23-02-21 화
-
WORKPLACE
-
PHASE 1 9-12 | 6
-
모의 해킹 계정 확인
- 이런저런 활동 중이심
- 마이터 리뷰 25개 하기
-
운영 방법 기획
-
서비스를 하게 될 경우 구성도를 다시 그려보자
-
멀티 Aws 유저 기반
-
config 관리
- 계정 정보
- 서비스 설정 값들
-
-
저장소
-
이벤트 데이터
-
고객사이드
- S3 저장
-
우리사이드
- ast RDB
-
-
메타 정보
- aws secret
-
고객 서비스 설정 정보
-
커스텀 지표
- ast RDB
-
-
이상치 탐지 데이터
- ast RDB
-
-
프로세스
- 수집 모듈
- 트레일 분석모듈
-
감시 모듈
- 통계 기반
- 모델 기반
-
-
-
-
PHASE 2 13-16 | 6
- 통계 필터셋
-
PHASE 3 16-18 | 4
-
23-02-22 수
-
WORKPLACE
-
PHASE 1 9-12 | 6
-
필터링 동작 확인하기
- 불러온 row 다들어가버림
- preprocess norm agent 이상한거 잡아내기
-
-
PHASE 2 13-16 | 6
-
트레일 수집 가이드
-
트레일 내부 설정
- 화면가이드
- 조직 계정
- OU 계정
-
트레일 데이터 추출
- 클라우드트레일 - 이벤트 다운로드 10분 정도, 60MB 생성됨
- 클라우드트레일 인사이트 -
-
트레일 데이터 외부 전달
- S3 권한 아스트론 회사 계정에 부여하기
- 람다 권한 아스트론 회사 계정에 부여하기
-
-
-
PHASE 3 16-18 | 4
- 마이터 리뷰 재검토
-
23-02-23 목
-
WORKPLACE
-
PHASE 1 9-12 | 6
-
람다 수집 디버그 확인
- 클린
- s3 외부 계정 공유 방법 정리하기
-
-
PHASE 2 13-16 | 6
- 마이터 리뷰 재검토
-
PHASE 3 16-18 | 4
- s3 외부 계정 공유 방법 정리하기
-
23-02-24 금
-
WORKPLACE
-
PHASE 1 9-12 | 6
- 람다 수집 디버그 확인
-
PHASE 2 13-16 | 6
- 마이터 리뷰 재검토
-
PHASE 3 16-18 | 4
- s3 외부 계정 공유 방법 cloudformation 정리
-
TEL (Trial and Error Log)
23-02-20
-
ERROR: hash has different value
-
SITUATION:
- hash(“str”)
-
REASON:
- hash return value has different based on process (this relies on timestamp)
-
SOLUTION:
- hashlib
-
import hashlib hash_val = f"{start_time}{end_time}{user_custom}" hash_key = hashlib.sha256(hash_val.encode("utf-8")).hexdigest()
-
-
ERROR: │ Got unexpected extra arguments (”useragent”: 90.0\ ”username”: 90.0\ ”eventname”: 0.1\ ”eventhour”: 90.0) │
-
SITUATION:
- vscode input json args string cli typer
-
REASON:
- { } 를 shell 기호로 받아 버림
- "" 로 싸줘야 하는데 싸는게 안된다.
- ” 를 하면 이스케이프가 빠지고, ” 만 들어가야 하는데 들어가지를 않는다.
- VS code debug ERROR
- “argsExpansion”: “none”은 2020년 부터 디폴트로 설정되어 있다.
-
SOLUTION:
- no way
- Issue 제보하기
- 임시로 기본값 적용후 테스트중
-
23-02-22
-
ERROR: [Errno 30] Read-only file system: ‘/home/sbx_user1051’
-
SITUATION:
- lambda s3 download
-
REASON:
- lambda 저장소 제한
-
SOLUTION:
- hinder any job create file out of /tmp
- /tmp/filepath
-
-
ERROR: An error occurred (AccessDenied) when calling the GetObject operation: Access Denied
-
SITUATION:
- aw s3 cp
-
REASON:
- 권한 미부여
-
SOLUTION:
- add
- bucket_name/*
-
-
ERROR:The following resource(s) failed to create: [CrossAccountRole, S3BucketInsideArn]. Rollback requested by user.
-
SITUATION:
- aws cloudformation add custom string
-
REASON:
- string is not resources
-
SOLUTION:
- use Fn:Join
-