TIL( Today I Learned)
22-03-21 월
-
EC2 postgre
- 세팅하기
- 메뉴얼 작성하기
- 네트워크 제약사항
-
Github Organization Create & Manage
- Organization 생성
- Member Invite
-
Create Team
- Add Team Member
- Repository => Settings => Collaborators and teams => Manage Access => Add teams
-
Access Token Gen
- Profile => Settings => Developer Settings => Personal access tokens => Generate new token
- Add Note For description
- Set Expiriation
- Check repo and required permissions
- Generate Token
- copy token value
22-03-22 화
-
github vs gitlab vs bitbucket 뭐가 더 나은가?
-
비교 포인트
- 사용성
- 편의성
- 통합성
-
-
VScode 연동
- VSC git menu Click
- Clone Repository
- Browser POP up
-
The extension ‘GitHub’ wants to sign in using GitHub.
- Allow
-
Authorize Visual Studio Code to access GitHub
- Continue
-
Authorize GitHub for VSCode
- Authorize GitHub for VSCode
-
Confirm access
- Input Password for Github
- Confirm Password
-
Allow an extension to open this URI?
- Open
- Input Repo URL on commad pallete
- Clone form URL
-
코드 추가
-
브랜치 생성
- Source Control -> BRANCHES =>
+ - Enter Branch Name
-
생성 옵션 선택
- Create Branch : 브랜치 생성
- Create Branch and Switch : 브랜치 생성 및 이동
- Source Control -> BRANCHES =>
- 코드 작업
- Move to Source Control
+all Changes or+file, you want to commit then it moves to Staged Changes- 커밋 메시지 작성
Vor⌘ + Enter커밋 하기-
(・・・) => Branch => Rebase Branch => origin/<공동작업 branch>
-
conflict 발생시 해결
-
Source Control, Merge Changes에 conflict 파일 추가됨
-
해당 File conflict 해결
- keep, del 할 코드 선택후 진행
+클릭
-
- `
git rebase —continue`
-
-
- Publish Branch
-
-
Github 머지
- Click Compare & pull request ( 최근 push 한 내역이 있으면 노출됨)
- or
- Repository => Pull requests => New pull request
-
Select source and target
-
Compare : source
- i.e. 작업한 브랜치
-
Base: Target
- i.e. Merge 할 브랜치
-
- Code 간에 conflict 가 없다면, Able to merge 가 뜸
-
Pull Request 제목 / 메시지 작성
- PR 되는 내용들
Create pull requestRebase and mergeConfirm rebase and merge
-
AWS docs 읽어보기
-
Cloud watch
- CloudWatch Logs Insights
- CloudWatch Logs
- 로그 데이터를 통해 애플리케이션과 시스템을 모니터링
- CloudWatch Logs에서는 애플리케이션 로그에서 발생하는 오류의 수를 추적하고 오류 비율이 지정한 임계값을 초과할 때마다 알림을 전송
- 예를 들어 특정 리터럴 문자(예: “NullReferenceException”)에 대한 애플리케이션 로그를 모니터링하거나 로그 데이터의 특정 위치(예: Apache 액세스 로그의 “404” 상태 코드)에서 리터럴 문자의 출현 횟수를 계산
- 로그 보존 – 기본적으로 로그는 무기한으로 저장되고 만료 기간이 없습니다. 로그 그룹별로 보존 정책을 조정할 수 있고 무기한 보존 유지 또는 10년 및 하루 중 보존 기간을 선택합니다.
- 로그 데이터 아카이브 – CloudWatch Logs를 사용하여 내구성이 뛰어난 스토리지에 로그 데이터를 저장할 수 있습니다. CloudWatch Logs 에이전트를 사용하면 호스트에서 로그 서비스로 로테이션 된 로그 데이터와 로테이션 되지 않은 로그 데이터를 모두 쉽고 빠르게 전송할 수 있습니다. 그런 다음 필요할 때 원시 로그 데이터에 액세스할 수 있습니다.
- 로그 데이터가 내보내기가 가능한 상태가 되는 데는 최대 12시간이 걸릴 수 있습니다. 로그 데이터를 실시간에 가깝게 분석하려면 대신에 CloudWatch Logs Insights를 사용한 로그 분석 또는 구독을 통한 로그 데이터 실시간 처리 섹션을 참조하세요.
-
- C.W. 액세스
22-03-23 수
-
Amazon CloudWatch 콘솔 – https://console.aws.amazon.com/cloudwatch/
- 콘솔 접속
- 지표 => 모든 지표 => EC2
- 찾아보기 => Reigon 선택 =>AWS namespaces => EC2 => Instance별 지표 =>
- Instance name, Metric name 지정, 기간 설정
- => 그래프 검색
- => 그래프로 표시된 지표
- => 통계 값 선택, 기간 선택
작업=> .csv로 다운로드-
per min
- CPUUtilization
- NetworkOut
- NetworkIn
- StatusCheckFailed_System
- StatusCheckFailed_Instance
- StatusCheckFailed
- MetadataNoToken
- EBSReadOps
- EBSReadBytes
- EBSWriteOps
- EBSWriteBytes
- IncomingLogEvents
- IncomingBytes
-
per 5min
- NetworkPacketsIn
- NetworkPacketsOut
- CPUCreditBalance
- CPUCreditUsage
- CPUSurplusCreditBalance
- CPUSurplusCreditsCharged
- EBSIOBalance%
- EBSByteBalance%
-
단위가 왜 5분 단위인지?
- EC2 기본 제공
22-03-24 목
-
깃 레포 선택 정리하기
-
기본 기능 동일
- CI 서비스 다 제공
-
Gitlab
- LFS size 10GB, 다른 것들 1GB
-
Github
- Github Action Reference
- VSCode web view
- 낮은 진입장벽/ 대부분 사용해봄
- 깃 잔디 관리
-
Bitbucket
- Atlassian Integration
-
-
aws boto 3 정리하기
-
전체 리소스 받아오는 query 문 작성해보기
-
문제
-
cpu usage
- instanceId 만으로 가져옴
-
- usage
-
CloudWatch는 지표에 대해 다음 통계를 지원합니다.
- SampleCount, 즉 샘플 수는 기간 동안의 데이터 요소 수입니다.
- Sum, 즉 합계는 해당 기간 동안 수집된 모든 데이터 요소 값의 합계입니다.
- Average, 즉 평균은 지정된 기간 동안의 Sum/SampleCount 값입니다.
- Minimum, 즉 최솟값은 지정된 기간 동안 관찰된 가장 낮은 값입니다.
- Maximum, 즉 최댓값은 지정된 기간 동안 관찰된 가장 높은 값입니다.
- Percentile(p), 즉 백분위수는 데이터 집합에서 값의 상대적인 위치를 나타냅니다. 예를 들어 p95는 95번째 백분위수로, 기간 내 데이터의 95%가 이 값보다 낮으며 데이터의 5%가 이 값보다 높음을 의미합니다. 백분위수는 지표 데이터의 분포를 정확하게 이해하는 데 도움이 됩니다.
- Trimmed mean(TM), 절사 평균은 지정된 두 경계 사이에 있는 모든 값의 평균입니다. 평균을 계산할 때 경계 외부의 값은 무시됩니다. 경계는 0에서 100 사이의 숫자 하나 또는 두 개(소수점 이하 10자리까지)로 정의됩니다. 숫자는 절댓값 또는 백분율일 수 있습니다. 예를 들어 tm90은 가장 높은 값을 가진 데이터 요소의 10%를 제거한 후 평균을 계산합니다. TM(2%:98%)은 2%의 가장 낮은 데이터 요소와 2%의 가장 높은 데이터 요소를 제거한 후 평균을 계산합니다. TM(150:1000)은 150 이하이거나 1000을 초과하는 모든 데이터 요소를 제거한 후 평균을 계산합니다.
- Interquartile mean(IQM), 즉 사분위수 평균은 ____‘사분위수 범위’의 절사 평균 또는 값의 중간 50%입니다. 이 값은 TM(25%:75%)과 같습니다.
- Winsorized mean(WM), 즉 윈저화 평균은 절사 평균과 유사합니다. 그러나 윈저화 평균을 사용하면 경계 외부에 있는 값이 무시되지 않으며 대신 해당 경계의 가장자리에 있는 값과 동일한 것으로 간주됩니다. 그리고 이 정규화 후에 평균이 계산됩니다. 경계는 0에서 100 사이의 숫자 하나 또는 두 개(소수점 이하 10자리까지)로 정의됩니다. 예를 들어 wm98은 가장 높은 값의 2%를 98번째 백분위수 값과 동일하게 처리하면서 평균을 계산합니다. WM(10%:90%)은 가장 높은 10%의 데이터 요소를 90% 경계의 값으로 처리하고 가장 낮은 10%의 데이터 요소를 10% 경계의 값으로 처리하면서 평균을 계산합니다.
- Percentile rank(PR), 즉 백분위 점수는 고정 임계값을 충족하는 값의 백분율입니다. 예를 들어 PR(:300)은 값이 300 이하인 데이터 요소의 백분율을 반환합니다. PR(100:2000)은 값이 100에서 2000 사이인 데이터 요소의 백분율을 반환합니다.
- Trimmed count(TC), 즉 절사 수는 절사 평균 통계에 대해 선택한 범위에 있는 데이터 요소의 수입니다. 예를 들어 tc90은 가장 높은 10%의 값에 속하는 데이터 요소를 포함하지 않는 데이터 요소 수를 반환합니다. TC(0.005:0.030)는 값이 0.005(제외)에서 0.030(포함) 사이인 데이터 요소 수를 반환합니다.
- Trimmed sum(TS), 즉 절사 합계는 절사 평균 통계에 대해 선택한 범위에 있는 데이터 요소 값의 합계입니다. 이 값은 (Trimmed Mean) * (Trimmed count)와 같습니다. 예를 들어 ts90은 가장 높은 10%의 값에 속하는 데이터 요소를 포함하지 않는 데이터 요소의 합계를 반환합니다. TS(80%:)는 가장 낮은 80%의 값 범위에 값이 있는 데이터 요소를 포함하지 않는 데이터 요소 값의 합계를 반환합니다.
-
SDK 수집 데이터
-
데이터는 순간 데이터, 설정한 주기에 따라서 수집함
-
다만, 지표에 따라서 수집하는 값이 달라질 수 있음
-
e.g.
- cpu usage 는 cpu_count 만큼의 SampleCount를 지님
- disk 관련된 정보도 disk 쪼개진 만큼의 SampleCount를 지님
-
- period가 커지면, 그만큼 데이터의 주기에 맞추어서 함께 계산 되어진다.
-
-
세부지표 탐색
- 컨플 작성
-
-
-
22-03-25 금
-
근로
-
시간추출
- idle,
- now() vs utcnow()
- aws accept only utctime!!!
-
지표 만들기
- 가변 요소들
- json 추출 코드 일단되는걸로
- pandas로 가공 해보기
-
TEL (Trial and Error Log)
- No data