TIL&TEL 23.04.17~23.04.23

TIL( Today I Learned)

23-04-17 월

• WORKPLACE

  • PHASE 1 9-12 | 6

    • 람다 로그 확인

    • 유저별 최신 자료 테이블

      • id
      • user

  • PHASE 2 13-16 | 6

    • 트레일 계속 널값인 이유 찾기
    • 국가코드 추가하기

  • PHASE 3 16-18 | 4

23-04-18 화

• WORKPLACE

  • PHASE 1 9-12 | 6

    • 람다 로그 확인
    • 현수님 미팅

  • PHASE 2 13-16 | 6

    • 대표님 미팅

  • PHASE 3 16-18 | 4

    • 최후 저장

      • 중복값 처리해야함

        • 불러오는 트레일 로그 범위가 현시점 5~10 분전
        • 시작하기전에 필터
        • 종료하고 나서 필터
      • 저장 칼럼 선택

23-04-19 수

• WORKPLACE

  • PHASE 1 9-12 | 6

    • 람다 로그 확인

      • IP 묶음에 속한 모든 EVENT_ID 를 이상으로 처리해야 함
      • 유저 네임, 그리고, 이상치로 검출된 IP 를 들고 있는 모든 이벤트에 대해서 이상치로 잡아야한다.

  • PHASE 2 13-16 | 6

    • class 로 이전하기
    • os.getenv 환경변수 로딩 확인필요

  • PHASE 3 16-18 | 4

23-04-20 목

• WORKPLACE

  • PHASE 1 9-12 | 6

    • 람다 로그 확인
    • class 처리 하기

  • PHASE 2 13-16 | 6

    • 미팅 얘기

      • 실 서비스 인프라

        • EKS
      • 유저 | 결제
      • 서비스 동작 수준
      • 데이터 수집 파이프라인

  • PHASE 3 16-18 | 4

    • class 로 이전하기
    • os.getenv 환경변수 로딩 확인필요

23-04-21 금

• WORKPLACE

  • PHASE 1 9-12 | 6

    • 데이터 담당자 통화

  • PHASE 2 13-16 | 6

    • DeprecationWarning: In a future version, df.iloc[:, i] = newvals will attempt to set the values inplace instead of always setting a new array. To retain the old behavior, use either df[df.columns[i]] = newvals or, if columns are non-unique, df.isetitem(i, newvals) dff2.loc[:,‘ip_geolocation’] = 1

  • PHASE 3 16-18 | 4

    • 꼼수

      • json -> str 변환후 작업

      • 람다로 넘기기

        • https://stackoverflow.com/questions/38307489/set-list-as-value-in-a-column-of-a-pandas-dataframe

TEL (Trial and Error Log)

23-04-19

• ERROR: ValueError: len(left_on) must equal the number of levels in the index of “right”

  • SITUATION:

    • merging different df

  • REASON:

    • two DataFrames have not the same columns.

  • SOLUTION:

    • making them equal
    • or
    • use merge if you are not joining on the index

23-04-20

• ERROR: ValueError: Cannot set a DataFrame with multiple columns to the single column distancebetweenpoint

  • SITUATION:

    • df[“distancebetweenpoint”] = df.apply(

      • lambda x: geodesic(x.pastgeoloc, x.ipgeolocation).km, axis=0
    • )

  • REASON:

    • 빈값에서 하다보니 에러남

  • SOLUTION:

    • if not df.empty :

• ERROR: ValueError: setting an array element with a sequence. The requested array has an inhomogeneous shape after 1 dimensions. The detected shape was (4,) + inhomogeneous part.

  • SITUATION:

    • 멀티칼럼 값 할당

  • REASON:

    • If you really want to set a list as the value for the element, the issue is with the dtype of the column, when you create the DataFrame, the dtype gets inferred as float64 , since it only contains numeric values.

  • SOLUTION:

    • `output[‘Sold Count’] = output[‘Sold Count’].astype(object) output.loc[‘Project1’,‘Sold Count’] = [1000.0,800.0] #Your list`