TIL&TEL 20.09.21~20.10.04

TIL( Today I Learned)

20-09-21 월

• 주말 스크래핑이상 확인
• BERT 모델 구현 프로세스 확인

20-09-22 화

• BERT 구현 코드 읽기
• 외부 미팅
• class BERT method 이해

20-09-23 수

• BERT 읽기

  • bert-as-service
  • BERT code

  • create_model

    • pretraining 활용
  • input_fn : TPU에서 Estimator 동작이 가능하도록 int64=> int32로 변환
  • output_fn : 결과내용 정리
  • modelfn : outputspec을 정하고 output spec을 던지게 모델 디자인을 한다.

  • Estimator(model_fn, config) : 모델을 load하여 값을 계산하는 객체

    • Estimatior.predict( inputfnbuilder, options)
  • BERT method
  • getpooledoutput
  • getsequenceoutput
  • getembeddingoutput
  • getembeddingtable

20-09-24 목

• ERD 샘플데이터만들기

• BERT 공부

  • bert-as-service

  • np.sum(vecs, axis=1)

    • element들을 합친다

  • np.linalg.norm( vec, axis = 1 )

    • 백터의 크기를 구한다.
    • axis=1 ??

  • np.argsort( )

    • 작은 값부터 순서대로 데이터의 index를 반환해

  • np.mean

    • 평균 구하기

  • vec * vec ?

    • 타입 객체 간의 산술연산(+, -, *, /)는 원소별(element-wise product)입니다. +, -, *, / 산술연산에 대한 동일한 매서드는 각각 np.add, np.subtract, np.multiply, np.divide 입니다.

20-09-25 금

• ERD 샘플런
• DB schema 보완

20-09-28 월

• BERT 코드 읽기

  • 파인 튜닝 내역 확인하기

• python print 버퍼 제거

  • 실행시 export PYTHONBUFFERED=TRUE
• 구현 기획
• Git flow 복습 및 전달

20-09-29 화

• 구현 기획안

• Git 수정 flow 복습 및 전달

  • 안가르쳐주고 해봐라는 말의 폐해를 경험… 최소한 어떻게 할지에 대해 의견을 들어볼 것.

TEL (Trial and Error Log)

20-09-28

• ERROR: shell script 실행 안됨

  • SITUATION: 젠킨스 상에서 커맨드 실행 하는중
  • REASON: 줄바꿈 할때 스페이스 없어서 바로 붙음
  • SOLUTION: 스페이스 한칸 넣고 backlash 입력