Programming/환경셋팅21 github 자체 CI, CD => action github action Workflow syntax for github actions 정말 간단함:: branch에 push나 pr이 있을 때 action이 trigged하게 할 수 있다. 위 문서만 봐도 쉽게 사용할 수 있다. /.github/workflows/python-app.yml 자동으로 생성된 yml # This workflow will install Python dependencies, run tests and lint with a single version of Python # For more information see: https://help.github.com/actions/language-and-framework-guides/using-python-with-github-action.. 2020. 7. 1. Rabbit MQ - message queue 간단히 RabbitMQ docker로 띄우기 install docker docker 설치 - ubuntu install rabbitmq $ sudo docker images $ sudo docker search rabbitmq $ sudo docker pull rabbitmq:management run rabbitmq $ sudo docker run -d --name rabbitmq -p 5672:5672 -p 8080:15672 --restart=unless-stopped -e RABBITMQ_DEFAULT_USER=mq -e RABBITMQ_DEFAULT_PASS=mq123 rabbitmq:management 2020. 6. 24. gcp(google cloud platform) tpu 사용 t2t transformer 사용하기 설명 transformer(디코더만): 단일 시퀀스 모델링을 수행하는 경우(사례: 언어 모델링) transformer(인코더-디코더): 시퀀스가 시퀀스 모델링을 수행하는 경우(사례: 번역) transformer(인코더만): 인코더만 실행하여 시퀀스의 클래스 모델링을 수행하는 경우(사례: 감정분류) Transformer는 Tensor2Tensor 라이브러리에 있는 모델 중 하나일 뿐이다. T2T는 스크립트 세트뿐 아니라 딥러닝 모델과 데이터세트까지 포함된 라이브러리로서, 모델을 학습시키고 데이터를 다운로드 밑 준비하는 데 사용할 수 있다. Cloud Storage bucket 생성 데이터 / 학습결과를 저장할 버킷 생성 GCP storage 이동 새 버킷 생성 고유이름.. 2020. 6. 23. ssh config 자주사용하는 ssh host가 있으면 .ssh/config에 등록하고 쉽게 사용하자 SSH config에 추가 vi ~/.ssh/config Host gpu HostName my-aws-ec2 User ec2-user IdentityFile ~/.ssh/{YOUR_PRIVATE_KEY} # config 추가 전 $ ssh -i ./aws.pem ec2-user@my-aws-ec2 # config 추가 후 $ ssh gpu pem, config 파일은 퍼미션 440으로 지정 $ chmod 440 ~/.ssh/config $ chmod 440 ~/.ssh/aws.pem 2020. 6. 20. AWS S3 - ec2에 mount 하기 - s3fs보다 2배 빠르다 - goofys AWS CLI 설치 sudo apt-get update sudo apt-get install -y python-pip sudo pip install awscli goofys 설치 golang 으로 만들어진 goofys 가 s3fs와 2배의 속도(read, write 모두) 차이가 남 실제 테스트 결과 - 2.4 GB write to S3 s3fs - 5 min goofys - 2 min golang 설치 sudo add-apt-repository ppa:gophers/archive sudo apt-get update sudo apt-get install golang-1.9-go sudo ln -s /usr/lib/go-1.9 /usr/lib/go ubuntu 16.04에서 설치가 안될 경우 sudo ad.. 2019. 12. 31. Data Ingestion, Gobblin Gobblin Download Gobblin release download : Release Page 압축풀기: tar -zxvf gobblin-distribution-…tar.gz cd gobblin-dist 환경설정 Gobblin job config directory: job 설정파일 저장할 폴더 환경변수: GOBBLIN_JOB_CONFIG_DIR 환경변수 JAVA_HOME 제대로 되어있는지 확인 Gobblin working directory: Gobblin의 job 출력, locks, state-store와 같은 정보 저장 환경변수: GOBBLIN_WORK_DIR export GOBBLIN_JOB_CONFIG_DIR=/var/javaApps/gobblin-dist/job-conf export GOB.. 2016. 9. 27. 이전 1 2 3 4 다음
