본문 바로가기

Programming/환경셋팅18

무료 SSL 인증서: certbot 사용하기 certbot SSL wildcard 갱신순서 기존에 _acme-challenge 로 등록된 DNS TXT 모두 삭제 action: DNS name: _acme-challenge 삭제 certbot 설치, certbot 명령어 실행 action: apk add certbot or apt-get -y install certbot 콘솔창에 나온 DNS name, value DNS TXT 타입으로 저장 action: DNS TXT 생성 DNS TXT 저장하는데 시간이 걸림 1차 DNS 저장 후 콘솔에서 엔터, 2차 DNS 내용나옴 2차 DNS TXT 저장 후 콘솔에서 엔터 Successfully received certificate. Certificate is saved at: /etc/letsencrypt/.. 2024. 1. 4.
neo-vim 설치 - CoC, Python - 실시간자동완성 적용 vi를 IDE 처럼 사용해보자 설치 brew install nvim brew install cmake brew install luarocks brew install pkg-config nodeJs 설치 #mac brew install node@18 brew unlink node brew link --overwrite node@18 #linux curl -sL install-node.now.sh/lts | sudo bash #linux yarn 설치 #mac brew install yarn #linux curl -sS https://dl.yarnpkg.com/debian/pubkey.gpg | sudo apt-key add - echo "deb https://dl.yarnpkg.com/debian/ sta.. 2023. 5. 27.
추천: MAC 맥 개발자를 위한 설치 프로그램 이번에 맥 초기화 / 셋팅하면서 설치했던 앱들 정리, 무료/개발용으로 잘 사용하고 있는 것들. 하나씩 적었는데, 내용 bottom 에 가면 brew 랑, zshrc 전체 내용이 있습니다 맥초기화 셋팅 - 설치 프로그램 sudo spctl —master-disable fuzzy finder : command search 자동완성 -> 커맨드 일부만 치고 Ctrl+r brew install fzf add ~/.zshrc [ -f ~/.fzf.zsh ] && source ~/.fzf.zsh bat -> syntax 추가된 cat brew install bat add ~/.zshrc alias cat='bat --paging=never' vim brew install neovim add ~/.zshrc alia.. 2023. 3. 21.
github 자체 CI, CD => action github action Workflow syntax for github actions 정말 간단함:: branch에 push나 pr이 있을 때 action이 trigged하게 할 수 있다. 위 문서만 봐도 쉽게 사용할 수 있다. /.github/workflows/python-app.yml 자동으로 생성된 yml # This workflow will install Python dependencies, run tests and lint with a single version of Python # For more information see: https://help.github.com/actions/language-and-framework-guides/using-python-with-github-action.. 2020. 7. 1.
Rabbit MQ - message queue 간단히 RabbitMQ docker로 띄우기 install docker docker 설치 - ubuntu install rabbitmq $ sudo docker images $ sudo docker search rabbitmq $ sudo docker pull rabbitmq:management run rabbitmq $ sudo docker run -d --name rabbitmq -p 5672:5672 -p 8080:15672 --restart=unless-stopped -e RABBITMQ_DEFAULT_USER=mq -e RABBITMQ_DEFAULT_PASS=mq123 rabbitmq:management 2020. 6. 24.
gcp(google cloud platform) tpu 사용 t2t transformer 사용하기 설명 transformer(디코더만): 단일 시퀀스 모델링을 수행하는 경우(사례: 언어 모델링) transformer(인코더-디코더): 시퀀스가 시퀀스 모델링을 수행하는 경우(사례: 번역) transformer(인코더만): 인코더만 실행하여 시퀀스의 클래스 모델링을 수행하는 경우(사례: 감정분류) Transformer는 Tensor2Tensor 라이브러리에 있는 모델 중 하나일 뿐이다. T2T는 스크립트 세트뿐 아니라 딥러닝 모델과 데이터세트까지 포함된 라이브러리로서, 모델을 학습시키고 데이터를 다운로드 밑 준비하는 데 사용할 수 있다. Cloud Storage bucket 생성 데이터 / 학습결과를 저장할 버킷 생성 GCP storage 이동 새 버킷 생성 고유이름.. 2020. 6. 23.
ssh config 자주사용하는 ssh host가 있으면 .ssh/config에 등록하고 쉽게 사용하자 SSH config에 추가 vi ~/.ssh/config Host gpu HostName my-aws-ec2 User ec2-user IdentityFile ~/.ssh/{YOUR_PRIVATE_KEY} # config 추가 전 $ ssh -i ./aws.pem ec2-user@my-aws-ec2 # config 추가 후 $ ssh gpu pem, config 파일은 퍼미션 440으로 지정 $ chmod 440 ~/.ssh/config $ chmod 440 ~/.ssh/aws.pem 2020. 6. 20.
AWS S3 - ec2에 mount 하기 - s3fs보다 2배 빠르다 - goofys AWS CLI 설치 sudo apt-get update sudo apt-get install -y python-pip sudo pip install awscli goofys 설치 golang 으로 만들어진 goofys 가 s3fs와 2배의 속도(read, write 모두) 차이가 남 실제 테스트 결과 - 2.4 GB write to S3 s3fs - 5 min goofys - 2 min golang 설치 sudo add-apt-repository ppa:gophers/archive sudo apt-get update sudo apt-get install golang-1.9-go sudo ln -s /usr/lib/go-1.9 /usr/lib/go ubuntu 16.04에서 설치가 안될 경우 sudo ad.. 2019. 12. 31.
Data Ingestion, Gobblin Gobblin Download Gobblin release download : Release Page 압축풀기: tar -zxvf gobblin-distribution-…tar.gz cd gobblin-dist 환경설정 Gobblin job config directory: job 설정파일 저장할 폴더 환경변수: GOBBLIN_JOB_CONFIG_DIR 환경변수 JAVA_HOME 제대로 되어있는지 확인 Gobblin working directory: Gobblin의 job 출력, locks, state-store와 같은 정보 저장 환경변수: GOBBLIN_WORK_DIR export GOBBLIN_JOB_CONFIG_DIR=/var/javaApps/gobblin-dist/job-conf export GOB.. 2016. 9. 27.