Programming216 RabbitMQ - python RabbitMQ producer, consumer 구현 rabbit mq process """Message Queue.""" import logging import pika class MessageQueue: """ Message Queue. mq """ LOGGER = logging.getLogger(__name__) def __init__(self, name: str, url: str) -> None: """ Init. name str: queue name url str: radditMQ url with id, password "amqp://relay:relay1234@localhost/vh1" """ self.key = name self.url = url self.conn = None self.ch.. 2020. 6. 25. Rabbit MQ - message queue 간단히 RabbitMQ docker로 띄우기 install docker docker 설치 - ubuntu install rabbitmq $ sudo docker images $ sudo docker search rabbitmq $ sudo docker pull rabbitmq:management run rabbitmq $ sudo docker run -d --name rabbitmq -p 5672:5672 -p 8080:15672 --restart=unless-stopped -e RABBITMQ_DEFAULT_USER=mq -e RABBITMQ_DEFAULT_PASS=mq123 rabbitmq:management 2020. 6. 24. gcp(google cloud platform) tpu 사용 t2t transformer 사용하기 설명 transformer(디코더만): 단일 시퀀스 모델링을 수행하는 경우(사례: 언어 모델링) transformer(인코더-디코더): 시퀀스가 시퀀스 모델링을 수행하는 경우(사례: 번역) transformer(인코더만): 인코더만 실행하여 시퀀스의 클래스 모델링을 수행하는 경우(사례: 감정분류) Transformer는 Tensor2Tensor 라이브러리에 있는 모델 중 하나일 뿐이다. T2T는 스크립트 세트뿐 아니라 딥러닝 모델과 데이터세트까지 포함된 라이브러리로서, 모델을 학습시키고 데이터를 다운로드 밑 준비하는 데 사용할 수 있다. Cloud Storage bucket 생성 데이터 / 학습결과를 저장할 버킷 생성 GCP storage 이동 새 버킷 생성 고유이름.. 2020. 6. 23. squash - git commit을 깔끔하게 push 전에 깔끔하게 하나의 커밋으로 올리고 싶을 때 사용 local master branch 최신화 # pull local master $ git checkout master $ git pull origin master # rebase $ git rebase -i master mybranch squash pick last commit pick -- pick -- pick -- pick first commit 처음 pick 만 두고 나머지는 s (squash)로 수정한다 pick last commit s -- s -- s -- s first commit conflict 발생 conflict 가 해결될 때까지 1,2,3을 반복 # conflict 나는 부분 수정 # 1 $ git add files # 2.. 2020. 6. 22. ssh config 자주사용하는 ssh host가 있으면 .ssh/config에 등록하고 쉽게 사용하자 SSH config에 추가 vi ~/.ssh/config Host gpu HostName my-aws-ec2 User ec2-user IdentityFile ~/.ssh/{YOUR_PRIVATE_KEY} # config 추가 전 $ ssh -i ./aws.pem ec2-user@my-aws-ec2 # config 추가 후 $ ssh gpu pem, config 파일은 퍼미션 440으로 지정 $ chmod 440 ~/.ssh/config $ chmod 440 ~/.ssh/aws.pem 2020. 6. 20. python 에서 redis를 메시지 queue로 사용 파이썬에서 redis를 message queue로 구현 redis class - redis_queue.py """RedisQueue class""" import redis class RedisQueue(object): """ Redis Lists are an ordered list, First In First Out Queue Redis List pushing new elements on the head (on the left) of the list. The max length of a list is 4,294,967,295 """ def __init__(self, name, max_size, **redis_kwargs): self.key = name self.max_size = max_size self.. 2020. 6. 19. 이전 1 ··· 11 12 13 14 15 16 17 ··· 36 다음
