앞구름기

◎ hanhinsam-0.1 이용 [ Elasticsearch 설정 ] ● Plugin 설치 # path 환경 변수 설정 /usr/share/elasticsearch/bin/elasticsearch-plugin list # 플러그인 설치 (비공식) /usr/share/elasticsearch/bin/elasticsearch-plugin install file://[설치된 경로] # 재시작 systemctl restart elasticsearch ● Postman에서 확인 》 인덱스 생성 # GET 방식으로 인덱스 생성 http://[elasticsearch ip]:9200/[index] # Body - raw (JSON) 내용 추가 { "settings": { "number_of_shards": 1, "..

● 기본 설정 2023.03.22 - [분류 전체보기] - [ElasticSerach] 시작하기 [ElasticSerach] 시작하기 ◎ 가상머신 준비 ◎ : CentOS 8 → ElasticSearch : cpu 2 / mem 4 [ Elasticsearch 설정 ] 》 데이터 저장소 》 자바 기반 : 자바 설치 필요 yum -y install java-1.8.0-openjdk-devel.x86_64 ● Repository 추가 cat > /etc/yum.repos.d/e alsrudalsrudalsrud.tistory.com ● Plugin 설치 # path 환경 변수 설정 /usr/share/elasticsearch/bin/elasticsearch-plugin list # 플러그인 설치 /usr/s..

☆ 개요 ☆ ▷ Python Code (producer) ▷ Kafka (broker) ▷ Logstash (consumer) ▷ Elasticsearch ▷ Kibana ● Python from kafka import KafkaProducer from json import dumps import time producer = KafkaProducer( acks=0, compression_type='gzip', bootstrap_servers=['200.200.200.145:9092'], #kafka broker ip value_serializer=lambda x: dumps(x).encode('utf-8') ) start = time.time() data = {'message': 'result'}# 보낼..

● 기본 설정 2023.03.23 - [분류 전체보기] - [Logstash] 시작하기 [Logstash] 시작하기 ◎ 가상머신 준비 ◎ CentOS 8 → Logstash : cpu 1 / mem 2 [ Logstash 설정 ] ● Repository 추가 cat > /etc/yum.repos.d/elasticsearch.repo alsrudalsrudalsrud.tistory.com ● 기존 파일 삭제 rm -rf /etc/logstash/conf.d/std.conf ● 권한 변경 》 Logstash 에서 로그를 읽고 쓸 수 있도록 설정 chgrp logstash /var/log/secure chmod 640 /var/log/secure ● /etc/logstash/conf.d/sshd.conf 파일..

◎ 가상머신 준비 ◎ CentOS 8 → Logstash : cpu 1 / mem 2 [ Logstash 설정 ] 》 다양한 형태의 데이터를 일정한 형태로 변환해 전달 》 데이터 파이프라인 》 작동원리 : input > filter > output ● Repository 추가 cat > /etc/yum.repos.d/elasticsearch.repo

◎ 가상머신 준비 ◎ CentOS 8 → Kibana 1대 : 200.200.200.151 → ElasticSearch 3대 : 200.200.200.152, 200.200.200.155, 200.200.200.156 [ Kibana 설정 ] ● 기본 설정 2023.03.22 - [분류 전체보기] - [Kibana] 시작하기 [Kibana] 시작하기 ◎ 가상머신 준비 ◎ CentOS 8 → Kibana : cpu 1 / mem 2 [ Kibana 설정 ] ● Repository 추가 cat > /etc/yum.repos.d/elasticsearch.repo alsrudalsrudalsrud.tistory.com ● /etc/kibana/kibana.yml 파일 설정 # 32번 라인 수정 elasticse..

◎ 가상머신 준비 ◎ CentOS 8 → Kibana : cpu 1 / mem 2 [ Kibana 설정 ] ● Repository 추가 cat > /etc/yum.repos.d/elasticsearch.repo

◎ 가상머신 준비 ◎ : CentOS 8 → ElasticSearch : cpu 2 / mem 4 [ Elasticsearch 설정 ] 》 데이터 저장소 》 자바 기반 : 자바 설치 필요 yum -y install java-1.8.0-openjdk-devel.x86_64 ● Repository 추가 cat > /etc/yum.repos.d/elasticsearch.repo

》 Zookeeper 가 Kafka 관리 》 Kafka 를 통해 메세지 전송 》 Zookeeper&Kafka 서버 다운 방지 : Clustering ◎ 준비 : 가상머신 6대 → Zookeeper 3대 : 200.200.200.155 & 200.200.200.156 & 200.200.200.157 → Kafka 3대 : 200.200.200.150 & 200.200.200.151 & 200.200.200.145 [ Zookeeper 설정 ] 》 기본포트 : 2181 》 클러스터링 구성 시 : 2888, 3888 할당 > 하나가 active (leader) & 나머지 standby (follower) ● 설치 # jdk 설치 yum -y install java-1.8.0-openjdk-devel.x86_6..

[ Django - Web Server ] 》 Producer 역할 ● urls.py path('postnow/', board.views.posting_now) ● views.py # 게시글 등록할 때 def posting(request): contents = request.POST.get('contents',None) bimg = request.FILES['image'] post = Board() post.contents = contents post.bimg = bimg post.writer = request.session['user_id'] post.save() # DB 저장과 동시에 메세지 발행 (토픽메세지 - kafka) producer = KafkaProducer( acks=0, compress..