앞구름기

》 In-Memory Database : 데이터를 메모리에 저장 (디스크 저장도 가능), key-value 형태 vs. RDS : 데이터를 하드디스크에 저장, 표 형태 》 휘발성 》 Single Threaded : 한 번에 하나의 명령만 수행 (작업 시간 길어질 경우 장애 발생) 》 Cache 저장소 》 주로 사용되는 기능 : 로그인 세션 (읽기가 많음), 메세지 브로커 (하나씩 저장, 안전) vs. Kafka : 메세지 디스크 저장 (한 번에 몰아서), 성능 우수, 메세지 전송에 주로 더 많이 쓰임 ● 설치 # 설치 yum -y install redis # 시작 systemctl restart redis ● /etc/redis.conf 파일 설정 bind 0.0.0.0# 69번 라인 ● 기본 사용법 #..

》 Elasticsearch 를 Cloud 에서 이용하기 [ 도메인 생성하기 ] 》 AWS 》 Amazon OpenSearch Service 》 도메인 생성 》 배포 유형 : 개발 및 테스트 》 버전 : Elasticsearch 7.0 》 가용영역 : 1-AZ 》 인스턴스 유형 : t3.small.search 》 노드 수 : 1 》 네트워크 : 퍼블릭 액세스 》 마스터 사용자 id/pw 》 액세스 정책 : 세분화된 액세스 제어만 사용 》 고급 클러스터 설정 : 최대 절 수 - 1024 ● Postman 에서 확인 》 Linux에서 curl -u [master id] [엔드포인트] 로도 가능 》 Authorization 추가 필요

◎ hanhinsam-0.1 이용 [ Elasticsearch 설정 ] ● Plugin 설치 # path 환경 변수 설정 /usr/share/elasticsearch/bin/elasticsearch-plugin list # 플러그인 설치 (비공식) /usr/share/elasticsearch/bin/elasticsearch-plugin install file://[설치된 경로] # 재시작 systemctl restart elasticsearch ● Postman에서 확인 》 인덱스 생성 # GET 방식으로 인덱스 생성 http://[elasticsearch ip]:9200/[index] # Body - raw (JSON) 내용 추가 { "settings": { "number_of_shards": 1, "..

● 기본 설정 2023.03.22 - [분류 전체보기] - [ElasticSerach] 시작하기 [ElasticSerach] 시작하기 ◎ 가상머신 준비 ◎ : CentOS 8 → ElasticSearch : cpu 2 / mem 4 [ Elasticsearch 설정 ] 》 데이터 저장소 》 자바 기반 : 자바 설치 필요 yum -y install java-1.8.0-openjdk-devel.x86_64 ● Repository 추가 cat > /etc/yum.repos.d/e alsrudalsrudalsrud.tistory.com ● Plugin 설치 # path 환경 변수 설정 /usr/share/elasticsearch/bin/elasticsearch-plugin list # 플러그인 설치 /usr/s..

☆ 개요 ☆ ▷ Python Code (producer) ▷ Kafka (broker) ▷ Logstash (consumer) ▷ Elasticsearch ▷ Kibana ● Python from kafka import KafkaProducer from json import dumps import time producer = KafkaProducer( acks=0, compression_type='gzip', bootstrap_servers=['200.200.200.145:9092'], #kafka broker ip value_serializer=lambda x: dumps(x).encode('utf-8') ) start = time.time() data = {'message': 'result'}# 보낼..

● 기본 설정 2023.03.23 - [분류 전체보기] - [Logstash] 시작하기 [Logstash] 시작하기 ◎ 가상머신 준비 ◎ CentOS 8 → Logstash : cpu 1 / mem 2 [ Logstash 설정 ] ● Repository 추가 cat > /etc/yum.repos.d/elasticsearch.repo alsrudalsrudalsrud.tistory.com ● 기존 파일 삭제 rm -rf /etc/logstash/conf.d/std.conf ● 권한 변경 》 Logstash 에서 로그를 읽고 쓸 수 있도록 설정 chgrp logstash /var/log/secure chmod 640 /var/log/secure ● /etc/logstash/conf.d/sshd.conf 파일..

◎ 가상머신 준비 ◎ CentOS 8 → Logstash : cpu 1 / mem 2 [ Logstash 설정 ] 》 다양한 형태의 데이터를 일정한 형태로 변환해 전달 》 데이터 파이프라인 》 작동원리 : input > filter > output ● Repository 추가 cat > /etc/yum.repos.d/elasticsearch.repo

20230308 [ 기존 채팅 내역 불러오기 ] ● HTML 수정 (웹소켓 연결할 때) ● consumers.py 수정 import json from channels.db import database_sync_to_async from channels.generic.websocket import AsyncWebsocketConsumer from chat01.models import Chatting class ChatConsumer(AsyncWebsocketConsumer): # WebSocket 연결될 때 async def connect(self): self.room_name = self.scope["url_route"]["kwargs"]["room_id"] self.room_group_name = "ch..

20230307 [ WebSocket Chatting 기본 설정 ] 》 Tutorial Part 1/2/3 https://channels.readthedocs.io/en/stable/ Django Channels — Channels 4.0.0 documentation Channels is a project that takes Django and extends its abilities beyond HTTP - to handle WebSockets, chat protocols, IoT protocols, and more. It’s built on a Python specification called ASGI. Channels builds upon the native ASGI support in Django...

◎ 가상머신 준비 ◎ CentOS 8 → Kibana 1대 : 200.200.200.151 → ElasticSearch 3대 : 200.200.200.152, 200.200.200.155, 200.200.200.156 [ Kibana 설정 ] ● 기본 설정 2023.03.22 - [분류 전체보기] - [Kibana] 시작하기 [Kibana] 시작하기 ◎ 가상머신 준비 ◎ CentOS 8 → Kibana : cpu 1 / mem 2 [ Kibana 설정 ] ● Repository 추가 cat > /etc/yum.repos.d/elasticsearch.repo alsrudalsrudalsrud.tistory.com ● /etc/kibana/kibana.yml 파일 설정 # 32번 라인 수정 elasticse..