앞구름기

● 기본 설정 2023.03.27 - [분류 전체보기] - [Shell Programming] 시작하기 [Shell Programming] 시작하기 》 Linux 명령어로 프로그래밍 코드 짜기 》 반복적인 작업 자동화 가능 ● 실행 # 실행 sh [file name]# sh ex01.sh # 권한 주기 chmod 755 [file name] ● 변수 》 변수명=값 (띄어쓰기 금지) 》 변수명=`명령어` alsrudalsrudalsrud.tistory.com [ 실습1 ] ● 접속하려는 IP 에 한 번씩 접속 필요 ssh [ip] ● commands01.sh #!/bin/bash cat /etc/hostname df -h | grep /dev/mapper/cs-root free ● servers.sh #!..

》 Linux 명령어로 프로그래밍 코드 짜기 》 반복적인 작업 자동화 가능 ● 실행 # 실행 sh [file name]# sh ex01.sh # 권한 주기 chmod 755 [file name] ● 변수 》 변수명=값 (띄어쓰기 금지) 》 변수명=`명령어` 》 변수 사용 시 변수명 앞에 $ 붙여줌 test=hello echo $test # 출력 : hello 환경 변수 : 시스템 환경과 관련된 정보 저장 변수명이 모두 대문자 PATH : 쉘이 명령어의 실행 파일을 찾을 때 참조하는 디렉토리 경로 PS1 : 쉘 프롬프트 모양 사용자 정의 변수 : 사용자가 프로그래밍할 때 사용 변수명에 문자, 숫자, _ 사용 가능 변수명의 첫 문자는 문자 또는 _ 특수 변수 : 특수한 의미 현재 쉘의 PID, 실행된 마지막..

◎ 가상머신 6대 준비 ◎ CentOS 8 → Master Server 3대 : 200.200.200.136, 200.200.200.137, 200.200.200.150 → Slave Server 3대 : 200.200.200.151, 200.200.200.152, 200.200.200.153 [ 공통 준비 ] ● 설치 yum -y install redis ● /etc/redis.conf 파일 설정 (주석 해제) bind 0.0.0.0 daemonize yes cluster-enabled yes cluster-config-file nodes.conf # nodes.conf는 redis 프로그램이 관리할 파일, 관리자가 건들 필요 X cluster-node-timeout 3000 ● 실행 systemctl..

◎ 가상머신 2대 준비 ◎ CentOS 8 → Master : 200.200.200.134 → Slave : 200.200.200.135 [ 공통 설정 ] ● 설치 + 설정 # 설치 yum -y install redis # 파일 설정 vi /etc/redis.conf # 69번 라인 : bind 0.0.0.0 # 재시작 systemctl restart redis [ Master 설정 ] ● /etc/redis.conf 파일 설정 (주석 해제) daemonize yes# daemon process 로 동작 min-replicas-to-write 1# 최소 복제본 수 min-replicas-max-lag 10# 복제 성공 시간 requirepass [password]# 패스워드 설정 ● 재시작 systemc..

》 In-Memory Database : 데이터를 메모리에 저장 (디스크 저장도 가능), key-value 형태 vs. RDS : 데이터를 하드디스크에 저장, 표 형태 》 휘발성 》 Single Threaded : 한 번에 하나의 명령만 수행 (작업 시간 길어질 경우 장애 발생) 》 Cache 저장소 》 주로 사용되는 기능 : 로그인 세션 (읽기가 많음), 메세지 브로커 (하나씩 저장, 안전) vs. Kafka : 메세지 디스크 저장 (한 번에 몰아서), 성능 우수, 메세지 전송에 주로 더 많이 쓰임 ● 설치 # 설치 yum -y install redis # 시작 systemctl restart redis ● /etc/redis.conf 파일 설정 bind 0.0.0.0# 69번 라인 ● 기본 사용법 #..

》 Elasticsearch 를 Cloud 에서 이용하기 [ 도메인 생성하기 ] 》 AWS 》 Amazon OpenSearch Service 》 도메인 생성 》 배포 유형 : 개발 및 테스트 》 버전 : Elasticsearch 7.0 》 가용영역 : 1-AZ 》 인스턴스 유형 : t3.small.search 》 노드 수 : 1 》 네트워크 : 퍼블릭 액세스 》 마스터 사용자 id/pw 》 액세스 정책 : 세분화된 액세스 제어만 사용 》 고급 클러스터 설정 : 최대 절 수 - 1024 ● Postman 에서 확인 》 Linux에서 curl -u [master id] [엔드포인트] 로도 가능 》 Authorization 추가 필요

◎ hanhinsam-0.1 이용 [ Elasticsearch 설정 ] ● Plugin 설치 # path 환경 변수 설정 /usr/share/elasticsearch/bin/elasticsearch-plugin list # 플러그인 설치 (비공식) /usr/share/elasticsearch/bin/elasticsearch-plugin install file://[설치된 경로] # 재시작 systemctl restart elasticsearch ● Postman에서 확인 》 인덱스 생성 # GET 방식으로 인덱스 생성 http://[elasticsearch ip]:9200/[index] # Body - raw (JSON) 내용 추가 { "settings": { "number_of_shards": 1, "..

● 기본 설정 2023.03.22 - [분류 전체보기] - [ElasticSerach] 시작하기 [ElasticSerach] 시작하기 ◎ 가상머신 준비 ◎ : CentOS 8 → ElasticSearch : cpu 2 / mem 4 [ Elasticsearch 설정 ] 》 데이터 저장소 》 자바 기반 : 자바 설치 필요 yum -y install java-1.8.0-openjdk-devel.x86_64 ● Repository 추가 cat > /etc/yum.repos.d/e alsrudalsrudalsrud.tistory.com ● Plugin 설치 # path 환경 변수 설정 /usr/share/elasticsearch/bin/elasticsearch-plugin list # 플러그인 설치 /usr/s..

☆ 개요 ☆ ▷ Python Code (producer) ▷ Kafka (broker) ▷ Logstash (consumer) ▷ Elasticsearch ▷ Kibana ● Python from kafka import KafkaProducer from json import dumps import time producer = KafkaProducer( acks=0, compression_type='gzip', bootstrap_servers=['200.200.200.145:9092'], #kafka broker ip value_serializer=lambda x: dumps(x).encode('utf-8') ) start = time.time() data = {'message': 'result'}# 보낼..

● 기본 설정 2023.03.23 - [분류 전체보기] - [Logstash] 시작하기 [Logstash] 시작하기 ◎ 가상머신 준비 ◎ CentOS 8 → Logstash : cpu 1 / mem 2 [ Logstash 설정 ] ● Repository 추가 cat > /etc/yum.repos.d/elasticsearch.repo alsrudalsrudalsrud.tistory.com ● 기존 파일 삭제 rm -rf /etc/logstash/conf.d/std.conf ● 권한 변경 》 Logstash 에서 로그를 읽고 쓸 수 있도록 설정 chgrp logstash /var/log/secure chmod 640 /var/log/secure ● /etc/logstash/conf.d/sshd.conf 파일..