YunSeul

Mappings Elasticsearch에서 사용하는 Mapping를 대해 알아보도록 하겠습니다. 가장 기본적인 내용이면서 가장 중요한 내용입니다. 초기 Index 생성시 Mappings을 각 Field 용도에 맞춰 설계하는 것이 가장 중요합니다. Index 생성 시 Mappings를 설정하고 데이터를 색인하게 되면 그 이후로 Mppaings를 변경할 수 없습니다. 단, 추가는 언제든지 가능합니다. 그렇다고 절대로 Mapping를 변경할 수 없는 것은 아닙니다. Alias를 이용하여 백그라운드에서 데이터를 재인덱싱하여 변경하는 방법은 있지만, 이 내용은 여기서 다루지 않겠습니다. 자세한 내용이 궁금하신 분들은 아래 링크를 통해 확인하세요. https://www.elastic.co/guide/en/elasticsearch/reference/5.4/mapping.html 기본적으로 Mapping를 설정하지 않아도 Elasticsearch에서 자동으로 설정을 해주지만 조금 더 효율적으로 사용하기 위해 자신이 원하는 Mapping를 설정하는 것이 가장 좋은 방법입니다. 현재 글을 쓰는 시점에는 Elasticsearch 5.5.2 버전이 릴리즈 된 상태입니다. Google에 Mapping 관련 내용 검색 시 대부분의 글들은 2.x 버전 기준의 글이 많아서 5.x 버전 기준으로 작성 후 2.x버전에서 변경된 내용도 함께 정리하겠습니다. Elasticsearch Document - Mapping 의 기본 분류 Field datatypes Meta-Fields Mapping parameters Dynamic Mapping Field datatypes string text and keyword Numeric datatypes long, integer, short, byte, double, float, half_float, scaled_float Date datatype date Boolean datatyp

## Elasticsearch 관련 내용 정리 Elasticsearch에 대한 이론적인 내용 정리 관련내용 공부하면서 정리하고 있습니다. 잘못된 내용이 있을 수 있습니다. ### Blog Link YunSeul Blog : [https://yunseul-light.blogspot.com/](https://yunseul-light.blogspot.com/)

오늘 Git 계정을 새로 생성하여 Git config 사용자 정보를 변경후 푸쉬하는 도중 에러가 발생하여 상당 시간 삽질한게 있어 내용 기록합니다. 새로운 계정에서 repository 생성 후 VS Code를 사용하여 git push를 하려고하니 사용자 때문에 에러가 발생하더군요. 에러 내용은 아래처럼 발생했습니다. # git push remote: Permission to yunseul-light/elasticsearch-study.git denied to Maruhan. fatal: unable to access 'https://github.com/yunseul-light/elasticsearch-study.git/': The requested URL returned error: 403 repository에 해당하는 폴더 .git 파일 내용과 git config 를 이용한 사용자 변경 등 여러가지를 해봤지만 결국 같은 에러가 발생해습니다. 해결 방안 Windows 환경에서 git 사용자 계정을 변경하기 위해서는 위 스크린샷과 같이 제어판에서 편집을 해야합니다.  1. 제어판 - 사용자 계정 - 자격 증명 관리자 2. Windows 자격 증명 3. 일반 자격 증명 4. git 관련 자격 증명 편집 다들 알고있는 내용지만 혹시 저 같은 실수 하시는 분들을 위해 혹시 몰라 남겨둡니다. P.S 위에서 언급했던 git config 관련 내용 추가합니다. git config를 이용한 계정 설정 # git config --global user.name "YunSeul" # git config --global user.email "yunseul.light@gmail.com" config를 이용한 user 설정 후 commit 하는 경우 commit을 시도하는 사용자에 대한 정보가 위에서

Logstash Logstash는 기본적으로 다양한 소스를 효율적으로 수집을 할 수 있게 도와주는 오픈소스입니다. 입력, 필터, 출력 3가지 단계가 있으며 각 단계별로 다양한 플러그인이 있어 다양한 서비스 사이에서 사용될 수 있죠. Logstash 다운로드 최신 버전 다운로드 :  https://www.elastic.co/kr/downloads/logstash 지난 버전 다운로드 (Past Releases) :  https://www.elastic.co/kr/downloads/past-releases 링크로 이동하면 logstash를 받을 수 있으며 저는 logstash-5.5.0 버전을 사용하여 글을 작성중입니다. 아래 설치 및 실행관련 부분은 리눅스 환경을 기준으로 적었으며, 윈도우 환경에서도 동일하게 진행하면 문제 없이 사용가능합니다. Getting Started with Logstash logstash 설치는 정말 간답합니다. 위에서 다운로드 받은 tar파일을 원하는 서버에 다운받아 압축을 풀면 모든 준비는 끝났습니다. 다운로드 및 설치 요약 # wegt 'https://artifacts.elastic.co/downloads/logstash/logstash-5.5.0.tar.gz' # tar -xvf ./logstash-5.5.0.tar.gz # cd ./logstash-5.5.0 # ls -al 합계 228 drwxr-xr-x. 12 root root 4096 2017-07-12 09:30 . dr-xr-x---. 35 root root 4096 2017-08-17 09:50 .. -rw-r--r--. 1 root root 111573 2017-07-01 08:51 CHANGELOG.md -rw-r--r--. 1 root root 2249 2017-07-01 08:51 CONTRIBUTORS -rw-r--r--. 1 root root 3874 2017-07-12 11:14 Gem

물리적 레이아웃 엘라스틱서치의 물리적 레이아웃에 해당하는 샤드(Shard)와 노드(node), 클러스터(Cluster)를 반드시 이해하고 넘어 가야한다. 이유는 실제 엘라스틱서치를 이용하여 빅데이터 처리, 검색 시스템을 운영하면서 엘라스틱서치 서버 확장이 필요한 시기가 올 수 있기 때문이다. 클러스터 (Cluster) 클러스터는 노드의 모임, 엘라스틱서치의 모임이라는 생각일 가지고 접근한다면 좀 더 이해하기 쉬운 것 같다. 각 노드는 데이터를 나눠 저장하고 있으며 해당 노드들을 하나로 묶어 주는 개념이다. 클러스터에 노드를 추가하는 방법으로 확장하는 것을 수평적 확장(Horizontal scaling)이라고 부르며 이 경우 각 노드는 각자의 역할을 수행하고 모든 노드가 일을 공유하여 처리하기 때문에 부가적인 성능의 이득을 얻는다. 노드 (Node) 간단히 말하면 노드는 엘라스틱서치를 실행하는 프로세스라고 말할 수 있으며, n개의 샤드로 구성된다. 하나의 서버 내부에서 엘라스틱서치를 여러 번 실행하면 하나의 서버 안에 n개의 노드를 가질 수 있다. 만약 또 다른 서버에 엘라스틱서치를 실행했다면 그 또한 노드가 생성되는 것이고 n개의 노드들을 하나로 묶기 위해서는 클러스터(Cluster)를 이용한다. 클러스터로 묶인 노드들은 각자의 역할을 수행을 할 수 있다. 각 노드에 역할을 주기 위해서는 config/elasticsearch.yml 에서 간단하게 수정이 가능하다. 노드의 역할 데이터 노드 (Data node) - node.data : true 데이터가 저장되는 노드, 색인 및 검색 작업이 수행되는 노드이다. 마스터 노드 (Master node) - node.master : true 클러스터를 관리하는 노드, 큰 구성에서는 n개의 마스터 노드를 생성하여 관리한다. 클라이언트 노드 (Client node) - http.enabled : true 네트워크 부하를 담당하며 각 노드의 앞단에서 로드 밸런서의 역할을

논리적 레이아웃 Elasticsearch의 논리적 레이아웃에는 index, type, document가 있으며, 색인과 검색을 위한 데이터의 가장 작은 단위는 document 이다. 우선 논리적 레이아웃 각각의 개념 정리와 추가적으로 알게된 내용 정리 인덱스/타입/문서(index/type/document) Elasticsearch의 논리적 레이아웃이다. 데이터 계층이라고도 말할 수 있다. 기존에 익숙한 RDBMS와 비교하여 설명하면 조금더 이해하기 쉬울것 같아 내용을 표로 정리한다. ElasticSearch RDBMS Index Database Type Table Document Rows 또한 Elasticsearch는 RESTful API를 통해 질의를 할 수 있으며 표현은 아래와 같이 한다. http://{Elasticsearch-host}:{port}/index/type/ID(document) Index Type Document 참고 자료 Elasticsearch in Action - understanding the logical layout documents, type, index jjeong blog - Elastic 박연오 blog