elasticsearch-logstash 썸네일형 리스트형 성능 설정항목. 참조:http://socurites.com/bigdata/elasticsearch-%EC%84%B1%EB%8A%A5-%EC%84%A4%EC%A0%95-%ED%95%AD%EB%AA%A9 Segment MergingSSD를 사용한다면 indices.store.throttle.max_bytes_per_sec을 기본값인 20mb/s에서 100~200MB/S으로 상향 조정한다. refresh_interval과 마찬가지로, 트랜스로그가 플러쉬되는 주기가 짧을수록 생성되는 세그먼트 수도 줄어든다. index.translog.flush_threshold_size와 index.translog.flush_threshold_ops를 상향 조정한다.index.translog.flush_threshold_size – 기본값: .. 더보기 logstash offset 관리 Logstash는 Logcollector로서 다양한 Input/Output Plugin을 지원하기 때문에 손쉽게 로그 취합 시 편하게 작업할 수 있다.예를 들어, Logstash 2.3에서는 20개 이상의 Output Plugin이 지원되고 있는데, Log를 Elasticsearch에 싶으면 Elasticsearch Plugin을 사용하면 되고, Configuration만 바꾸면 손 쉽게 Kafka에도 저장할 수 있다. 즉, 직접 Kafka Producer를 개발하지 않아도 되는 것이 큰 장점 중의 하나이다.편리함 때문에 Logstash를 도입하거나 도입을 테스트하는 곳이 늘어나고 있는데, Logstash의 Offset 기법을 제대로 파악하지 못하는 경우, 일부 로그가 유실될 수 있다.따라서 본 글에서는.. 더보기 용어 정리!! 몇가지 용어만 알면 될것 같은데.. 하두 흔히 사용하는 용어를 사용해서 햇갈린다.http://www.elasticsearch.org/guide/reference/glossary/#id일단, 데이터베이스에 해당하는 용어가 index. 인덱스는 최소 한개 또는 그 이상의 primary shard에 대응하는 논리적인 이름이다.테이블에 해당하는게 type.type에 들어가는 한 데이터(row)는 document. document는 index에 저장되고 type과 id가 있다. 한 document에는 여러 field나 키-값 쌍이 들어있다.type을 정의하는 스키마에 해당하는게 mapping.테이블의 컬럼에 해당하는게 filed.원본 JSON 담고 있는 필드가 source filed로 _source라는 필드가 있.. 더보기 이전 1 2 3 4 ··· 9 다음