[Logstash] Limit of total fields 오류 해결하기

안녕하세요. yeTi입니다.

오늘은 Logstash에서 발생하는 다음 오류를 해결해보도록 하겠습니다.

오류 내용

[2018-10-05T15:35:50,283][WARN ][logstash.outputs.elasticsearch] Could not index event to Elasticsearch. {:status=>400, :action=>["index", {:_id=>nil, :_index=>"api", :_type=>"log", :_routing=>nil}, #<LogStash::Event:0x4af3cf9a>], :response=>{"index"=>{"_index"=>"api", "_type"=>"log", "_id"=>"iCbwQmYBKdLKzO2UgdN7", "status"=>400, "error"=>{"type"=>"illegal_argument_exception", "reason"=>"Limit of total fields [2000] in index [api] has been exceeded"}}}}

설치 환경

- OS : CentOS release 6.9 (Final)

- Filebeat : 6.3.2-1 64bit

- Logstash : 6.3.2

- Elasticsearch : 6.3.0

Kibana를 사용하고 있다면

DevTools에서 다음 명령어를 실행합니다.

PUT api/_settings

{

  "index.mapping.total_fields.limit": 3000

}

참고 문헌

• Discuss elastic : https://discuss.elastic.co/t/total-fields-limit-setting/53004/2