Elasticsearch Unable to parse response body HTTP/1.1 413 Request Entity Too Large問題解決

[ERROR] o.s.a.i.SimpleAsyncUncaughtExceptionHandler - Unexpected exception occurred invoking async method: public void org.zsdy.ext.admin.controller.EsQueryDataList.synchroniseDataAll(java.util.List,java.lang.String)
org.elasticsearch.ElasticsearchStatusException: Unable to parse response body
        at org.elasticsearch.client.RestHighLevelClient.parseResponseException(RestHighLevelClient.java:2033)
        at org.elasticsearch.client.RestHighLevelClient.internalPerformRequest(RestHighLevelClient.java:1777)
        at org.elasticsearch.client.RestHighLevelClient.performRequest(RestHighLevelClient.java:1734)
        at org.elasticsearch.client.RestHighLevelClient.performRequestAndParseEntity(RestHighLevelClient.java:1696)
        at org.elasticsearch.client.RestHighLevelClient.bulk(RestHighLevelClient.java:472)
        at org.springframework.data.elasticsearch.core.ElasticsearchRestTemplate.bulkIndex(ElasticsearchRestTemplate.java:766)
        at org.springframework.data.elasticsearch.core.ElasticsearchOperations.bulkIndex(ElasticsearchOperations.java:474)
        at org.zsdy.ext.admin.controller.EsQueryDataList.synchroniseDataAll(EsQueryDataList.java:111)
        at org.zsdy.ext.admin.controller.EsQueryDataList$$FastClassBySpringCGLIB$$452e2dd2.invoke(<generated>)
        at org.springframework.cglib.proxy.MethodProxy.invoke(MethodProxy.java:218)
        at org.springframework.aop.framework.CglibAopProxy$CglibMethodInvocation.invokeJoinpoint(CglibAopProxy.java:769)
        at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:163)
        at org.springframework.aop.framework.CglibAopProxy$CglibMethodInvocation.proceed(CglibAopProxy.java:747)
        at org.springframework.aop.aspectj.MethodInvocationProceedingJoinPoint.proceed(MethodInvocationProceedingJoinPoint.java:88)
        at org.springframework.cloud.sleuth.instrument.async.TraceAsyncAspect.traceBackgroundThread(TraceAsyncAspect.java:67)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.springframework.aop.aspectj.AbstractAspectJAdvice.invokeAdviceMethodWithGivenArgs(AbstractAspectJAdvice.java:644)
        at org.springframework.aop.aspectj.AbstractAspectJAdvice.invokeAdviceMethod(AbstractAspectJAdvice.java:633)
        at org.springframework.aop.aspectj.AspectJAroundAdvice.invoke(AspectJAroundAdvice.java:70)
        at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:186)
        at org.springframework.aop.framework.CglibAopProxy$CglibMethodInvocation.proceed(CglibAopProxy.java:747)
        at org.springframework.aop.interceptor.ExposeInvocationInterceptor.invoke(ExposeInvocationInterceptor.java:93)
        at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:186)
        at org.springframework.aop.framework.CglibAopProxy$CglibMethodInvocation.proceed(CglibAopProxy.java:747)
        at org.springframework.aop.interceptor.AsyncExecutionInterceptor.lambda$invoke$0(AsyncExecutionInterceptor.java:115)
        at java.util.concurrent.FutureTask.run(FutureTask.java:266)
        at org.springframework.cloud.sleuth.instrument.async.TraceRunnable.run(TraceRunnable.java:67)
        at org.springframework.cloud.sleuth.instrument.async.TraceRunnable.run(TraceRunnable.java:67)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at java.lang.Thread.run(Thread.java:748)
        Suppressed: java.lang.IllegalStateException: Elasticsearch didn't return the [Content-Type] header, unable to parse response body
                at org.elasticsearch.client.RestHighLevelClient.parseEntity(RestHighLevelClient.java:2046)
                at org.elasticsearch.client.RestHighLevelClient.parseResponseException(RestHighLevelClient.java:2030)
                ... 33 common frames omitted
Caused by: org.elasticsearch.client.ResponseException: method [POST], host [http://xx.xxx.xxx.xx:9201], URI [/_bulk?timeout=1m], status line [HTTP/1.1 413 Request Entity Too Large]

        at org.elasticsearch.client.RestClient$SyncResponseListener.get(RestClient.java:936)
        at org.elasticsearch.client.RestClient.performRequest(RestClient.java:233)
        at org.elasticsearch.client.RestHighLevelClient.internalPerformRequest(RestHighLevelClient.java:1764)
        ... 32 common frames omitted
Caused by: org.elasticsearch.client.ResponseException: method [POST], host [http://xx.xxx.xxx.xx:9201], URI [/_bulk?timeout=1m], status line [HTTP/1.1 413 Request Entity Too Large]

        at org.elasticsearch.client.RestClient$1.completed(RestClient.java:552)
        at org.elasticsearch.client.RestClient$1.completed(RestClient.java:537)
        at org.apache.http.concurrent.BasicFuture.completed(BasicFuture.java:122)
        at org.apache.http.impl.nio.client.DefaultClientExchangeHandlerImpl.responseCompleted(DefaultClientExchangeHandlerImpl.java:181)
        at org.apache.http.nio.protocol.HttpAsyncRequestExecutor.processResponse(HttpAsyncRequestExecutor.java:448)
        at org.apache.http.nio.protocol.HttpAsyncRequestExecutor.inputReady(HttpAsyncRequestExecutor.java:338)
        at org.apache.http.impl.nio.client.InternalRequestExecutor.inputReady(InternalRequestExecutor.java:83)
        at org.apache.http.impl.nio.DefaultNHttpClientConnection.consumeInput(DefaultNHttpClientConnection.java:265)
        at org.apache.http.impl.nio.client.InternalIODispatch.onInputReady(InternalIODispatch.java:81)
        at org.apache.http.impl.nio.client.InternalIODispatch.onInputReady(InternalIODispatch.java:39)
        at org.apache.http.impl.nio.reactor.AbstractIODispatch.inputReady(AbstractIODispatch.java:114)
        at org.apache.http.impl.nio.reactor.BaseIOReactor.readable(BaseIOReactor.java:162)
        at org.apache.http.impl.nio.reactor.AbstractIOReactor.processEvent(AbstractIOReactor.java:337)
        at org.apache.http.impl.nio.reactor.AbstractIOReactor.processEvents(AbstractIOReactor.java:315)
        at org.apache.http.impl.nio.reactor.AbstractIOReactor.execute(AbstractIOReactor.java:276)
        at org.apache.http.impl.nio.reactor.BaseIOReactor.execute(BaseIOReactor.java:104)
        at org.apache.http.impl.nio.reactor.AbstractMultiworkerIOReactor$Worker.run(AbstractMultiworkerIOReactor.java:591)
        ... 1 common frames omitted

Unable to parse response body
org.elasticsearch.client.ResponseException: method [POST], host [http://xx.xxx.xxx.xx:9201], URI [/_bulk?timeout=1m], status line [HTTP/1.1 413 Request Entity Too Large]

因爲批量提交提交內容請求實體太大超過了es中設置的最大值，Bulk 默認設置批量提交的數據量不能超過 100M。

http.max_content_length The max content of an HTTP request. Defaults to 100MB.

官網7.x說明地址

可以適當減少批量處理數據大小，如果修改http.max_content_length建議查清楚影響性能後在做修改

 

 

 

 

配置文件詳解1.0版

配置文件位於es根目錄的config目錄下面，有elasticsearch.yml和logging.yml兩個配置，主配置文件是elasticsearch.yml，日誌配置文件是logging.yml，elasticsearch調用log4j記錄日誌，所以日誌的配置文件可以按照默認的設置，我來介紹下elasticsearch.yml裏面的選項。

cluster.name: elasticsearch
配置的集羣名稱，默認是elasticsearch，es服務會通過廣播方式自動連接在同一網段下的es服務，通過多播方式進行通信，同一網段下可以有多個集羣，通過集羣名稱這個屬性來區分不同的集羣。

 

node.name: "Franz Kafka"
當前配置所在機器的節點名，你不設置就默認隨機指定一個name列表中名字，該name列表在es的jar包中config文件夾裏name.txt文件中，其中有很多作者添加的有趣名字。

 

node.master: true
指定該節點是否有資格被選舉成爲node（注意這裏只是設置成有資格， 不代表該node一定就是master），默認是true，es是默認集羣中的第一臺機器爲master，如果這臺機掛了就會重新選舉master。

 

node.data: true
指定該節點是否存儲索引數據，默認爲true。

 

index.number_of_shards: 5
設置默認索引分片個數，默認爲5片。

 

index.number_of_replicas: 1
設置默認索引副本個數，默認爲1個副本。如果採用默認設置，而你集羣只配置了一臺機器，那麼集羣的健康度爲yellow，也就是所有的數據都是可用的，但是某些複製沒有被分配（

健康度可用 curl 'localhost:9200/_cat/health?v' 查看， 分爲綠色、黃色或紅色。綠色代表一切正常，集羣功能齊全，黃色意味着所有的數據都是可用的，但是某些複製沒有被分配，紅色則代表因爲某些原因，某些數據不可用）。

 

path.conf: /path/to/conf
設置配置文件的存儲路徑，默認是es根目錄下的config文件夾。

 

path.data: /path/to/data
設置索引數據的存儲路徑，默認是es根目錄下的data文件夾，可以設置多個存儲路徑，用逗號隔開，例：

path.data: /path/to/data1,/path/to/data2

 

path.work: /path/to/work
設置臨時文件的存儲路徑，默認是es根目錄下的work文件夾。

 

path.logs: /path/to/logs
設置日誌文件的存儲路徑，默認是es根目錄下的logs文件夾

 

path.plugins: /path/to/plugins
設置插件的存放路徑，默認是es根目錄下的plugins文件夾, 插件在es裏面普遍使用，用來增強原系統核心功能。

 

bootstrap.mlockall: true
設置爲true來鎖住內存不進行swapping。因爲當jvm開始swapping時es的效率 會降低，所以要保證它不swap，可以把ES_MIN_MEM和ES_MAX_MEM兩個環境變量設置成同一個值，並且保證機器有足夠的內存分配給es。 同時也要允許elasticsearch的進程可以鎖住內存，linux下啓動es之前可以通過`ulimit -l unlimited`命令設置。

 

network.bind_host: 192.168.0.1
設置綁定的ip地址，可以是ipv4或ipv6的，默認爲0.0.0.0，綁定這臺機器的任何一個ip。

network.publish_host: 192.168.0.1
設置其它節點和該節點交互的ip地址，如果不設置它會自動判斷，值必須是個真實的ip地址。

 

network.host: 192.168.0.1
這個參數是用來同時設置bind_host和publish_host上面兩個參數。

 

transport.tcp.port: 9300
設置節點之間交互的tcp端口，默認是9300。

 

transport.tcp.compress: true
設置是否壓縮tcp傳輸時的數據，默認爲false，不壓縮。

 

http.port: 9200
設置對外服務的http端口，默認爲9200。

 

http.max_content_length: 100mb
設置內容的最大容量，默認100mb

 

http.enabled: false
是否使用http協議對外提供服務，默認爲true，開啓。

 

gateway.type: local
gateway的類型，默認爲local即爲本地文件系統，可以設置爲本地文件系統，分佈式文件系統，hadoop的HDFS，和amazon的s3服務器等。

 

gateway.recover_after_nodes: 1
設置集羣中N個節點啓動時進行數據恢復，默認爲1。

 

gateway.recover_after_time: 5m
設置初始化數據恢復進程的超時時間，默認是5分鐘。

 

gateway.expected_nodes: 2
設置這個集羣中節點的數量，默認爲2，一旦這N個節點啓動，就會立即進行數據恢復。

 

cluster.routing.allocation.node_initial_primaries_recoveries: 4
初始化數據恢復時，併發恢復線程的個數，默認爲4。

 

cluster.routing.allocation.node_concurrent_recoveries: 2
添加刪除節點或負載均衡時併發恢復線程的個數，默認爲4。

 

indices.recovery.max_size_per_sec: 0
設置數據恢復時限制的帶寬，如入100mb，默認爲0，即無限制。

 

indices.recovery.concurrent_streams: 5
設置這個參數來限制從其它分片恢復數據時最大同時打開併發流的個數，默認爲5。

 

discovery.zen.minimum_master_nodes: 1
設置這個參數來保證集羣中的節點可以知道其它N個有master資格的節點。默認爲1，對於大的集羣來說，可以設置大一點的值（2-4）

 

discovery.zen.ping.timeout: 3s
設置集羣中自動發現其它節點時ping連接超時時間，默認爲3秒，對於比較差的網絡環境可以高點的值來防止自動發現時出錯。

 

discovery.zen.ping.multicast.enabled: false
設置是否打開多播發現節點，默認是true。

 

discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]
設置集羣中master節點的初始列表，可以通過這些節點來自動發現新加入集羣的節點。

 

 

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

配置文件2.0版

配置文件位於%ES_HOME%/config/elasticsearch.yml文件中，用Editplus打開它，你便可以進行配置。
        所有的配置都可以使用環境變量，例如：
node.rack: ${RACK_ENV_VAR}
        表示環境變量中有一個RACK_ENV_VAR變量。
        下面列舉一下elasticsearch的可配置項：
        1. 集羣名稱，默認爲elasticsearch：
cluster.name: elasticsearch
        2. 節點名稱，es啓動時會自動創建節點名稱，但你也可進行配置：
node.name: "Franz Kafka"
        3. 是否作爲主節點，每個節點都可以被配置成爲主節點，默認值爲true：
node.master: true
        4. 是否存儲數據，即存儲索引片段，默認值爲true：
node.data: true
        master和data同時配置會產生一些奇異的效果：
        1) 當master爲false，而data爲true時，會對該節點產生嚴重負荷；
        2) 當master爲true，而data爲false時，該節點作爲一個協調者；
        3) 當master爲false，data也爲false時，該節點就變成了一個負載均衡器。
        你可以通過連接http://localhost:9200/_cluster/health或者http://localhost:9200/_cluster/nodes，或者使用插件http://github.com/lukas-vlcek/bigdesk或http://mobz.github.com/elasticsearch-head來查看集羣狀態。
        5. 每個節點都可以定義一些與之關聯的通用屬性，用於後期集羣進行碎片分配時的過濾：
node.rack: rack314
        6. 默認情況下，多個節點可以在同一個安裝路徑啓動，如果你想讓你的es只啓動一個節點，可以進行如下設置：
node.max_local_storage_nodes: 1
        7. 設置一個索引的碎片數量，默認值爲5：
index.number_of_shards: 5
        8. 設置一個索引可被複制的數量，默認值爲1：
index.number_of_replicas: 1
        當你想要禁用公佈式時，你可以進行如下設置：
index.number_of_shards: 1
index.number_of_replicas: 0
        這兩個屬性的設置直接影響集羣中索引和搜索操作的執行。假設你有足夠的機器來持有碎片和複製品，那麼可以按如下規則設置這兩個值：
        1) 擁有更多的碎片可以提升索引執行能力，並允許通過機器分發一個大型的索引；
        2) 擁有更多的複製器能夠提升搜索執行能力以及集羣能力。
        對於一個索引來說，number_of_shards只能設置一次，而number_of_replicas可以使用索引更新設置API在任何時候被增加或者減少。
        ElasticSearch關注加載均衡、遷移、從節點聚集結果等等。可以嘗試多種設計來完成這些功能。
        可以連接http://localhost:9200/A/_status來檢測索引的狀態。
        9. 配置文件所在的位置，即elasticsearch.yml和logging.yml所在的位置：
path.conf: /path/to/conf
        10. 分配給當前節點的索引數據所在的位置：
path.data: /path/to/data
        可以可選擇的包含一個以上的位置，使得數據在文件級別跨越位置，這樣在創建時就有更多的自由路徑，如：
path.data: /path/to/data1,/path/to/data2
        11. 臨時文件位置：
path.work: /path/to/work
        12. 日誌文件所在位置：
path.logs: /path/to/logs
        13. 插件安裝位置：
path.plugins: /path/to/plugins
        14. 插件託管位置，若列表中的某一個插件未安裝，則節點無法啓動：
plugin.mandatory: mapper-attachments,lang-groovy
        15. JVM開始交換時，ElasticSearch表現並不好：你需要保障JVM不進行交換，可以將bootstrap.mlockall設置爲true禁止交換：
bootstrap.mlockall: true
        請確保ES_MIN_MEM和ES_MAX_MEM的值是一樣的，並且能夠爲ElasticSearch分配足夠的內在，併爲系統操作保留足夠的內存。
        16. 默認情況下，ElasticSearch使用0.0.0.0地址，併爲http傳輸開啓9200-9300端口，爲節點到節點的通信開啓9300-9400端口，也可以自行設置IP地址：
network.bind_host: 192.168.0.1
        17. publish_host設置其他節點連接此節點的地址，如果不設置的話，則自動獲取，publish_host的地址必須爲真實地址：
network.publish_host: 192.168.0.1
        18. bind_host和publish_host可以一起設置：
network.host: 192.168.0.1
        19. 可以定製該節點與其他節點交互的端口：
transport.tcp.port: 9300
        20. 節點間交互時，可以設置是否壓縮，轉爲爲不壓縮：
transport.tcp.compress: true
        21. 可以爲Http傳輸監聽定製端口：
http.port: 9200
        22. 設置內容的最大長度：
http.max_content_length: 100mb
        23. 禁止HTTP
http.enabled: false
        24. 網關允許在所有集羣重啓後持有集羣狀態，集羣狀態的變更都會被保存下來，當第一次啓用集羣時，可以從網關中讀取到狀態，默認網關類型（也是推薦的）是local：
gateway.type: local
        25. 允許在N個節點啓動後恢復過程：
gateway.recover_after_nodes: 1
        26. 設置初始化恢復過程的超時時間：
gateway.recover_after_time: 5m
        27. 設置該集羣中可存在的節點上限：
gateway.expected_nodes: 2
        28. 設置一個節點的併發數量，有兩種情況，一種是在初始復甦過程中：
cluster.routing.allocation.node_initial_primaries_recoveries: 4
        另一種是在添加、刪除節點及調整時：
cluster.routing.allocation.node_concurrent_recoveries: 2
        29. 設置復甦時的吞吐量，默認情況下是無限的：
indices.recovery.max_size_per_sec: 0
        30. 設置從對等節點恢復片段時打開的流的數量上限：
indices.recovery.concurrent_streams: 5
        31. 設置一個集羣中主節點的數量，當多於三個節點時，該值可在2-4之間：
discovery.zen.minimum_master_nodes: 1
        32. 設置ping其他節點時的超時時間，網絡比較慢時可將該值設大：
discovery.zen.ping.timeout: 3s
http://elasticsearch.org/guide/reference/modules/discovery/zen.html上有更多關於discovery的設置。
        33. 禁止當前節點發現多個集羣節點，默認值爲true：
discovery.zen.ping.multicast.enabled: false
        34. 設置新節點被啓動時能夠發現的主節點列表（主要用於不同網段機器連接）：

discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]

       35.設置是否可以通過正則或者_all刪除或者關閉索引

action.destructive_requires_name 默認false 允許 可設置true不允許 

 

 

Elasticsearch Unable to parse response body HTTP/1.1 413 Request Entity Too Large問題解決_CodingAnHour的博客-CSDN博客

 

elasticsearch配置 - 悲慘的大爺 - 博客園 (cnblogs.com)