ES优化问题,不解决试用期过不了了。哎

来源：10-1 生产环境部署建议

苦瓜苦也

2019-03-22

日志每日增加的量最多是50M。但是es的JVM内存一直在不断的飙高。重启一次就降了下来，但是等几天一会又飙高到99%。怎么解决老师?我不是Java开发不是很了了解JVM。es是单节点。系统内存32G ，下面是配置文件
cat elasticsearch.yml
cluster.name: my-application
node.name: node-1
path.data: /usr/local/elasticsearch/data
path.logs: /usr/local/elasticsearch/logs
network.host: 192.168.16.147
http.port: 9200

jvm参数就改了-Xms -Xmx
-Xms16g
-Xmx16g
-XX:+UseConcMarkSweepGC
-XX:CMSInitiatingOccupancyFraction=75
-XX:+UseCMSInitiatingOccupancyOnly
-Des.networkaddress.cache.ttl=60
-Des.networkaddress.cache.negative.ttl=10
-XX:+AlwaysPreTouch
-Xss1m
-Djava.awt.headless=true
-Dfile.encoding=UTF-8
-Djna.nosys=true
-XX:-OmitStackTraceInFastThrow
-Dio.netty.noUnsafe=true
-Dio.netty.noKeySetOptimization=true
-Dio.netty.recycler.maxCapacityPerThread=0
-Dlog4j.shutdownHookEnabled=false
-Dlog4j2.disable.jmx=true
-Djava.io.tmpdir=${ES_TMPDIR}
-XX:+HeapDumpOnOutOfMemoryError
-XX:HeapDumpPath=data
-XX:ErrorFile=logs/hs_err_pid%p.log
8:-XX:+PrintGCDetails
8:-XX:+PrintGCDateStamps
8:-XX:+PrintTenuringDistribution
8:-XX:+PrintGCApplicationStoppedTime
8:-Xloggc:logs/gc.log
8:-XX:+UseGCLogFileRotation
8:-XX:NumberOfGCLogFiles=32
8:-XX:GCLogFileSize=64m
9-:-Xlog:gc*,gc+age=trace,safepoint:file=logs/gc.log:utctime,pid,tags:filecount=32,filesize=64m
9-:-Djava.locale.providers=COMPAT
10-:-XX:UseAVX=2

写回答

4回答

rockybean

2019-03-23

已采纳

https://github.com/elastic/support-diagnostics

你用这个工具跑一下诊断数据然后发我邮箱
weibinway@qq.com

苦瓜苦也

非常感谢！

2019-03-23

共8条回复

rockybean

2019-03-23

单节点的分片最好控制在200个以内，你现在都要400个了。

有时间还是要认真看下视频，这些都有讲哦

rockybean

2019-03-23

我简单看了下，如下要优化：

生产环境最好3个节点，你现在就1个
Index shard 都是默认的 5个，太多了。我看了下你的数据大小，改成1个就可以。要减少 shard 数

这一波优化完应该就没问题了

苦瓜苦也

好的，我现在在搭zookeeper集群。另外三个项目一起就用集群了。谢谢老师。感谢。

2019-03-23

共1条回复

rockybean

2019-03-23

你贴一下es的日志给我看下

苦瓜苦也

[elk@host-192-168-16-147 support-diagnostics-6.4.4]$ ./scrub.sh -a diagnostics-20190323-104145.tar.gz Using /usr/local/jdk1.8.0_201//bin/java as Java Runtime Using -Xms256m -Xmx2000m for options. 11:00:02 INFO Validating inputs...

2019-03-23

共1条回复

Elastic Stack从入门到实践，动手搭建数据分析系统

有了Elastic Stack，不用写一行代码，你也可以玩转大数据分析！

1361 学习 · 397 问题

查看课程

相似问题

filter data enrich问题

回答 1

关于 index_mapping 默认值的疑问

回答 1

请问一下老师，使用Elasticsearch和Redis缓存怎么搭配？

回答 1

请问es能不能做到对txt分词后再聚合

回答 1

es中修改索引文档问题

回答 1

打开慕课网App查看更多内容