logstash 哪个版本最稳定

作者&投稿:陆费 (若有异议请与网页底部的电邮联系)
logstash-2.4.0使用哪个版本elasticsearch~

2.4.1版本,亲测可用

  现在ELK很流行,能快速搭建一套日志采集系统。其实自己一开始就不理解为什么后端日志采集这一层logstash 是用ruby来编写的,大家都知道像ruby这样的动态语言其实比较适合做web网站的快速开发(ror),像日志采集的后端应用,需要负者日志的采集和解析,尤其像解析日志会很耗cpu的,这样数据量一大很容易碰天花板。自己负者袋鼠云后端日志的采集和解析工作,前期用ruby版本的logstash,在4g 4core 的虚拟机上每小时只能处理800w条数据,这样的性能已经是自己做了很多优化的结果。后来在git上发现了hangout一个ITjob的实习生写的一个项目也是模仿ruby版本的logstash,用java重写,但是自己认为这个项目只是个demo,说白了只能自己玩玩,所以就萌生了自己用java重写logstash的想法。java版本的logstash基本的思路是每个input插件单独维护一个线程,filter和output公用一个线程,filter和output的线程数用户都可以自定义,默认跟机器的cpu核数相同,大部分的cpu消耗都在filter这层,所以filter线程数可以自定义,只要你的机器cpu够多,就能尽可能调大。而且java版本的logstash能保证数据的强一致性,举个列子从kafka消费数据,写入elasticsearch,有可能elasticsearch集群挂了,不能写入了,ruby版本是不能写入重复几次还是不行就扔掉了,这样就导致数据的丢失,但是java版本可以通过开关打开数据强一致性的判断,如果数据是由于elasticsearch集群挂了导致数据不能写入的,就会不断的重试这个数据直到成功,不会在消费队列里面新数据,这样就不会有数据的丢失。现在的java版本的logstash插件还是比较少,不像ruby版本的这么丰富,希望有更多的人参与进来。

  

在配置文件
input {
file {
type => "json"
path => "/home/hadoop/xinwang_XW351464_2110"
}
}
output {
elasticsearch {
cluster => "es_master"
#manage_template => false
embedded => true
index => "huhu"
}
}
版本是logstash-1.3.2,es版本是1.1.1
错误提示
java -jar logstash-1.3.2-flatjar.jar agent -f ogstash-syslog.conf
Using milestone 2 input plugin 'file'. This plugin should be stable, but if you see strange behavior, please let us know! For more information on plugin milestones, see {:level=>:warn}
log4j, [2014-10-31T11:55:01.977] WARN: org.elasticsearch.discovery: [Jocasta] waited for 30s and no initial state was set by the discovery
Unable to check template. Automatic template management disabled. {:error=>"waited for [30s]",
Redhat 5.7 64bit / CentOS 5.x
JDK 1.6.0_45
logstash 1.3.2 (内带kibana)
elasticsearch 0.90.10
redis 2.8.4
对应下版本


招远市13740616889: 请问一下目前spss哪个版本比较好 汉化的会不会有缺点啊 请高手指点谢谢 -
衷垄地力: SPSS版本的升级主要还是从人性化方面考虑,把各种功能更加明晰化,简洁化.比如在同一界面将原来需要下拉菜单选择的opinion直接铺在窗口上,还有增加了快捷栏,这点倒很像office2007.最明显的变化从15.0的版本以后很明显看出各种功...

招远市13740616889: win7系统excel用什么版本比较好 -
衷垄地力: win7内存4G,建议安装64位操作系统,安装office2007,excel兼容性好; 因64位系统支持3.2G以上内存; 而32位系统只支持3.2G以下的内存(包括3.2G); 并且WIN7 64位下既支持64位的应用程序或软件,也支持32位的应用程序或软件,32位的应用程序或软件在64位下运行“office2007,excel”可以达到完美的兼容.

招远市13740616889: 英伟达显卡驱动(1050)现在哪个版本最好用最稳定 -
衷垄地力: 一般来说最新的官方驱动会对性能和特效一类的进行补充,公版驱动.而最稳定的是显卡制造商提供的驱动程序.需要看你的显卡是那个制造商制造的,在其制造商的网站中查找对应的驱动程序.

招远市13740616889: 现在Ghost什么版本的最稳定?
衷垄地力: 深度,雨林木风都不错

招远市13740616889: Visual Studio 现在哪个版本比较稳定比较好用 -
衷垄地力: 如果你是学习的话,建议使用学习资料上推荐的版本. 一般Win7及以上系统,使用VS 2005到目前最新版本都没有问题,推荐使用VS 2008及其之后的版本,如果还要学习WP开发方面的, 建议使用VS 2013版本以及其后面的版本.

招远市13740616889: 深度系统5.6 - 5.9哪个版本最稳定最好??? -
衷垄地力: 5.9f 或者 5.8 安装版

招远市13740616889: log版本和nolog版本有什么区别?
衷垄地力: 华为内测log版是尝鲜版,体验稍微有些差,更耗电一些;华为log版会自动抓取日志,工作人员会知道这个系统的各个功能;华为nolog版是稳定版,更保电一些.log版指...

招远市13740616889: logstash filter的使用方法 -
衷垄地力: Logstash是一个接收,处理,转发日志的工具.支持系统日志,webserver日志,错误日志,应用日志,总之包括所有可以抛出来的日志类型.在一个典型的使用场景下(ELK):用Elasticsearch作为后台数据的存储,kibana用来前端的报表展...

招远市13740616889: 电脑开机黑屏 -
衷垄地力: 一般第一选择,是系统中病毒了.可以重新安装下系统,然后尝试进入. 第二可能,等装机完毕后还是出现这种情况,一般第二考虑是检测硬盘,是否有坏道. 第三,如无坏道,可以考虑换跟内存试试 再不行,就可能是CPU,或者主板的问题,这就需要去电脑维修部修理了

招远市13740616889: GHOST XP系统哪个版本稳定
衷垄地力: 7.2的很稳定..我用的就是这个版本!!!

本站内容来自于网友发表,不代表本站立场,仅表示其个人看法,不对其真实性、正确性、有效性作任何的担保
相关事宜请发邮件给我们
© 星空见康网