利用antlr来制作ng的日志分析器

疏雨过 2013-09-30

线上的项目需要实时监控日志来分析用户行为和系统健康情况，我们可以通过分析系统日志来知道系统的实时运行情况，然而系统的日志又非常多，有
tomcat日志、ng日志、mysql日志、lvs日志等等非常多的日志信息，如何在这么多的日志信息中捕获出我们需要的日志是一件有价值的事情。
    下面我来介绍一下如何利用antlr来分析出ng日志中timeout的日志信息，
     ng中的timeout日志格式： 
      2013/07/24 16:02:52 [error] 3389#0: *31309 connect() failed (111: Connection refused) while connecting to upstream, client: 172.18.30.52, server: tj.playsnail.com, request: "GET /gather/data.do?data=0-3-4-4-1:211182,2:12,3:12001&_=1374652788858 HTTP/1.1", upstream: "http://10.103.20.6:9088/gather/data.do?data=0-3-4-4-1:211182,2:12,3:12001&_=1374652788858", host: "tj.playsnail.com", referrer: "http://www.playsnail.com/platform/game/frame?gameId=12&serverId=12001"
      
      在解析日志，我们需要抽取哪些接口报了异常，在什么时候报的异常是我们比较感兴趣的数据，所以定义日期和时间的语法定义，
  日志中的日期和时间的格式：2013/07/24 16:02:52 ，那么在antlr中可以这样来定义：  
      INT : [0-9]+ ;
      date: INT '/' INT '/' INT ;
      time: INT ':' INT ':' INT ;
 
  下面再定义timeout时 url的语法规则，分析ng日志，发现接口的url规则：都以 upstream开头，后面是以双引号开始和结束，如下是ng的超时接口片段：
   
upstream: "http://10.103.20.6:9088/gather/data.do?data=0-3-4-4-1:211182,2:12,3:12001&_=1374652788858" 
  那么可以定义如下的语法规则：  
 url : 'upstream:' '"' 'http://' ~'"'*  '"';
     
  对于整个timeout的异常信息的语法定义如下：
     date time '[error]' INT '#' INT ':' '*' INT 'upstream timed out' (CHAR | url | ~'\n' )* NL* EOF?;
 
  于是整个的语法文件就如下：
      
          grammar Timeout;

file: (expectedRows | .)*;
INT : [0-9]+ ;
date: INT '/' INT '/' INT ;
time: INT ':' INT ':' INT ;
//STRING: ~'\n'*;
NL : '\n' ;
WS : ' ' -> skip ; 
//WS : [\n\t\r] -> skip ; 
ID: [a-zA-Z_$] [a-zA-Z_$0-9]* ;
CHAR : '('|')'|','|'?'|'.'|'='|'"'|'-'|'&'|':'|'%'|'['|']'|'@'|'{'|'}'|'\\"';
url : 'upstream:' '"' 'http://' ~'"'*  '"';
expectedRows: date time '[error]' INT '#' INT ':' '*' INT 'upstream timed out' (CHAR | url | ~'\n' )* NL* EOF?
   
    在antlr提供的visitor接口中我们可以动态的获取每个超时日志的信息中的日期、时间和超时接口等信息，然后我们利用mysql或者nosql这样的工具来把这些数据入库做
数据筛选查询，这就满足了我们对哪些应用在什么时间段发生了超时，一天中哪个时间段发生超时访问，再结合实时的监控数据，比如：系统各个方面的资源消耗,cpu ,
memory, jvm gc 时长，网络吞吐量等数据一起分析，就能够达到我们实时的多角度分析系统的目的。
疏雨过

疏雨过

相关推荐

antlr应用

anltr应用实例：http://0x100.club/projects/antlr-example.html antlr入门：https://www.cnblogs.com/clonen/p/9083359.html

lightningmn / 0评论 2020-06-14

如何用 ANTLR 4 实现自己的脚本语言？

ANTLR 是一个 Java 实现的词法/语法分析生成程序，目前最新版本为 4.5.2，支持 Java，C#，JavaScript 等语言，这里我们用 ANTLR 4.5.2 来实现一个自己的脚本语言。如果你没有编译原理的基础，只要写过正则表达式，应该也能

知行天下 / 0评论 2016-03-29

ClassNotFoundException: org.hibernate.hql.ast.HqlToken的问题

原因：从网上获知，weblogic.jar中已经有了一个antlr.jar的版本，导致应用中hibernate3.jar中用到的antlr.jar不能找到，导致异常。

crazzylp / 0评论 2014-01-08

antlr表达式引擎

output=AST;ASTLabelType=CommonTree;language=Java;INDEX;MEMBERACCESS;CALL;VARIABLE;BRACKETEXP;: IDENTIFIER LPAREN (argument (CO

BitsPlayer / 0评论 2013-03-14

antlr笔记

LL文法是自上而下的分析法，从文法的开始符号出发，或是说从树根开始，向下构造语法书，知道建立每个树叶。也叫递归下降分析法。ll本质上就是从特定的文法符号开始进行穷举，直到找到匹配的字符串或穷举结束。输入字符串，读头，有穷状态自动机，先进后出下推栈。本质是输

jinvasshole / 0评论 2013-02-19

利用Antlr开发状态机

Antlr不用多介绍了，只想说此乃神器也~~~比如我们有业务是，商务专员填写好报价单后，提交到招标经理，招标经理审批通过后，提交到大区经理。接下来是重头戏，如何解析由Antlr生成的抽象语法树！

simonhc / 0评论 2012-05-31

org.hibernate.QueryException: ClassNotFoundException: org.hibernate.hql.ast.HqlT

为了使用3.0的批量更新和删除功能，只能选择否则不能解释批量更新的语句，当使用的时候出现了不支持条件输入中文的情况。在hibernate3中需要用到antlr，然而这个包在weblogic.jar中已经包含了antrl类库，就会产生一些类加载的错误，无法找

jinvasshole / 0评论 2012-05-28

利用Antlr开发状态机

Antlr不用多介绍了，只想说此乃神器也~~~比如我们有业务是，商务专员填写好报价单后，提交到招标经理，招标经理审批通过后，提交到大区经理。接下来是重头戏，如何解析由Antlr生成的抽象语法树！

tuniumobile / 0评论 2012-05-21

Hibernate3.2 核心包作用包 作用说明

下面说说SSH中Hibernate所需要的包。dom4j.jarXML配置和映射解释器必要　。asm.jarASM字节码库如果使用“cglib”则必要。ehcache.jarEHCache缓存如果没有其它的缓存，则它是必要的。jaxen-1.1-beta-

MyIgnorance / 0评论 2012-05-05

org.hibernate.QueryException: ClassNotFoundException: org.hibernate.hql.ast.HqlT

为了使用3.0的批量更新和删除功能，只能选择否则不能解释批量更新的语句，当使用的时候出现了不支持条件输入中文的情况。在hibernate3中需要用到antlr，然而这个包在weblogic.jar中已经包含了antrl类库，就会产生一些类加载的错误，无法找

crazzylp / 0评论 2011-11-01

weblogic10.3+sitemesh全方位部署

引起这个问题的原因是包antlr2.6.1.jar在weblogic10.3中与项目中hibernate3.x用来解析sql语句的包antlr-2.7.7.jar冲突了。1）在启动weblogic时，优先启动项目中使用到的antlr-2.7.7.jar的文

MyIgnorance / 0评论 2011-10-10

weblogic10.3+sitemesh全方位部署

引起这个问题的原因是包antlr2.6.1.jar在WEBLOGIC10.3中与项目中HIBERNATE3.x用来解析SQL语句的包antlr-2.7.7.jar冲突了。1）在启动weblogic时，优先启动项目中使用到的antlr-2.7.7.jar的文

simonhc / 0评论 2011-09-14

转 错误java.lang.NoSuchMethodError: antlr.collections.AST.getLine()解决方法

产生的原因主要是：问题出在struts包里面有也有个antlr_XXX.jar,与hibernate包里面的冲突了。若还不不能解决问题，可以按照下面的步骤：我用的myeclipse8.6， 装在 D:\MyEclipse8.6\，，由于myeclipse

crazzylp / 0评论 2011-06-11

错误处理：java.lang.NoSuchMethodError: antlr.collections.AST.getLine()I

遇到上述问题时，首先确定你的包是否都导入到lib文件夹中，如果导入，删除antlr-2.7.2.jar即可。如果没有导入，antlr-2.7.2.jar在Struts－1.xLibraries下，展开目录，看到每个jar后都跟着一个地址，找到这个文件夹，复

jinvasshole / 0评论 2011-03-07

weblogic10.0.3+hibernate3.0 ClassNotFoundException: org.hibernate.hql.ast.HqlTok

.1、拷贝Hibernate3里带的包antlr-2.7.5H3.jar到%WL_HOME%\server\lib下

MyIgnorance / 0评论 2013-11-21

[转]org.hibernate.hql.ast.HqlToken 错误weblogic异常

为了使用3.0的批量更新和删除功能，只能选择否则不能解释批量更新的语句，当使用的时候出现了不支持条件输入中文的情况。选择可以支持输入中文，但没法解释批量更新语句了。在hibernate3中需要用到antlr，然而这个包在weblogic.jar中已经包含了

simonhc / 0评论 2010-05-11

myeclipse的struts2支持和hibernate支持

直接使用myeclipse8.5的struts2支持和hibernate3.3支持会有类库冲突.在开发相关web程序的时候，两个类库会被同时导到web程序的WEB-INF\lib目录下.

sysuqgy / 0评论 2010-04-13

ClassNotFoundException: org.hibernate.hql.ast.HqlT

我的项目架构是Struts+spring+hibernate.在Tomcat中运行正常，然后部署到Weblogic8.1上报如上错误。原因：从网上获知，weblogic.jar中已经有了一个antlr.jar的版本，导致应用中hibernate3.jar中

jsjbkshz0 / 0评论 2008-08-20

用 ANTLR 做一个四则运算器

开始把 D 的语法转换为 EBNF，发现 D 还支持中文变量名，也就是所谓的 UniversalAlpha，查看了一下 dmd front end 的源代码，检查字符是否 UniversalAlpha 的函数是这样的：。但是，怎么让 Grammatica

simonhc / 0评论 2008-01-15

疑问：关于ANTLR判断的结束符

本人最近在看Hibernate源代码，也顺便研究了ANTLR这一应用在Hibernate中对HQL到SQL进行转换的文法分析器。本人自己写了个expr.g文件，工作平台eclipse+Antlrstudio插件ANTLR2.7.6. 但本人输入1+2或者2

MyIgnorance / 0评论 2007-07-18

ANTLR一个编译简单的两数相加的例子

如同程序设计语言入门大多采用“Hello World”一样，编译领域的入门往往选择计算器。一个只能计算两个数相加的计算器，也就是说，它可以计算“1+1”。检查输入的正确性，只有对正确的输入进行计算才是有意义的。制订好自己的语言规则之后，我们需要以Antlr

BuZhiDaoen / 0评论 2007-06-12

解决weblogic异常：org.hibernate.hql.ast.HqlToken 错误（转）

为了使用3.0的批量更新和删除功能，只能选择否则不能解释批量更新的语句，当使用的时候出现了不支持条件输入中文的情况。选择可以支持输入中文，但没法解释批量更新语句了。在hibernate3中需要用到antlr，然而这个包在weblogic.jar中已经包含了

simonhc / 0评论 2011-09-14

java.lang.NoSuchMethodError: antlr.collections.AST.getLine()

原因：myeclipse中struts2的框架中有antlr-2.7.2.jar包，而hibernate3中有antlr-2.7.6.jar，很明显这两个jar包冲突了，所以需要删除低版本的jar. 解决办法：在MyEclipse下，windows--&g

dbh / 0评论 2013-05-29

如何Get一个领域语言？这么撸就对了！

文法是描述语言规则的工具。文法最初是一些研究自然语言的科学家总结指定的，后来被应用到计算机语言中。下面这个例子定义了人类的语法规则。ANTLR是一种自动生成词法分析器、语法分析器的工具。语法规则要求第一个字符必须小写。在语法规则中，以空格来表示各个子规则之

凌霄 / 0评论 2016-06-06

词法分析工具 ANTLR 3.4发布

ANTLR 3.4 主要是包含一些 Java 和 C++ 的 bug 修复，同时也更新了文档。ANTLR它是Java开发的词法分析工具，它可以接受词文法语言描述,并能产生识别这些语言的语句的程序。作为翻译程序的一部分,你可以 使用简单的操 作符和动作来参数

jinvasshole / 0评论 2011-12-15