Java正则达式引起死循环问题解决办法

kick 2011-11-05

最近线上应用一直LOAD值非常高,几乎接近宕机的边缘,开始报异常如下:

  1. at Java.util.regex.Pattern$GroupTail.match(Unknown Source)  
  2. at java.util.regex.Pattern$Ctype.match(Unknown Source)  
  3. at java.util.regex.Pattern$Branch.match(Unknown Source)  
  4. at java.util.regex.Pattern$GroupHead.match(Unknown Source)  
  5. at java.util.regex.Pattern$Loop.match(Unknown Source)  
  6. at java.util.regex.Pattern$GroupTail.match(Unknown Source)  
  7. at java.util.regex.Pattern$Ctype.match(Unknown Source)  
  8. at java.util.regex.Pattern$Branch.match(Unknown Source)  
  9. at java.util.regex.Pattern$GroupHead.match(Unknown Source)  
  10. at java.util.regex.Pattern$Loop.match(Unknown Source)  
  11. at java.util.regex.Pattern$GroupTail.match(Unknown Source)  
  12. at java.util.regex.Pattern$Ctype.match(Unknown Source)  
  13. at java.util.regex.Pattern$Branch.match(Unknown Source)  
  14. at java.util.regex.Pattern$GroupHead.match(Unknown Source)  
  15. at java.util.regex.Pattern$Loop.match(Unknown Source)  
  16. at java.util.regex.Pattern$GroupTail.match(Unknown Source)  
  17. at java.util.regex.Pattern$Ctype.match(Unknown Source)  
  18. at java.util.regex.Pattern$Branch.match(Unknown Source)  
  19. at java.util.regex.Pattern$GroupHead.match(Unknown Source)  
  20. at java.util.regex.Pattern$Loop.match(Unknown Source)  
  21. at java.util.regex.Pattern$GroupTail.match(Unknown Source)  
  22. at java.util.regex.Pattern$Ctype.match(Unknown Source)  
  23. at java.util.regex.Pattern$Branch.match(Unknown Source)  

通过异常信息抓取定位到我们的一个工具方法:该工具方法如下:

  1. public static boolean checkSpecialChars(String inputstr, String regex)  
  2. {  
  3.     if (inputstr == null || "".equals(inputstr))  
  4.     {  
  5.         return false;  
  6.     }  
  7.     return Pattern.compile(regex).matcher(inputstr).matches();  
  8. }  

没有任何地方是通过循环的调用本方法的,但根据异常信息很明显是死循环,这就引起我们进一步去跟踪问题,通过一段时间的测试和总结,终于找到问题的产生原因。该方法允许传一个正则表达式进去, 问题就出在传入的正则表达式上,该表达式简化为如下:

  1. String regex = "([a-z]|//d)*";  

通过测试发现,此时若输入的字符串里面匹配次数超过817次以后,该方法将变的不稳定,开始重现我们前面的异常信息。测试代码如下:

  1. import java.util.regex.Pattern;  
  2. /** 
  3.  * Created on 2010-11-9 
  4.  * <p>Title:       测试正则表达式死循环</p> 
  5.  * @author         [email protected] 
  6.  * @version        1.0 
  7.  */  
  8. public class RegexTest  
  9. {  
  10.     public static void main(String args[])  
  11.     {  
  12.         String regex = "([a-z]|//d)*";  
  13.         String inputStr = "";  
  14.         for (int i = 0; i < 309; i++) //此处的值为>=400则会马上抛异常   
  15.         {  
  16.             inputStr = inputStr.concat(String.valueOf(i));  //循环的拼接输入字符串   
  17.         }  
  18.         System.out.println("字符串长度为:"+inputStr.length());  
  19.         boolean flag = checkSpecialChars(inputStr, regex);  
  20.         System.out.println("匹配结果为: "+flag);  
  21.     }  
  22.     public static boolean checkSpecialChars(String inputstr, String regex)  
  23.     {  
  24.         if (inputstr == null || "".equals(inputstr))  
  25.         {  
  26.             return false;  
  27.         }  
  28.         return Pattern.compile(regex).matcher(inputstr).matches(); //注意是此处matches()方法抛的异常   
  29.     }  
  30. }  

原来:该问题是JDK的BUG,到JDK1.6里居然还没修复,BUG详情见:

http://bugs.sun.com/bugdatabase/view_bug.do?bug_id=5050507 http://bugs.sun.com/bugdatabase/view_bug.do?bug_id=6988218

通过上面方法解决上抛异常问题,修改完机器重启后发现异常是不抛了,但CPU占用率高并没有好转,频频报警,经过仔细排查,有五个处理正则的线程把CPU资源耗完了,实在没招,最后校验采用其它方法,彻底干掉正则。 

总结:通过这次线上问题排查,正则表达式是个双仞剑,如果大规模数据的校验最好不要使用正则,效率非常差。CPU的处理能力会全部耗费在处理这几个正则上。另外该问题是项目上线一段时间后才出现,这说明当数据达到一个数量级后,正则的处理效率会快速下降,这样就像我这种情况,刚开始数据量小,一直没有问题,等到访问量突然增大后,CPU在短时间内LOAD值非常高。所以正则轻易不要���在大数据量或者并发访问较高的应用中。

相关推荐

jyj00 / 0评论 2020-01-29