OpenResty入门技术

SZStudy 2017-07-26

原创地址:http://jinnianshilongnian.iteye.com/blog/2190344

目录:

1.OpenRestry(Nginx+Lua)开发环境

2.OpenRestry开发入门

3.Lua模块开发

3.1 常用Lua开发库1-redis、mysql、http客户端 附-Redis/SSDB+Twemproxy安装与使用

3.2 常用Lua开发库2-JSON库、编码转换、字符串处理

3.3 常用Lua开发库3-模板渲染

4.实战

4.1 Web开发实战1——HTTP服务

4.2 Web开发实战2——商品详情页

4.3 流量复制/AB测试/协程

说明:本文目的是学习Nginx+Lua开发

***********************************************

对于Nginx基本知识可以参考如下文章:

《官方文档》http://wiki.nginx.org/Configuration

《nginx启动、关闭、重启》 http://www.cnblogs.com/derekchen/archive/2011/02/17/1957209.html

《agentzh 的 Nginx 教程》  http://openresty.org/download/agentzh-nginx-tutorials-zhcn.html

《Nginx+Lua入门》http://17173ops.com/2013/11/01/17173-ngx-lua-manual.shtml

《nginx 配置指令的执行顺序》http://zhongfox.github.io/blog/server/2013/05/15/nginx-exec-order/

《nginx与lua的执行顺序和步骤说明》http://www.mrhaoting.com/?p=157

《Nginx配置文件nginx.conf中文详解》http://www.ha97.com/5194.html

《Tengine的Nginx开发从入门到精通》http://tengine.taobao.org/book/

对于Lua基本知识可以参考如下文章:

《Lua简明教程》http://coolshell.cn/articles/10739.html

《Lua在线lua学习教程》http://book.luaer.cn/

《Lua 5.1 参考手册》http://www.codingnow.com/2000/download/lua_manual.html

《Lua5.3 参考手册》http://cloudwu.github.io/lua53doc/

***************************************************

Nginx Lua API

和一般的Web Server类似,我们需要接收请求、处理并输出响应。

对于请求:获取如请求参数、请求头、Body体等信息;

对于处理就是:调用相应的Lua代码即可;

对于输出响应:进行响应状态码、响应头和响应内容体的输出。

 

因此我们从如上几个点出发即可。

一. 接收请求

在Nginx-Lua配置文件内:接收,解析请求交由Lua处理

1. 编辑example.conf配置文件

vi /usr/server/example/example.conf

    location ~ /lua_request/(\d+)/(\d+) {  

        #设置nginx变量:参数a的值是$1(第一个参数), b的值是  $host(前面的ip地址)

        set $a $1;   

        set $b $host;  

        default_type "text/html";  

        #nginx内容处理  

        content_by_lua_file /usr/server/example/lua/test_request.lua;  

        #内容体处理完成后调用  

        echo_after_body "ngx.var.b $b";  

    }  

2.test_request.lua 

 # vi /usr/server/example/lua/test_request.lua;

    --nginx变量  

    local var = ngx.var  

    ngx.say("ngx.var.a : ", var.a, "<br/>")   -- 1

    ngx.say("ngx.var.b : ", var.b, "<br/>")  -- ip

    ngx.say("ngx.var[2] : ", var[2], "<br/>")  -- 请求路径的第二个参数 2

    ngx.var.b = 2;  --设置b的值为2

      

    ngx.say("<br/>")  

      

    -- 请求头  

    local headers = ngx.req.get_headers()  

    ngx.say("headers begin", "<br/>")  

    ngx.say("Host : ", headers["Host"], "<br/>")  

    ngx.say("user-agent : ", headers["user-agent"], "<br/>")  

    ngx.say("user-agent : ", headers.user_agent, "<br/>")  

    for k,v in pairs(headers) do  

        if type(v) == "table" then  

            ngx.say(k, " : ", table.concat(v, ","), "<br/>")  

        else  

            ngx.say(k, " : ", v, "<br/>")  

        end  

    end  

    ngx.say("headers end", "<br/>")  

    ngx.say("<br/>")  

      

    -- get请求uri参数  

    ngx.say("uri args begin", "<br/>")  

    local uri_args = ngx.req.get_uri_args()  

    for k, v in pairs(uri_args) do  

        if type(v) == "table" then  

            ngx.say(k, " : ", table.concat(v, ", "), "<br/>")  

        else  

            ngx.say(k, ": ", v, "<br/>")  

        end  

    end  

    ngx.say("uri args end", "<br/>")  

    ngx.say("<br/>")  

      

    --post请求参数  

    ngx.req.read_body()  

    ngx.say("post args begin", "<br/>")  

    local post_args = ngx.req.get_post_args()  

    for k, v in pairs(post_args) do  

        if type(v) == "table" then  

            ngx.say(k, " : ", table.concat(v, ", "), "<br/>")  

        else  

            ngx.say(k, ": ", v, "<br/>")  

        end  

    end  

    ngx.say("post args end", "<br/>")  

    ngx.say("<br/>")  

      

    --请求的http协议版本  

    ngx.say("ngx.req.http_version : ", ngx.req.http_version(), "<br/>")  --1.1

    --请求方法  

    ngx.say("ngx.req.get_method : ", ngx.req.get_method(), "<br/>")  --get

    --原始的请求头内容  

    ngx.say("ngx.req.raw_header : ",  ngx.req.raw_header(), "<br/>")  

    --请求的body内容体  

    ngx.say("ngx.req.get_body_data() : ", ngx.req.get_body_data(), "<br/>")  

    ngx.say("<br/>")  

ngx.var : nginx变量,如果要赋值如ngx.var.b = 2,此变量必须提前声明;另外对于nginx location中使用正则捕获的捕获组可以使用ngx.var[捕获组数字]获取;

ngx.req.get_headers:获取请求头,默认只获取前100,如果想要获取所以可以调用ngx.req.get_headers(0);获取带中划线的请求头时请使用如headers.user_agent这种方式;如果一个请求头有多个值,则返回的是table;

ngx.req.get_uri_args:获取url请求参数,其用法和get_headers类似;

ngx.req.get_post_args:获取post请求内容体,其用法和get_headers类似,但是必须提前调用ngx.req.read_body()来读取body体(也可以选择在nginx配置文件使用lua_need_request_body on;开启读取body体,但是官方不推荐);

ngx.req.raw_header:未解析的请求头字符串;

ngx.req.get_body_data:为解析的请求body体内容字符串。

如上方法处理一般的请求基本够用了。另外在读取post内容体时根据实际情况设置client_body_buffer_size和client_max_body_size来保证内容在内存而不是在文件中。

3.使用如下脚本测试:

http://192.168.1.106/lua_request/1/2?a=3&b=4

二.输出响应

1. 编辑example.conf配置文件# vi /usr/server/example/example.conf

    location /lua_response_1 {  

        default_type "text/html";  

        content_by_lua_file /usr/server/example/lua/test_response_1.lua;  

    }  

2.输出相关的属性点

# vi /usr/server/example/lua/test_response_1.lua

test_response_1.lua 

    -- 写响应头  

    ngx.header.a = "1"  

    -- 多个响应头可以使用table  

    ngx.header.b = {"2", "3"}  

    -- 输出响应  

    ngx.say("a", "b", "<br/>")  

    ngx.print("c", "d", "<br/>")  

    --200状态码退出  

    return ngx.exit(200)  

测试:

http://192.168.1.106/lua_request

2.1

ngx.header:输出响应头;

ngx.print:输出响应内容体;

ngx.say:通ngx.print,但是会最后输出一个换行符;

ngx.exit:指定状态码退出。

2.2 ngx.redirect:重定向; 

(1) example.conf配置文件

# vi /usr/server/example/example.conf

    location /lua_response_2 {  

        default_type "text/html";  

        content_by_lua_file /usr/server/example/lua/test_response_2.lua;  

    }  

(2) test_response_2.lua

vi /usr/server/example/lua/test_response_2.lua

    ngx.redirect("http://jd.com", 302)  

测试:

http://192.168.1.106/lua_response_2

2.3 ngx.status=状态码,设置响应的状态码;

2.4 ngx.resp.get_headers()获取设置的响应状态码;

2.5 ngx.send_headers()发送响应状态码,当调用ngx.say/ngx.print时自动发送响应状态码;可以通过ngx.headers_sent=true判断是否发送了响应状态码。

其他API

 (1) example.conf配置文件

    location /lua_other {  

        default_type "text/html";  

        content_by_lua_file /usr/example/lua/test_other.lua;  

    }  

(2) test_other.lua

    --未经解码的请求uri  

    local request_uri = ngx.var.request_uri;  

    ngx.say("request_uri : ", request_uri, "<br/>");  

    --解码  

    ngx.say("decode request_uri : ", ngx.unescape_uri(request_uri), "<br/>");  

    --MD5  

    ngx.say("ngx.md5 : ", ngx.md5("123"), "<br/>")  

    --http time  

    ngx.say("ngx.http_time : ", ngx.http_time(ngx.time()), "<br/>")  

测试:

http://192.168.1.106/lua_other

ngx.escape_uri/ngx.unescape_uri : uri编码解码;

ngx.encode_args/ngx.decode_args:参数编码解码;

ngx.encode_base64/ngx.decode_base64:BASE64编码解码;

ngx.re.match:nginx正则表达式匹配;

更多Nginx Lua API请参考 http://wiki.nginx.org/HttpLuaModule#Nginx_API_for_Lua。

三.Nginx全局内存

Nginx是一个Master进程,多个Worker进程的工作方式,可能需要在多个Worker进程中共享数据,那么此时就可以使用ngx.shared.DICT来实现全局内存共享。

1.首先在nginx.conf的http部分分配内存大小

 # vi /usr/local/nginx/conf/nginx.conf

    #共享全局变量,在所有worker间共享  

    lua_shared_dict shared_data 1m;

2.example.conf配置文件

# vi /usr/server/example/example.conf

    location /lua_shared_dict {  

        default_type "text/html";  

        content_by_lua_file /usr/server/example/lua/test_lua_shared_dict.lua;  

    }  

3.test_lua_shared_dict.lua

    --1、获取全局共享内存变量  

    local shared_data = ngx.shared.shared_data    

    --2、获取字典值  

    local i = shared_data:get("i")  

    if not i then  

        i = 1  

        --3、惰性赋值  

        shared_data:set("i", i)  

        ngx.say("lazy set i ", i, "<br/>")  

    end  

    --递增  

    i = shared_data:incr("i", 1)  

    ngx.say("i=", i, "<br/>")  

测试:

http://192.168.1.106/lua_shared_dict

更多API请参考http://wiki.nginx.org/HttpLuaModule#ngx.shared.DICT。 

到此基本的Nginx Lua API就学完了,对于请求处理和输出响应如上介绍的API完全够用了,更多API请参考官方文档。

四. Nginx Lua模块指令

Nginx共11个处理阶段,而相应的处理阶段是可以做插入式处理,即可插拔式架构;另外指令可以在http、server、server if、location、location if几个范围进行配置:

指令

所处处理阶段

使用范围

解释

init_by_lua

init_by_lua_file

loading-config

http

nginx Master进程加载配置时执行;

通常用于初始化全局配置/预加载Lua模块

init_worker_by_lua

init_worker_by_lua_file

starting-worker

http

每个Nginx Worker进程启动时调用的计时器,如果Master进程不允许则只会在init_by_lua之后调用;

通常用于定时拉取配置/数据,或者后端服务的健康检查

set_by_lua

set_by_lua_file

rewrite

server,server if,location,location if

设置nginx变量,可以实现复杂的赋值逻辑;此处是阻塞的,Lua代码要做到非常快;

rewrite_by_lua

rewrite_by_lua_file

rewrite tail

http,server,location,location if

rrewrite阶段处理,可以实现复杂的转发/重定向逻辑;

access_by_lua

access_by_lua_file

access tail

http,server,location,location if

请求访问阶段处理,用于访问控制

content_by_lua

content_by_lua_file

content

location,location if

内容处理器,接收请求处理并输出响应

header_filter_by_lua

header_filter_by_lua_file

output-header-filter

http,server,location,location if

设置header和cookie

body_filter_by_lua

body_filter_by_lua_file

output-body-filter

http,server,location,location if

对响应数据进行过滤,比如截断、替换。

log_by_lua

log_by_lua_file

log

http,server,location,location if

log阶段处理,比如记录访问量/统计平均响应时间

 

更详细的解释请参考http://wiki.nginx.org/HttpLuaModule#Directives。如上指令很多并不常用,因此我们只拿其中的一部分做演示。

4.1 init_by_lua

作用:每次Nginx重新加载配置时执行,可以用它来完成一些耗时模块的加载,或者初始化一些全局配置;

在Master进程创建Worker进程时,此指令中加载的全局变量会进行Copy-OnWrite,即会复制到所有全局变量到Worker进程。

1、配置nginx.conf文件中

在http部分添加如下代码

    #共享全局变量,在所有worker间共享  

    lua_shared_dict shared_data 1m; 

    init_by_lua_file /usr/server/example/lua/init.lua;  

2、init.lua

# vi /usr/server/example/lua/init.lua

    --初始化耗时的模块  

    local redis = require 'resty.redis'  

    local cjson = require 'cjson'      

    --全局变量,不推荐  

    count = 1  

    --共享全局内存  

    local shared_data = ngx.shared.shared_data  

    shared_data:set("count", 1)  

3、test.lua:

vi /usr/server/example/lua/test.lua

    count = count + 1  

    ngx.say("global variable : ", count)  

    local shared_data = ngx.shared.shared_data  

    ngx.say(", shared memory : ", shared_data:get("count"))  

    shared_data:incr("count", 1)  

    ngx.say("hello world")  

4、访问如http://192.168.1.106/lua会发现全局变量一直不变,而共享内存一直递增

global variable : 2 , shared memory : 8 hello world

注意:此处需设置 lua_code_cache on,才会递增

lua_code_cache默认是开启的,测试时候关闭可以不用重启即生效,一定在生产环境开启 lua_code_cache ,否则每个请求都会创建Lua VM实例

 4.2 init_worker_by_lua

作用:用于启动一些定时任务,比如心跳检查,定时拉取服务器配置等等;

此处的任务是跟Worker进程数量有关系的,比如有2个Worker进程那么就会启动两个完全一样的定时任务。

1.nginx.conf配置文件中的http部分添加如下代码

    init_worker_by_lua_file /usr/server/example/lua/init_worker.lua;  

2.init_worker.lua

# vi /usr/server/example/lua/init_worker.lua

    local count = 0  

    local delayInSeconds = 3  

    local heartbeatCheck = nil  

      

    heartbeatCheck = function(args)  

       count = count + 1  

       ngx.log(ngx.ERR, "do check ", count)  

      

       local ok, err = ngx.timer.at(delayInSeconds, heartbeatCheck)  

      

       if not ok then  

          ngx.log(ngx.ERR, "failed to startup heartbeart worker...", err)  

       end  

    end  

      

    heartbeatCheck()  

ngx.timer.at:延时调用相应的回调方法;

ngx.timer.at(秒单位延时,回调函数,回调函数的参数列表);

可以将延时设置为0即得到一个立即执行的任务,任务不会在当前请求中执行不会阻塞当前请求,而是在一个轻量级线程中执行。

说明:当存在多个工作线程时,会打出多个输出;

另外根据实际情况设置如下指令

lua_max_pending_timers 1024;  #最大等待任务数

lua_max_running_timers 256;    #最大同时运行任务数

4.3 set_by_lua

相关推荐