Nginx+lua 实现调用.so文件

最近在和智能硬件部门一起,做一个室内定位的服务,该服务根据手机端传过来的beacon设备列表,根据一定的算法计算出具体的商场,并将商场ID和beason设备列表作为参数,调用.so文件中的计算方法,得出位置数据(坐标:x、y、z),返回给手机端。

因为服务对QPS要求比较高,并且都是纯查询操作,于是决定使用Nginx+lua+Redis的架构(该架构在公司内部已成主流,比较成熟)。下面我将对lua调用.so文件的方式,做一下介绍。

lua调用.so文件,主要有两种方式:

1.Lua直接调用动态链接库,具体可参考 技术分享 。
2.使用C写一个Wrapper。

鉴于第一种方式需要引入第三方工具包,并且效率不高,所以我们采用第二种方式来实现。具体实现过程如下:

1.编写业务代码,其中包括业务方法的封装器。

  static int lua_Locate( lua_State* L )
  {
    long handle = lua_tonumber( L, 1 );
    const char* beacon_rssi_json = lua_tostring( L, 2 );

    vector<RSSI_INFO> rssi_info_vec;

    FingerprintLocationServer* p = (FingerprintLocationServer*)handle;

    ConvertJson2CppRSSI( beacon_rssi_json, rssi_info_vec );

    double x;
    double y;
    float floor;

    p->UpdateBeaconSignalGetResult( rssi_info_vec, x, y, floor );

    lua_pushnumber(L,x);
    lua_pushnumber(L,y);
    lua_pushnumber(L,floor);

    return 3;
  }

  static const struct luaL_Reg myLib[] =
  {
    {"lua_Locate", lua_Locate},
    {NULL, NULL}    //数组中最后一对必须是{NULL, NULL},用来表示结束
  }; 

  int luaopen_mLualib(lua_State *L)
  {
    luaL_register(L, "FPCalc", myLib);
    return 1;    // 把myLib表压入了栈中,所以就需要返回1
  }

其中,wapper函数的函数名有个命名规则,前缀为luaopen,后面就是lua中require的字符串,否则将会报类似于下面的异常:

lua entry thread aborted: runtime error: error loading module 'mLualib' from file '/var/wdd/wrs/webroot/intelligent_lua/mLualib.so':
  /var/wdd/wrs/webroot/intelligent_lua/mLualib.so: undefined symbol: _Z13lua_tolstringP9lua_StateiPm
stack traceback:
coroutine 0:
  [C]: in function 'require'
  /var/wdd/wrs/webroot/intelligent_lua/location.lua:18: in function...

另外,如果是.cpp文件,在luaopen_mylib一定要加 extern "C", 否则导出的函数会被重命名,切记切记! 关于extern "C",请参考 extern "C" 用法解析。

2.Nginx配置文件中指定so包所在的文件夹。

lua_package_cpath '/var/wdd/wrs/webroot/intelligent_lua/?.so;;';

注意,这里有很多种配置方式,只要让lua能找到so文件即可,比如可以通过lua代码package.cpath来引入(参阅下面代码段)或者直接把so文件复制lua环境变量指定的目录里等。
package.cpath = '/usr/local/lib/lua/5.1/?.so;'        --搜索so模块

如果未指定cpath或者cpath中找不到so文件,系统会报如下异常:

no file './mLualib.lua'
  no file '/usr/local/openresty/luajit/share/luajit-2.1.0-beta1/mLualib.lua'
  no file '/usr/local/share/lua/5.1/mLualib.lua'
  no file '/usr/local/share/lua/5.1/mLualib/init.lua'
  no file '/usr/local/openresty/luajit/share/lua/5.1/mLualib.lua'
  no file '/usr/local/openresty/luajit/share/lua/5.1/mLualib/init.lua'
  no file '/usr/local/openresty/lualib/mLualib.so'
  no file './mLualib.so'
  no file '/usr/local/lib/lua/5.1/mLualib.so'
  no file '/usr/local/openresty/luajit/lib/lua/5.1/mLualib.so'
  no file '/usr/local/lib/lua/5.1/loadall.so'
  no file '/var/wdd/wrs/webroot/intelligent_lua/mLualib.so'

3.lua代码中引入so包,并执行调用。

local FPCalc = require "mLualib"

local x, y, floor = FPCalc.lua_Locate(c_addr, umm_json)

ngx.log(ngx.ERR, "lua_Locate:end:返回结果:", "x=" .. x, " y=" .. y, " floor=" .. floor)

以上就是lua调用.so包全部过程了。

实际压测过程中,还发现了几个问题:

1.so包需要在运行环境上编译,不同的环境编译的so包不一定通用。比如我在mac上编译的so包,直接复制到生产环境(centos系统)就不能使用,需要在生产环境重新编译才可以。

2.编译so包单进程可以正常执行,但是多进程访问时异常,错误信息如下(目前这个问题还没有解决)。

2017/05/03 16:52:41 [notice] 14355#0: signal 17 (SIGCHLD) received
2017/05/03 16:52:41 [alert] 14355#0: worker process 14361 exited on signal 11
2017/05/03 16:52:41 [notice] 14355#0: start worker process 14427
2017/05/03 16:52:41 [notice] 14355#0: signal 29 (SIGIO) received
2017/05/03 16:52:41 [notice] 14427#0: sched_setaffinity(0x00000008)

2017-05-04 终于找到原因:

问题原因:进程在访问.so文件时,需要调用.so中一个初始化方法。这个方法负责初始内存等相关操作,每个进程需要单独调用(初始化)一次,而我所有进程只调用(初始化)了一次,导致部分未初始化的进程执行代码时异常。

解决方式:查到原因了,问题就好解决了,每个进程初始一次就好了。

(0)

相关推荐

  • nginx服务器通过配置来解决API的跨域问题

    前言 最近在采用jquery ajax调用http请求时,发现了一系列问题: 如采用firebug调试API请求(这个API是自己服务器的应用),看到服务器明明返回200状态,response返回数据也是json格式,但ajax返回的error. 在排除json数据格式不正确的原因之后,发现了ajax error函数返回"networkerror failed to execute 'send' on 'xmlhttprequest' failed to load 'http //"

  • 详解nginx服务器http重定向到https的正确写法

    http重定向到https使用了nginx的重定向命令.那么应该如何写重定向?之前老版本的nginx可能使用了以下类似的格式. rewrite ^/(.*)$ http://domain.com/$1 permanent; 或者 rewrite ^ http://domain.com$request_uri? permanent; 现在nginx新版本已经换了种写法,上面这些已经不再推荐. 下面是nginx http页面重定向到https页面最新支持的写法: server { listen 80

  • CentOS 7中利用yum安装Nginx的方法教程

    前言 因为最近在筹备Docker系列课程,其中涉及到在CentOS 7中安装Nginx.遇到一些问题,所以想着将过程总结分享出来供大家参考学习,下面来看看详细的介绍: 当使用以下命令安装Nginx时,发现无法安装成功. yum install -y nginx 需要做一点处理. 安装Nginx源 执行以下命令: rpm -ivh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noar

  • nginx源码分析configure脚本详解

    nginx源码分析--configure脚本 一.前言 在分析源码时,经常可以看到类似 #if (NGX_PCRE) .... #endif 这样的代码段,这样的设计可以在不改动源码的情况下,通过简单的定义宏的方式来实现功能的打开与关闭,但是在nginx/src目录下始终没有找到宏 NGX_PCRE 对应的 #define 语句. 在之前介绍event模块的时候,讲到init_cycle函数中对cycle进行了初始化,其中很重要一步操作就是讲包含所有module信息的数组拷贝到这个cycle对应

  • nginx超时设置详细介绍

    nginx常用的超时配置说明 client_header_timeout 语法 client_header_timeout time 默认值 60s 上下文 http server 说明 指定等待client发送一个请求头的超时时间(例如:GET / HTTP/1.1).仅当在一次read中,没有收到请求头,才会算成超时.如果在超时时间内,client没发送任何东西,nginx返回HTTP状态码408("Request timed out") client_body_timeout 语

  • 详解Linux中Nginx反向代理下的tomcat集群

    Nginx具有反向代理(注意和正向代理的区别)和负载均衡等特点. 这次Nginx安装在 192.168.1.108 这台linux 机器上.安装Nginx 先要装openssl库,gcc,PCRE,zlib库等. Tomcat 安装在192.168.1.168 和 192.168.1.178 这两台机器上.客户端通过访问192.168.1.108 反向代理访问到192.168.1.168 和 192.168.1.178 里Tomcat 部署的工程内容.  1.Linux 下安装Nginx (机器

  • Nginx 实现灰度发布的三种方法总结

    Nginx 实现灰度发布的三种方法总结 灰度发布的主要原理是访问路由的控制,重点是保证每次访问的是同一个节点. 方式一:通过调节负载均衡权重 负载均衡 建立在现有网络结构之上,它提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽.增加吞吐量.加强网络数据处理能力.提高网络的灵活性和可用性. 负载均衡,英文名称为Load Balance,其意思就是分摊到多个操作单元上进行执行,例如Web服务器.FTP服务器.企业关键应用服务器和其它关键任务服务器等,从而共同完成工作任务. 简单配置如下: ht

  • Nginx+lua 实现调用.so文件

    最近在和智能硬件部门一起,做一个室内定位的服务,该服务根据手机端传过来的beacon设备列表,根据一定的算法计算出具体的商场,并将商场ID和beason设备列表作为参数,调用.so文件中的计算方法,得出位置数据(坐标:x.y.z),返回给手机端. 因为服务对QPS要求比较高,并且都是纯查询操作,于是决定使用Nginx+lua+Redis的架构(该架构在公司内部已成主流,比较成熟).下面我将对lua调用.so文件的方式,做一下介绍. lua调用.so文件,主要有两种方式: 1.Lua直接调用动态链

  • 解决nginx+lua搭建文件上传下载服务问题

    导语 项目需要做一个文件上传下载服务,利用 nginx+lua 做一个代理服务,上传入口统一,分发到不同的机器存储,下载链接和物理存储隔离,支持添加 agent 的方式扩容,这里主要讲一下思路和搭建配置过程,大神勿喷. 主要逻辑 上传 前端请求 nginx 服务, nginx 调用 upload 脚本,脚本通过查找配置,找到对应的逻辑存储路径和物理存储机器的 agent 的 ip 和端口,通过 tcp 发包到对应 agent ,部署在对应机器的 agent 接受数据,并写到本地文件. 下载 ht

  • nginx+lua单机上万并发的实现

    nginx是我们最常用的服务器,常用于做内容分发和反向代理,lua是一种类C的脚本语言,广泛应用于游戏行业,十年前页游流行的时候,我曾经买过传奇类游戏的源码,游戏中的服务端就是用lua实现的.我们常用来配合nginx.envoy和redis做一些简单实用的功能,比如:超卖和少卖.排行榜等,减少请求到达后端java的频率 下面开始构建nginx+lua的镜像,自己构建的原因是怕别人提供的镜像里有病毒,docker非官方镜像中有很多病毒,这一点大家需要注意 本文采用openresty版本的nginx

  • Lua中调用C++函数示例

    Lua当然也能够调用C中定义的函数.一个平均数的例子,解释一下.    下面给出的C++函数average()演示了如何接受多个参数且返回超过一个值. 1.lua_gettop函数返回栈顶的索引值.因为在Lua中栈是从1开始编号的,因此该函数获得的值就是参数的个数. 2.在for循环中计算所有参数之和. 3.调用lua_pushnumber()将参数的平均值压栈.  4.最后,函数返回1,说明有一个返回值在栈中. 现在C++函数已经被定义好了,我们必须将它告诉Lua解释器.这将在main函数中初

  • 安装Nginx+Lua开发环境

    首先我们选择使用OpenResty,其是由Nginx核心加很多第三方模块组成,其最大的亮点是默认集成了Lua开发环境,使得Nginx可以作为一个Web Server使用.借助于Nginx的事件驱动模型和非阻塞IO,可以实现高性能的Web应用程序.而且OpenResty提供了大量组件如Mysql.Redis.Memcached等等,使在Nginx上开发Web应用更方便更简单.目前在京东如实时价格.秒杀.动态服务.单品页.列表页等都在使用Nginx+Lua架构,其他公司如淘宝.去哪儿网等. 安装环境

  • 用nginx+FastDFS一步步搭建文件管理系统

    一.FastDFS介绍 FastDFS开源地址:https://github.com/happyfish100 参考:分布式文件系统FastDFS设计原理 参考:FastDFS分布式文件系统 个人封装的FastDFS Java API:https://github.com/bojiangzhou/lyyzoo-fastdfs-java 1.简介 FastDFS 是一个开源的高性能分布式文件系统(DFS). 它的主要功能包括:文件存储,文件同步和文件访问,以及高容量和负载平衡.主要解决了海量数据存

  • 原生实现C#与Lua相互调用方法(Unity3D可用)

    目录 引言 一.编译Lua动态链接库 1. 编译Windows下使用的DLL文件 2. 编译Android下使用的SO文件 二.编写C#使用的API 1. 动态链接库在Unity中的存放位置. 2. 编写C#的API[LuaDll.cs] 3.需要注意的几个地方 三.C#与Lua的相互调用举例 1. C#中创建Lua环境 2. 加载Lua代码并执行,调用Lua的函数及向Lua传递参数. 3. 将C#函数提供给Lua使用,需要使用静态方法参考上面LuaFunction的定义. 4. Lua代码调用

  • Java代码中与Lua相互调用实现详解

    目录 一.方案 二.性能测试 1. ScriptEngine调用方式 2. Globals调用方式 3. lua调用java 三.结论 四.其他调用方式? 一.方案 Java与Lua相互调用案例比较少,因此项目使用需要做详细的性能测试,本内容只做粗略测试. 目前已完成初版Lua-Java调用框架开发,后期有时间准备把框架进行抽象,并开源出来,感兴趣的小伙伴欢迎关注下. 目前最常见的方案:luaj,纯Java实现的Lua解析器,基于Lua 5.2 LuaJ的原理:用Java实现了一套Lua的编译器

  • c# 调用.bat文件的实现代码

    c# 调用.bat文件 使用命名空间:using System.Diagnostics; System.Diagnostics.Process.Start(Server.MapPath("ah.bat")); ===================================================================== 扩展名是bat(在nt/2000/xp/2003下也可以是cmd)的文件就是批处理文件 首先,批处理文件是一个文本文件,这个文件的每一行都是

  • ThinkPHP里用U方法调用js文件实例

    本文实例讲述了ThinkPHP里用U方法调用js文件的方法.分享给大家供大家参考.具体如下: 在TP里提供了在模板文件中直接调用函数的快捷方法.U是其中之一.手册里有它的用法: 复制代码 代码如下: {:U('User/insert' )} 先把js文件的后缀改成html(这个不会影响),然后写个JsAction,在里面进行调用: <?php class JsAction extends Action{ function nav() { $this->display('Index:js:nav

随机推荐