rebar工具使用备忘录 (1)

转载标明出处，我指的是你们： http://www.haogongju.net/和www.ask3.cn/

rebar是一个开源的erlang应用自动构建工具。basho的tuncer开发。它实际上是一个erlang脚本（escript）的工具，因此在不同平台间迁移起来比较方便。

1.安装

可以去github下载源代码编译

git clone git://github.com/basho/rebar.git

构建rebar工具

cd rebar
make

把编译好的rebar放到系统目录中完成安装：

sudo mv rebar /usr/local/bin

查看rebar的版本检查一下安装：

$ rebar -V

rebar version: 2 date: 20110827_060830 vcs: git 8376693

不过通过源代码得到的是不稳定的版本，使用时会出现些小问题。
也有现成的稳定rebar下载:

curl -o rebar http://cloud.github.com/downloads/basho/rebar/rebar

2. 使用

2.0 rebar的帮助文档

最基本的文档是README。
有段rebar作者的rebar使用介绍视频, fxxk墙浏览。

rebar的官方文档不是很全，而且rebar的进化也很快，所以最好从rebar本身的帮助开始：通过rebar -h查看rebar帮助。

一个诀窍：在使用rebar时加上-v参数可以详细的打印出rebar构建过程时的相关命令和参数，这有助于我们查看构建工程过程的细节，从而判断rebar.config文件的配置是否正确。-vv会打印稍多信息，而-vvv参数会打印出最罗嗦的调试信息。


2.1 自动补全

rebar版本库中有提供实现自动补全的脚本（在目录priv/shell-completion/bash/下），然后在.bashrc（或者.bash_profile)添加一行：

source $rebar_home/priv/shell-completion/bash/rebar

以后在命令行窗口中输入rebar命令连按两次tab键会自动列出可用的rebar子命令。当然也可以通过rebar -c 查看每个子命令的详细解释。

在rebar安装目录的priv/templates目录下有所有缺省模板的源代码，查看这些模板的源码有时候能帮助我们理解rebar所做的工作。

当然也可以订阅rebar的邮件列表获得在线帮助

2.3 rebar管理的工程目录结构

rebar管理的erlang工程应该遵循erlang OTP的约定，项目的文件结构如下，子目录src, include下分别放置erlang源代码和hrl包含文件，priv和ebin目录分别放置编译好的lib库共享文件（或可执行文件）和beam文件（和其他文件例如app文件），这两个目录由rebar自动生成并清理，不要把重要的代码放在这两个目录下，虽然不会被rebar clean自动删掉，（不过编译好的beam文件都会删掉），但是也影响不好哈。

此外对port drive和nif的开发，它们的c源程序应该放在c_src目录下。目前port driver和nif是被rebar无区别对待，因此有着同样的rebar控制参数。

总结：源代码应该组织到src, include和c_src三个目录结构中，此外，eunit单元测试代码放在test目录下。rebar控制priv和ebin目录，源码或文档不要在这两个目录下。

实际上，即使没有rebar工程配置文件（rebar.config），只要符合上述目录结构的erlang工程都能自动被rebar编译。

2.4 rebar的工程配置文件

要想更好的使用rebar，一般需要一个rebar工程配置文件（rebar.config）对工程进行管理。

如何写rebar.config配置

rebar安装路径下有一个rebar.config.sample的文件，基本照抄就行了。
此外研究这个文件可以发现许多rebar的使用诀窍。例如这句

 {pre_hooks, [{clean, "./prepare_package_files.sh"},
      {compile, "escript generate_headers"}]}.

这显然是用来控制rebar子命令的前置钩子，也就是说在rebar clean子命令执行之前执行prepare_package_files.sh脚本；在compile子命令执行之前执行escript generate_headers脚本。

当然相应的还有post_hooks后置钩子


2.5 rebar模板的使用

erlang/OTP的3个著名模式都有着各自的程序骨架，每次写一个srv或者fsm的模块，我们都得重复写许多固定的骨架代码，rebar提供了模板帮我们省下了这些重复工作，我们用rebar模版自动生产相应的模版程序估计，然后只管往里面填应用的逻辑的实现代码就行了。

rebar list-templates 子命令可以查看rebar缺省提供的工程模板（当然也可以创建自己的模板）

显然，simplesrv，simplefsm，simpleapp这三个模板是用来创建OTP的服务器模式，有限状态机模式和app应用模式的。

注意在rebar中，这三个模式的约定名称：srv, fsm和app
相应的，这些模板都有一个约定的控制变量，分别是srvid, fsmid和appid


下面做些实验看看
可以试试创建一个application：

$ rebar create template=simpleapp

也可以创建一个fsm的模块：

$ rebar create template=simplefsm

再来一个server模块：

$ rebar create template=simplesrv

然后在src查看这些自动生成的代码就能理解所谓的rebar 自动生成模板是怎么回事了。

每类模板都有它们自己的生成控制变量，没有这些变量，一切都是默认的。例如上面的实验里，都没有指定模块的控制变量，所以生成的模块都是叫myxxx之类的缺省名字。

在rebar源代码目录的priv/templates目录下有所有缺省模板的源程序，查阅这些模板的源码可以帮助我们理解rebar的这些模板创建命令的变量是如何工作的：
A) simplefsm.template模板

{variables, [{fsmid, "myfsm"}]}.
{template, "simplefsm.erl", "src/{{fsmid}}.erl"}.

这说明fsm模板提供了一个fsmid的变量控制着fsm模块的生成，自定义一个：

rebar create template=simplefsm fsmid=cat

就在src下创建了一个fsm的cat模块

B） simplemod.tempalte模板

{variables, [{modid, "mymod"}]}.
{template, "simplemod.erl", "src/{{modid}}.erl"}.
{template, "simplemod_tests.erl", "test/{{modid}}_tests.erl"}.

可以通过这个模板创建一个普通的erlang模块，同时它会自动生成该模块的单元测试代码：
该模板提供的控制变量是modid

下面创建一个叫fish的erlang模块：

rebar create template=simplemod modid=fish

C）basicnif.template模板

{variables, [{module, "mymodule"}]}.
{template, "basicnif.erl", "src/{{module}}.erl"}.
{template, "basicnif.c", "c_src/{{module}}.c"}.

这个模板是用来生成nif模块的，它提供了一个叫module的控制变量
试着生成一个叫dragon的nif模块看看：

rebar create template=basicnif module=dragon

nif的c代码和erl代码分别放在c_src和src目录下了。

D) simpleapp.template模板

{variables, [{appid, "myapp"}]}.
{template, "simpleapp.app.src", "src/{{appid}}.app.src"}.
{template, "simpleapp_app.erl", "src/{{appid}}_app.erl"}.
{template, "simpleapp_sup.erl", "src/{{appid}}_sup.erl"}.

这说明simpleapp模板提供了一个叫appid的变量，
下面自定义一个叫anmial的应用：

rebar create template=simpleapp appid=anmial

然后发现src下多了3个和dog application相关的erl源代码

实际上，rebar提供了一个直接创建application的子命令create-app：

rebar create-app appid=anmial

效果一样。不过命令更短，帮助也详细（至少告诉我们模板变量名是 appid)


下面是以上例子创建了的文件：

find .

.
./c_src
./c_src/dragon.c
./src
./src/anmial_app.erl
./src/cat.erl
./src/anmial_sup.erl
./src/anmial.app.src
./src/fish.erl
./src/myfsm.erl
./src/dragon.erl
./test
./test/fish_tests.erl


用rebar自动编译一下：

rebar compile

可以发现源代码分别编译到ebin和priv两个目录下了，erlang是跨平台的，这没什么好说的。神奇的是nif（包括port driver）的动态共享库（so文件）也自动编译好了，而且对linux，mac 等自动跨平台支持。所有这些编译都由rebar compile一个命令搞定了。

我们可以通过加个-v参数详细查看编译过程中rebar都做了什么：

rebar compile -v

控制台上会详细打印出编译过程中用到的命令和参数，还有相关的环境变量。

如前所述，这些命令参数我们可以通过rebar.config进行指定。例如生成nif动态共享库的链接参数，如果动态共享库还需要链接第三方库，那么需要为链接器指定相关链接参数

比较坑爹的是，如果上面的例子中没有创建applicaton，compile默认是无法编译fsm，server或nif等模块的。整个工程必须有一个application

rebar create-app appid=animal

对于nif模块也是如此。

可以在rebar.config中通过为port_envs设置环境变量CFLAGS和LDFLAGS指定编译或链接的参数：

在port_envs哪些变量可以定制，似乎没有什么在线文档，所以直接看rebar的源代码程序：rebar_port_compiler.erl。开头的注释中就说明了可以定制哪些参数，有编译的也有链接的。

举个例子，我最近写的一个nif模块c代码用到了c99的一些特性，还使用到了一个第三方共享库gdal。linux下nif动态库的编译并链接的命令是这样的：

gcc -std=c99 -fPIC -shared -o gdal_nifs.so gdal_nifs.c -I$ERL_HOME/usr/include -lgdal

mac下的的编译链接命令是这样：

gcc -std=c99 -fPIC -bundle -undefined suppress -flat_namespace -o gdal_nifs.so gdal_nifs.c -I$ERL_HOME/usr/include -lgdal

rebar已经考虑了跨平台编译链接的不同参数问题，我还需要定制以下两个参数：
1） 指定 c99 标准编译； -std=c99
2） 指定gdal动态库的链接： -lgdal

因此，我的rebar.config定制文件就是

{port_specs, [{"priv/xxxx.so", ["c_src/*.c"}]}.
{port_env, [
    {"CFLAGS", "$CFLAGS -std=c99"},
    {"LDFLAGS", "$LDFLAGS -lgdal"}
    ]}.

以后就可以通过rebar compile跨各种平台编译了。


清理编译好的文件：

rebar clean

刚才rebar自动编译好的目标文件（beam和so）都会自动删掉。

注：该命令不会清除所有目标文件，它只清除由rebar生成的文件。

模板是针对某种有着固定模式或结构的代码的，实际上我们也可以自己写模版。自己的代码模板可以放在工程的priv/templates目录下。rebar list-templates会自动列出该目录和当前目录下的所有模板，模板格式看一下官方提供的例子，简单的说就是模板变量的字符串替换，也没啥高深的。

要是觉得自己的模板不错也可以提交上去有可能会成为官方模板哦。


3.依赖的管理

较大的应用会依赖其它应用，rebar提供了对这些依赖的管理。在erlang工程的目录结构上，rebar对此有所扩展，所有的其他依赖应用都放在deps目录下，这是rebar工程比较独特的地方。

工程依赖的其他应用都会放在deps目录下。在rebar.config配置，一个例子：
{deps, [
  {lager, ".*", {git, "git://github.com/basho/lager", {branch, "master"}}},
  {poolboy, ".*", {git, "git://github.com/basho/poolboy", {branch, "master"}}},
  {webmachine, ".*", {git, "git://github.com/basho/webmachine",
                              {branch, "master"}}}
       ]}.

项目的目录结构：
tree -L 2
.
├── deps
│   ├── lager
│   ├── poolboy
│   ├── mochiweb
│   └── webmachine
├── ebin
├── priv
├── rebar.config
└── src
    ├── xxx_app.erl
    ├── xxx.app.src
    └── xxx_sup.erl

（其中mochiweb又是webmachine依赖的应用）

一个问题是依赖的应用还依赖其它应用，这时要注意deps配置参数中这些应用的顺序，例如如果上述配置中（举个例子）可能许多其它应用都依赖lager这个应用，这时，lager的配置就应该放在它们之前。



5.常见问题

1）
rebar有着erlang的并行处理能力，缺省情况下每个子命令有3个job worker并行处理，可以通过-j参数控制并行处理的worker数量。

不过由于这种并行处理能力，有时候发现会出现灵异现象，比如有次我想同时清理然后编译：

rebar clean; rebar compile

发现新的改写代码没有起作用，改成

rebar clean
rebar compile

就没有问题了。

现在我的用法是：
rebar clean compile

2。如果有以下情况：

• 某个应用没有启动；
• lib下没有某个应用；
• lib下某个应用对应的目录没有版本信息；
• lib下某个应用对应的目录没有编译好的beam文件

这是因为对应的应用没有编译，就直接rebar generate的原故。

依赖的第三方应用，包括本应用没有编译过，（即每个应用ebin目录下没有beam文件），则rebar generate生成的发布目录中的时候就不会有对应的应用（可以看到该应用其实是一个空壳：对应的目录不带版本信息，而且没有beam文件），即使在reltool.config中指定了这些应用也没用。

3. 如果希望系统启动时，某个应用随之启动
第三方应用可能并不保证在系统初始化时启动，要想让其在初始化时启动，可以在reltool.config文件的修改'rel'项，增加对应的应用，例如想让lager初始化时自动启动：
{rel, "xxx", "1.0", [kernel, stdlib,sasl, lager, xxx]}


因为rebar文档不全，而且几乎每天都有代码修改，处于不断的快速进化中，早期的文档现在看来有的陈旧了，比如网上许多文档都提到了rebar的dialyzer静态分析，实际上最新的rebar已经不再有这个子命令了。

遇到问题一般可以去翻翻rebar.config.sample，这个配置模板提供了rebar.config的几乎所有配置变量及其说明。比如我的需求中需要写好几个nif模块，每个nif模块都有自己对应的so.在rebar.config.sample中找到这几行代码:

%% so_specs - useful for building multiple *.so files
%%            from one or more object files
{so_specs, [{"priv/so_name.so", ["c_src/object_file_name.o"]}]}.

评论

2 楼 aiquantong 2012-12-27  

great!

1 楼 langzhe 2011-09-27  

比较详细