训练基于Moses的中英翻译
开始学习SMT，第一步就是想熟悉一下SMT的整个运行过程。于是乎就开始练习使用Moses。使用过程遇到一些问题，记下来免得以后忘记了。
基本上按照这里的指南一步一步的测试。该指南写的相当得好。很好！
http://www.statmt.org/moses_steps.html
但是还是会遇到几个问题。
测试环境：2.6.31-22-server #68-Ubuntu SMP Tue Oct 26 16:50:02 UTC 2010 x86_64 GNU/Linux
----------------
支持软件
----------------
++支持软件的版本尽量和指南一致。如果没有一致的，可以选择稍微早一点的版本。如果选择后面的版本，会有一些变数。我还没有去探索具体哪些版本好用。
比如：SRILM 1.5.7，在主页上没有这个版本。我开始选择最新版本，结果遇到一些问题。后来改成下载1.4.6就好用了
++moses-scripts编译中间会提示一些Boost lib缺少的问题，实际不影响(也许在某些地方有用，但是作为我这么菜鸟级的，无所谓)
++如果moses是直接下载的，有时候会出现dos格式 ^M问题，导致perl脚本执行不了的问题。
解决方案1. 把所有的perl文件 第一行结尾 加入空格。
解决方案2. 在所有调用位置 加入 perl a.pl
解决方案3. svn co https://mosesdecoder.svn.sourceforge.net/svnroot/mosesdecoder/trunk moses去下载(这也是指南推荐的，我开始土了，直接用web去下载)
---------------
训练过程
---------------
++语料必须是UTF8的
++Giza++在训练过程中，遇到一些core溢出的问题，经过google找回来的问题，我做了如下更改，好用！
*** file_spec.h 2009/07/10 21:38:39 1.1
--- file_spec.h 2009/07/13 11:37:21
! char time_stmp[17];
! sprintf(time_stmp, "%02d-%02d-%02d.%02d%02d%02d.", local->tm_year,
(local->tm_mon + 1), local->tm_mday, local->tm_hour,
local->tm_min, local->tm_sec);
--- 37,49 ----
! char time_stmp[19];
! sprintf(time_stmp, "%04d-%02d-%02d.%02d%02d%02d.", 1900 + local->tm_year,
(local->tm_mon + 1), local->tm_mday, local->tm_hour,
local->tm_min, local->tm_sec);
++MERT训练的时候，应该加入--mertdir 来指定路径，是不是旧版本没有这个问题？我不是很清楚。
++本文用了64位机器，脚本路径应该是i686-m64
大致就这样，其他要做的事情就等。。。直到模型训练成功。
-------------
初步试验结果
--------------
++设置
FBIS作为双语语料
GIGA_xin来训练语料模型(只使用头1M句)
GIGA_xin来训练Recaser(所有的)
没有MERT
++BLUE
19.79
哇，这么高！休息先
2011.1.24
