笔记:ProbingPT现已集成到Moses主库,版本为ProbingPT 2.1。所有未来的代码更新将直接在Moses的仓库中完成,本仓库自2014年6月13日起已弃用,仅供参考使用。
要构建ProbingPT,请按照以下步骤操作:
-
使用命令
./bjam -j10 --with-probing-pt
构建ProbingPT 2.1,该版本基于KenLM探测哈希表,实现高效的短语表管理。 -
模型需使用
短语表.1.gz
,可从任何源语言加载。
2.0版本更新日志:
-
修复了某些情况下的错误散列。
-
修复概率分数为0时导致的崩溃问题。
-
新增API检查功能,防止在API变更时加载不兼容的PT。
-
添加初步支持以便重排序表。
构建KenLM:
-
进入KenLM目录:
cd lib/kenlm
-
使用以下命令构建:
./bjam -j 5 link=static
完成构建后即可开始ProbingPT的高效短语表操作。
暂无评论