笔记:ProbingPT现已集成到Moses主库,版本为ProbingPT 2.1。所有未来的代码更新将直接在Moses的仓库中完成,本仓库自2014年6月13日起已弃用,仅供参考使用。

要构建ProbingPT,请按照以下步骤操作:

  1. 使用命令 ./bjam -j10 --with-probing-pt 构建ProbingPT 2.1,该版本基于KenLM探测哈希表,实现高效的短语表管理。

  2. 模型需使用 短语表.1.gz,可从任何源语言加载。

2.0版本更新日志

  • 修复了某些情况下的错误散列。

  • 修复概率分数为0时导致的崩溃问题。

  • 新增API检查功能,防止在API变更时加载不兼容的PT。

  • 添加初步支持以便重排序表。

构建KenLM

  1. 进入KenLM目录:cd lib/kenlm

  2. 使用以下命令构建:./bjam -j 5 link=static

完成构建后即可开始ProbingPT的高效短语表操作。