本文通过评测流程揭开ChatGPT推荐能力的面纱。评测流程包含Pre-process模块、LLM和Post-process模块。Pre-process模块将原始数据转化为domain-specific的prompt，并将其输入给LLM。LLM输出经过Post-process模块进行格式验证，并进行各项指标的评测。Prompt的设计包括Task Description、Demonstation Examples和New Input Query三个部分。Task Description帮助LLM理解推荐任务，Examples参考in-context learning以规范输出格式，New Input Query包括用户历史和当前的candidate item。文章探讨了point-wise ranking中的候选物品预测。