is_CLIP_easily_fooled 使用CLIP零摄学习图像分类器进行的小型ML实验,使用后置图像和鸡蛋和猫的自然图像 :chequered_flag: 初始点 继最近的CLIP(对比语言-图像预训练)模型的图片被贴有Post-it的绿色苹果的图片所迷惑后,其中记下了“ iPod”,我们尝试查看是否对笔记本计算机进行了这种“文字攻击”模型可以与其他对象和设置一起复制。 根据我们的结果,似乎该模型的结果显然对记在便利贴上或直接写在对象上的文本数据敏感,但可能不是在apple / Ipod示例中提出的要点。 :test_tube: 实验 我们将注意力集中在两类物体上:一个鸡蛋和一个猫。 与苹果和iPod相比,这些类别的优势是彼此之间更“正交”,因为iPod本身就是一家名为“苹果”的公司的著名产品。 测试了5种不同的实验设置: 实验1:将一个“损坏的”蛋对象放置在基本“桌面风光”的中间。 我们直接在鸡蛋上贴上了便笺,在鸡蛋上