掌握语言模型中的提示压缩

揭晓提示压缩的魔力

嘿！如果你对人工智能和机器学习的世界着迷，那么你可能听说过像ChatGPT、Claude和它们的同类一样的大型语言模型（LLM）。这些人工智能奇迹可以聊天、写作，甚至编程，但它们有一个致命弱点——它们非常啰嗦。这就是引入“提示压缩”的地方，这是一项巧妙的技术，目的在于使这些人工智能巨头更加简洁高效。就像用一个小背包为一个长达一个月的旅行打包行李一样！

什么是提示压缩？

简单来说，提示压缩是缩小输入LLM的提示大小的艺术。将提示视为您向AI提出的问题或指令。目标是为了节省计算资源并降低成本。毕竟，在AI世界中，少即是多！

酷炫技巧

1. 截断 — 快速且简单的方式

就像剪掉一根长绳子的末端一样。虽然容易，但有时可能会剪掉一些重要的东西。

2. 提取要点 — 智能压缩机

想象一下，教一个微型模型将一个长故事总结成一条推文。这对于非常长的提示来说非常棒。

3. 无损压缩算法——技术精通的方法

对于喜欢尝试像Gzip或LZMA这样的算法来压缩提示信息而又不丢失任何信息的极客们来说，这个是为你准备的。

4. 粗粒度和迭代级的令牌压缩 — 双重打击

一个两步舞，首先剔除冗余（粗粒度），然后微调措辞（迭代的令牌级别），使其简练。微软的LLMLingua在这方面非常出色，能够将提示压缩至原大小的20倍！

5. 使用特殊字符和缩写 — 信息风格

这就像使用“LOL”代替“大声笑”。一种巧妙的缩短信息的方式，而不丧失意义。

6. 提示削减应用程序 — 方便的助手

像Prompt Reducer或gptrim.com这样的工具就像是你友好的邻居理发师，将提示修整得整洁有序。

7. 训练通用提示压缩器 —— 未来的浪潮

这真是高级的技术，训练一个模型以即时压缩任何提示。就像拥有能控制所有设备的通用遥控器一样。

实际的代码示例

Python中的简单截断示例

import openai
def simple_truncate(prompt, limit=500):
    # Chop the prompt to the first 500 characters
    return prompt[:limit]
long_prompt = "Imagine you have to write about the entire history of the Roman Empire..."
print(simple_truncate(long_prompt))

python中的LLMLingua风格压缩

import openai
import nltk  # Ensure NLTK is installed
def llmlingua_style_compress(prompt):
    sentences = nltk.sent_tokenize(prompt)
    coarse_compressed = sentences[:5]
    iteratively_compressed = [" ".join(sentence.split()[:10]) for sentence in coarse_compressed]
    return " ".join(iteratively_compressed)
complex_prompt = "The Roman Empire's history is fascinating..."
response = chat_with_gpt(llmlingua_style_compress(complex_prompt))
print(response)