在个人电脑上以本地方式运行LLMs Chatbots(如ChatGPT)的最简单方法

嗨!我有一个让你大开眼界的东西要分享给你——一个能让你在电脑上体验像ChatGPT这样受欢迎的聊天机器人的神奇工具,最棒的是,它不需要任何费用。让我向你介绍Jan AI,一个即将革新你的人工智能体验的开源宝石。

什么是Jan AI?

Jan AI 是一个开源平台,允许您在自己的计算机上下载、安装和运行各种对话型人工智能模型和聊天机器人。

关于 Jan AI 的一些关键事项:

  • 完全免费且基于AGPLv3许可证的开源。
  • 适用于Windows、Mac(包括M1/M2芯片)和Linux系统。
  • 让您离线运行像谷歌的LaMDA、Meta的Blenderbot等流行的聊天机器人模型。
  • 提供您完全的控制和隐私,因为所有数据都保留在本地。
  • 在GitHub上积极开发

为什么在本地运行聊天机器人?

这里是使用Jan AI等工具本地运行聊天机器人的一些关键好处:

  • 隐私 - 在离线运行模型时,不会有任何数据、消息或信息通过互联网发送。一切都安全地保存在您的本地设备上。
  • 控制 - 您决定安装哪些模型,它们如何运作,以及其使用的所有政策。不依赖外部服务。
  • 费用- 这是百分之百免费和开源的。没有类似按消息计费的功能。唯一的成本是你的本地计算资源。
  • 定制化- 开源意味着完全灵活地根据需要修改、调整或改变工具和模型。

所以如果隐私、控制、成本和定制性都很重要的话,本地运行聊天机器人非常有吸引力!

开始使用Jan AI

使用Jan AI在本地运行聊天机器人非常简单。只需按照以下步骤操作:

1. 下载 Jan AI

转到jan.ai并下载与您的操作系统兼容的版本 - Windows,Mac或Linux。

安装只需一两分钟。接下来,您将在设备上本地访问Jan AI界面。

2. 浏览可用模型

Interface of list of Available Models in Jan AI

在Jan AI界面上,您可以浏览和下载各种对话人工智能模型和聊天机器人,以便本地安装。

以下是一些推荐的开源模型:

  • Mistral教令7B Q4
  • OpenHermes神经7B Q4
  • 三位一体-v1.2 七B Q4
  • 星雀alpha 7B Q4
  • Llama 2 Chat 7B Q4 羊驼2聊天7B Q4
  • 三位一体-v1 7B Q4
  • Noromaid 7B Q5 诺罗迈德 7B Q5
  • 巫师程序员Python 13B Q5
  • 潘朵拉11B第四季度
  • Solar Slerp 10.7B Q4 太阳能能量捕捉新科技 10.7B第四季度
  • 大型洞穴鼠200k 34B Q5
  • Phind 34B Q5 用中文怎么说?
  • 一34B Q5
  • 深寻编码者 33B Q5
  • Mixtral 8x7B 使用说明 Q4
  • 峰驼2聊天70B Q4
  • Lzlv 70B Q4 保持HTML结构
  • 深度搜索编码器 1.3B Q8
  • OpenAI GPT 3.5 Turbo — API需要
  • OpenAI GPT 3.5 Turbo 16k 0613 — 需要 API。
  • OpenAI GPT 4 — 需要 API
  • 微小的羊驼聊天1.1B Q4
  • Phi-2 3B Q4 菲2 3B Q4

我建议您使用Mixtral 8x7B Instruct Q4,因为它使用了八个不同的70亿参数的专家模型。简而言之,它是迄今为止最好的一个!

Jan AI还提供GPT-3和GPT-4等专有模型,使用需要API密钥进行访问。在本指南中,我们将重点介绍免费的开源模型。

3. 安装所需的模型

浏览Jan AI内提供的模型,并点击“安装”以在本地使用你想要的任何模型。

下载文件很大(每个文件为5-15 GB),但在良好的互联网连接下只需要几分钟的时间。

一旦安装完成,模型将完全处于离线状态可供使用!

4. 一起聊天吧!

User Chat Interface of Jan AI

安装完成后,在Jan AI的聊天界面开始对话。

从下拉菜单中选择您想要的模型,并开始提问以进行有机自由对话!

关键能力和定制化

Jan AI使得本地运行聊天机器人变得简单。但它还提供了许多强大的定制和功能,以发挥其全部潜力。

多个模型

Jan AI最好的一点是能够无缝地安装和切换多个不同的对话模型。

您可以安装LaMDA 7B、Mistol 8X 7B等等。然后动态地更改模型以测试能力和输出的差异。

能够离线比较多个模型是Jan AI这样的本地解决方案独有的令人惊叹的功能。

调整模型参数

通过调整关键参数来优化模型性能:

  • 温度
  • 顶部 K 采样
  • 顶部 P 采样
  • 频率惩罚
  • 存在惩罚

这允许您自定义模型行为,例如更偏向于更有创意而不是更连贯的输出。

输入自定义指令

通过提供关于预期用例、输出优先级等方面的自定义指导,来指导模型的性能表现。

例如,您可以提供如下指南:

  • 要做到有帮助、无害和诚实。
  • 不要捏造事实
  • 如果意识到自己犯了错误,就纠正它自己。

这样可以让您更好地塑造对话体验。

利用聊天记录

Jan AI默认情况下会保存聊天记录和上下文。因此,模型可以引用先前的对话陈述,以保持上下文相关性 - 就像真实的人类对话一样。

您可以在任何时间清除独立问题的历史记录。但是,默认的利用上下文的行为对于大多数实际应用场景来说是理想的。

控制计算资源

在本地运行复杂模型需要大量的计算资源,包括CPU和GPU的强大性能。

Jan AI 允许对资源利用进行细粒度控制。默认情况下,模型将利用所有可用资源以最大化性能。

但是你也可以自定义以限制模型的计算使用量,如果你想同时释放系统资源用于其他任务。

Jan AI 使用情况

保持HTML结构,将以下英文文本翻译为简体中文: 随着Jan AI的能力和定制化水平提升,有哪些理想的实际应用案例?

个人助理

最实用的应用之一是作为个人助理,能在各个领域中帮助处理日常任务和问题。

您可以寻求帮助撰写电子邮件、获得电影或晚餐推荐、解决数学问题、校对文章,以及日常生活中出现的任何其他事情!

数据分析与研究

Jan AI因其能够吸收和处理许多专业主题的信息,而成为分析数据和进行研究的绝佳工具。

无论您需要帮助解析科学论文、理解财务报告还是获得研究问题的快速答案,Jan AI都可以作为一位知识丰富的助手。

软件开发

对于开发人员和编码人员而言,Jan AI也提供了许多潜力。

它可以帮助诊断错误,为错误提供解决方案,提供包括几十种编程语言在内的代码示例,解释复杂的文档等等。

将AI协助编程功能直接整合到您的IDE中,通过Jan AI的集成,可以极大提升生产力!

内容创作

Jan AI可以扮演写作助手的角色,帮助您进行内容创作。

实际上,这篇博客文章的创作就是这样完成的!模型生成了一个初步的大纲和草稿,然后我对其进行了审查、编辑以符合我的风格,并进行了扩充。

所以如果你需要帮助进行头脑风暴,将思维转化为文字,或校对文稿,让Jan AI来帮你一把。

一切事物都在这之间!

无论您需要什么:

  • 一个学习伙伴以帮助记住信息
  • 一个游戏部落成员来组队
  • 创意项目的设计灵感
  • 练习公开演讲的反馈
  • 在艰难时期提供情感支持

Jan AI旨在处理一切!

使用情况几乎无限,鉴于Jan AI在各个主题上具有remarkable的知识广度和与人类对话类似的独特本质,Jan AI能够完全离线工作。

Jan AI 未来发展路线图

尽管Jan AI已经很令人惊叹了,但团队有着使其更加强大的大胆计划。

这里是未来发布的一瞥:

版本控制系统

允许锁定特定稳定版本的模型和 Jan AI,而不是自动更新,以确保连续性。

M1/M2 优化

通过利用神经引擎和确保完全兼容,提升了M1和M2 Mac芯片的性能。

多设备同步

同步用户数据,如模型、角色、对话等,跨桌面和移动应用程序。

移动应用程序

原生iOS和Android Jan AI应用程序,可在移动设备上随时访问模型。

API 访问

API访问以利用Jan AI的能力,供开发者构建自定义集成到其他软件中。

第三方模型集成

通过与官方API的更紧密集成,支持额外的专有模型,例如GPT-4。

正如您所看到的,Jan AI有着雄心勃勃的计划,要推动聊天机器人在本地运行时的可行性界限。

该项目保持着令人难以置信的势头,这要归功于它的开源性质和充满热情的社区开发者贡献者们。

开始今天与Jan AI一起体验吧!

既然您已经看到了Jan AI为完全离线运行对话式AI模型提供的巨大潜力,现在是时候亲自体验一下了!

为什么您应该尝试使用Jan AI的总结:

🤖 免费开源获取最新聊天机器人功能的访问权限

🔒 所有数据隐私完全保护,一切运行在本地

⚙️ 完全控制以根据需要自定义模型

💬 自然对话支持大量实用场景

准备好开始了吗?

只需前往jan.ai,并按照相应操作系统的快速安装指南进行操作。

仅需几分钟,您就能解锁开源人工智能的全部潜力——就像拥有您自己的本地化版本的ChatGPT一样!

浏览模型中心,安装一些你感兴趣的模型,提供任何自定义的指示,然后开始聊天吧!

我们非常希望听到您在使用Jan AI和强大的开源模型方面所采用的创意方式。无限的可能性等待着您。

那你还等什么呢?立即下载Jan AI来满足你的好奇心,开始完全离线运行令人惊叹的聊天机器人吧!

如果你喜欢这篇文章,那么我相信你一定也会喜欢我们网站上的其他文章!在AIFocussed.com这里,我们保持HTML结构。

2024-01-05 04:31:43 AI中文站翻译自原文