Jan是一款在您的桌面或服务器上 100% 离线运行的 ChatGPT 替代品。Jan 的设计理念是让每个人都能轻松下载和使用大语言模型（LLM），并在完全控制和隐私保护的前提下享受 AI 技术带来的便利。无论是日常使用还是专业应用，Jan 都能提供高效、安全和可靠的 AI 体验。接下来，我们将介绍 Jan 的主要功能和独特之处。

一.功能介绍

Jan 是一款可以在您的桌面或服务器上 100% 离线运行的 ChatGPT 替代品，旨在让普通人也能轻松下载和使用大语言模型（LLM），并在完全控制和隐私的情况下使用 AI。Jan 由可嵌入的本地 AI 引擎 Cortex 提供支持，并在 https://localhost:1337 提供 OpenAI 等效 API，使其兼容 Continue.dev 和其他 OpenAI 兼容应用程序。其特性包括：

拥有 Llama3、Gemma 或 Mistral 等热门模型的模型库
连接到如 Groq 和 OpenRouter 等远程 AI API
提供与 OpenAI 相当的本地 API 服务器
支持通过扩展定制 Jan

二.安装教程

1.下载地址：

链接：https://pan.baidu.com/s/1nhQWA7LePAvXwxeY9pfCvA

提取码：l6w4

Jan官网地址：https://jan.ai/

2.下载解压，打开exe文件，一键安装

3.导入模型

文件夹提前下好了一些模型，可以直接使用

点击右侧如下图所示，再点击import Model

点击上传

选择对应文件夹导入,出现下面画面，第一个选项是不移动，第二个详细是复制并移动到指定目录

点击continue importing即可，出现1/1既导入成功，关闭窗口

三.运行模型CPU模式

点击右下角设置图片，选择模型启动

进入聊天界面，选择模型，发送信息即可

四.运行模型GPU模式

1.检查NVIDIA 驱动程序

win+R打开cmd,运行nvidia-smi

出现以下画面即成功，如果出现找不到可运行程序，则去官网下载驱动

官网地址：https://www.nvidia.cn/drivers/lookup/

2.检查CUDA驱动程序

win+R打开cmd,运行,nvcc --verison

安装curd驱动，双击文件包里面的cuda,直接无脑点击下一步安装

安装完成之后，win+R打开cmd,运行,nvcc --verison，这样就安装成功了

3.启动GPU模式

打开左侧设置，如下图所示启动即可，目前只支持英伟达显卡

五.api调用

点击左侧第三个模块，在右侧选择对应模型，点击start server启动即可

启动完成右侧展示日志

postman请求示例如下

curl --location 'http://localhost:1337/v1/chat/completions' \
--header 'Content-Type: application/json' \
--data '{
  "messages": [
    {
      "content": "你是誰",
      "role": "system"
    },
    {
      "content": "请用中文回复我下面的问题",
      "role": "user"
    }
  ],
  "model": "模型名称",#注意这里写你模型的名称
  "stream": false,#是否开启流式对话
  "max_tokens": 2048,
  "stop": [
    "hello"
  ],
  "frequency_penalty": 0,
  "presence_penalty": 0,
  "temperature": 0.7,
  "top_p": 0.95
}'

PowerShell