Skip to content

AI模型

AI模型是SuperTi平台为用户提供的一项便捷功能,可用于快速创建和部署AI模型实例。用户只需在导航栏中选择AI模型,即可浏览平台提供的开源模型库,并根据需求一键创建相应的模型实例。

  1. 点击AI模型进入模型列表页面: alt text
  2. 选择模型进入详情页面,创建实例:
    通过创建模型实例可以直接选择服务器; 通过复制实例下载命令,用户可以在其他实例中按需下载该模型使用。 alt text
  3. 选择合适的GPU服务器: alt text
  4. 创建实例后,即可查看实例列表,并进入实例详情页面:
    列表页提供了实例的多种访问方式,包括JupyterLab、Code-Server,LlamaFactory和SSH等。 alt text
  5. 访问快捷工具JupyterLab:
    打开JupyterLab界面,可以进行代码编辑、运行、调试,查看日志等操作。 alt text
  6. 访问快捷工具Code-Server:
    进入WebIDE,默认打开Llamafactory 项目,用户自定义调整内容;调整后需要在终端中,中断运行的Llamafactory 进程并重新运行。 alt text
  7. 访问LlamaFactory:
    进入Llamafactory 可视化微调页面,默认已选中模型根据需求配置参数,选择数据集,点击开始即可开始您的模型微调之旅。 alt text

重要提示:RTX 4090 显卡在多卡并行训练时存在硬件限制,不支持 P2P(Peer-to-Peer)通信和 IB(InfiniBand)加速功能。因此在使用 LlamaFactory 进行多卡模型微调之前,需要执行以下步骤:

在终端中使用命令查找LlamaFactory进程,终止找到的进程后设置以下环境变量并重新启动:

shell
root@superti-3043dc6e:~/superti-tmp# ps -efl | grep llamafactory
4 S root          68      63 25  80   0 - 4780800 hrtime 18:58 ?      00:00:22 /usr/bin/python /usr/local/bin/llamafactory-cli webui
0 S root         524     423  0  80   0 -  2392 pipe_r 18:59 pts/2    00:00:00 grep --color=auto llamafactory
root@superti-3043dc6e:~/superti-tmp# kill 68 
root@superti-3043dc6e:~/superti-tmp# export NCCL_P2P_DISABLE=1
root@superti-3043dc6e:~/superti-tmp# export NCCL_IB_DISABLE=1
root@superti-3043dc6e:~/superti-tmp# /usr/bin/python /usr/local/bin/llamafactory-cli webui