数据管理

「数据管理」覆盖数据集全生命周期：创建与版本管理、文件上传/预览/编辑、Hub 导入，以及基于 Data-Juicer 的数据清洗和 LLM 生成式数据增强。

入口路径：左侧菜单 AI 智算开发 > 数据管理，页面路由 /admin/ai/deployer/data。

数据集

创建数据集

1. 进入 AI 智算开发 > 数据管理 > 数据集。
2. 点击「创建数据集」，在右侧抽屉中填写：
   • 名称：英文字母/数字/中划线/下划线，2-64 字符，如 alpaca-train。
   • 显示名称：中文或英文，便于识别。
   • 描述：可选，255 字以内。
   • 数据格式：Alpaca / ShareGPT / 自定义。
   • 多模态类型：无 / 图片 / 音频 / 视频；选择后创建不可修改。
   • 可见范围：项目可见 / 租户可见 / 公开。
   • 工作空间/项目：按可见范围自动展示。
   • 存储路径：可选，留空系统自动生成。
3. 点击「创建」，数据集创建成功后进入详情页。

管理版本与文件

进入数据集详情页：

1. 新建版本：点击「新建版本」，输入版本名称（如 v1）和描述，系统会生成独立存储路径。
2. 上传文件：在版本详情中上传本地文件；支持嵌套子目录。
3. 文件操作：
   • 预览文本/JSON 文件内容。
   • 在线编辑 JSON 文件。
   • 下载、删除、重命名文件或目录。
4. Hub 导入：点击「Hub 导入」，选择 ModelScope 或 HuggingFace，填写仓库 ID，系统会自动下载并创建版本；导入过程中可查看进度徽标。
5. 版本归档/删除：对于不再使用的 Ready 版本可归档；未就绪版本可直接删除。

使用数据集

• 创建训练/微调/评测任务时，在「数据集」下拉中选择已创建的数据集和版本。
• 多模态数据集需确保媒体文件放在 JSON 同级的子目录中，JSON 中使用 <image> / <audio> / <video> 占位符。

数据清洗

数据清洗基于 Data-Juicer，按规则过滤低质量样本并输出为新版本。

创建清洗任务

1. 进入 AI 智算开发 > 数据管理 > 数据清洗，点击「创建数据清洗任务」。
2. 第一步：选择数据集
   • 任务名称：小写英文/数字/中划线。
   • 源数据集与版本：选择要清洗的数据集版本。
   • 清洗字段：选择要处理的字段（如 instruction、output、content），支持自定义。
   • 输出版本名称：清洗结果会保存为源数据集下的新版本。
3. 第二步：清洗配置
   • 清洗配置：去除乱码、去除 HTML 标签。
   • 过滤配置：长度过滤、特殊字符比例、有害内容过滤；高级选项支持语言检测、困惑度过滤。
   • 去重配置：模糊去重、精确去重、重复内容检测。
   • 隐私保护：隐私信息替换或移除。
   • 规范化配置：Unicode 规范化、空白清理、繁体转简体。
4. 第三步：确认提交
   • 核对源数据集、清洗规则、输出版本，点击「提交任务」。
5. 任务运行完成后，进入源数据集详情查看最新版本。

查看清洗任务详情

在数据清洗列表点击任务名称进入详情页，可查看任务的清洗配置、运行状态与日志；任务失败时可据此定位是镜像、启动命令还是数据格式问题。

数据增强

数据增强使用 LLM 对现有样本进行改写、扩写或生成新样本。

创建增强任务

1. 进入 AI 智算开发 > 数据管理 > 数据增强，点击「创建数据增强任务」。
2. 选择数据集：填写任务名称，选择源数据集版本和输出版本名称。
3. 增强配置：
   • 选择增强方式（改写/扩写/续写/按模板生成等）。
   • 配置目标字段与提示词模板。
   • 选择用于生成的模型与 API Key。
   • 设置生成数量、温度等参数。
4. 确认提交：系统会在后台运行增强任务，完成后生成新版本。

查看增强任务详情

在数据增强列表点击任务名称进入详情页，可查看增强配置（增强方式、提示词模板、使用模型）、运行进度与生成结果统计；增强完成后，结果会保存为源数据集下的新版本。

在线增强

「在线增强」提供单条文本的实时改写/扩写入口，无需提交后台任务即可快速查看效果，适合探索提示词模板。

使用在线增强

1. 进入 AI 智算开发 > 数据管理 > 在线增强。
2. 配置模型 Endpoint、模型名称、API 密钥，点击「模型检测」确认连通性。
3. 在「系统提示词」文本框中编写增强改写提示词。
4. 在「原始数据」文本框中输入待增强的单条文本。
5. 设置增强倍数，点击「开始数据增强」。
6. 系统会按全部成功/部分失败/失败分级提示；增强结果以表格展示，支持单条复制/删除、一键清空、一键复制全部。

常见问题

Q：数据集版本状态一直 Creating 怎么办？ A：Hub 导入或大文件上传可能需要几分钟；可点击版本「详情」查看文件数与状态，若失败会显示错误信息。

Q：清洗任务报错「找不到模型路径」？ A：数据清洗不加载模型，该错误通常指任务镜像或启动命令配置异常，检查任务详情页日志。

Q：多模态数据集在微调任务中无法识别图片？ A：确认创建数据集时选择了正确的多模态类型，且媒体文件路径与 JSON 中占位符相对路径一致。