Dubhe/dataset-util/README.md

# 之江天枢-数据集导入脚本

**之江天枢一站式人工智能开源平台**（简称：**之江天枢**）,为了实现其他平台已标注完成的数据集在「一站式开发平台」上进行开发，我们增加了数据集导入的功能，实现对数据集的全流程功能操作。

## 源码部署

安装如下软件环境。
- OpenJDK：1.8+

## 下载脚本

- 数据集模板：http://tianshu.org.cn/static/upload/file/dubhe-dataset-template.zip 
- 上传数据集脚本：http://tianshu.org.cn/static/upload/file/upload_dataset.zip


## 脚本使用说明：

- 登录天枢系统深度学习平台，在数据管理菜单下的数据集管理中创建数据集。获取数据集ID
- 需要自行准备图片文件、标注文件、标签文件
   
## 运行脚本：

1.解压下载的zip文件，需要自行配置数据源、MinIO相关配置

2.运行脚本Windows 运行 run.bat; macOS/Linux 系统运行 run.sh 

注：可自行配置'application-{env}.xml'文件，执行命令后面添加 'run.bat {env}'即可执行对应的application-{env}.xml；然后按提示进行操作

3.输入数据集ID 

4.输入待导入数据集绝对路径

   
## 目录结构：

```
标签文件： label_{name}.json ({name} 代表标签组名，可自行定义; 只读标签组文件夹下的第一个标签组文件，标签文件仅支持:.json 支持大小写;文件内容为JSON字符串)
图片文件目录： origin (图片文件需要有后缀名，支持四种格式：.jpg,.png,.bmp,.jpeg 支持大小写)
标注文件目录： annotation (标注文件需要有后缀名，仅支持格式：.json 支持大小写; 文件内容为JSON字符串) 
```    
## 文件格式

- 标签文件内容样例:
```
    name: 名称
    color: 颜色(16进制编码)
```     
详细示例：   
```
[{
	"name": "行人",
	"color": "#ffbb96"
}, 
{
	"name": "自行车",
	"color": "#fcffe6"
}, 
{
	"name": "汽车",
	"color": "#f4ffb8"
}]
```

- 标注文件内容样例：
```
    name: 名称
    bbox: 标注位置
    score：分数
```
详细示例： 
```
[{
	"name": "行人",
	"bbox": [321.6755762696266, 171.32076993584633, 185.67924201488495, 145.02639323472977],
	"score": 0.6922634840011597
}, 
{
	"name": "自行车",
	"bbox": [40.88740050792694, 22.707078605890274, 451.21362805366516, 326.0102793574333],
	"score": 0.6069411635398865
}]
```
  
## 了解更多 
  
http://docs.dubhe.ai/docs/module/dataset/import-dataset