GitLocker: The Coding Marketplace

Description:

openitesthi 0.1.6

OpenI PyPi

PYPI package for 启智AI协作平台。

使用说明安装

启智平台提供的Python工具包，使用户能在本地上传数据集。
用户可以获取镜像内存放代码，数据集，模型，输出结果的路径
可以使用公共函数实现数据集的拷贝，模型的上传等
使用说明：

使用前请在平台个人设置中获取token：点击跳转token获取界面
当前版本为了解决用户上传数据集的需求，建议在本地使用。后续版本将适配代码仓配置、隐藏token及云脑任务。

安装
适配python3.6及以上版本
pip install -U openi-test

本地上传数据集示例
dataset.upload_file(file, username, repository, token, cluster = "NPU")
上传本地单个文件到启智平台数据集，支持断点续传

file str, 必填：文件路径(包含文件名，支持linux与mac路径，也支持windows文件路径如d:\xxx)
username str, 必填：上传数据集所属项目owner用户名，可以是用户或组织
repository str, 必填：数据集所属项目路径，此为仓库地址中的名字，更改过名称的项目需填写仓库地址中的路径
token str, 必填：用户启智上获取的令牌token，并对该数据集有权限
cluster str, 选填, 默认"NPU"：可填入GPU或NPU，上传至不同的存储集群

from openi.dataset import upload_file
upload_file(
file = "", # 必填，文件路径(包含文件名)
username = "", # 必填，数据集所属项目用户名
repository = "", # 必填，数据集所属项目名
token = "", #必填，用户启智上获取的令牌token，并对该项目数据集有权限

cluster = "", # 选填，可填入GPU或NPU，不填写后台默认为NPU
app_url = "" #选填, 默认为平台地址，用户不用填写，开发测试用
file = "",
username = "",
repository = "",
token = "",
cluster = ""
)

界面如下：

GPU，GCU资源获取路径函数及示例：
#公共函数
from openi.path import (
get_code_path,
get_data_path,
get_pretrain_model_path,
get_output_path,
push_output_to_openi,
)
#使用方法：
code_path = get_code_path()
data_path = get_data_path()
pretrain_model_path = get_pretrain_model_path()
output_path = get_output_path()
push_output_to_openi = push_output_to_openi()

NPU资源使用公共函数及示例
#公共函数
from openi.cloudbrain import (
openi_multidataset_to_env 启智集群任务将数据集拷贝到训练镜像
c2net_multidataset_to_env 智算集群任务将数据集拷贝到训练镜像
pretrain_to_env 将预训练模型文件拷贝到训练镜像
env_to_openi 将训练镜像的输出结果拷贝回启智平台
obs_copy_file 通过mox拷贝文件
obs_copy_folder 通过mox拷贝文件夹
)
#使用方法：
openi_multidataset_to_env(args.multi_data_url, data_dir)
c2net_multidataset_to_env(args.multi_data_url, data_dir)
pretrain_to_env(args.pretrain_url, pretrain_dir)
env_to_openi(train_dir,args.train_url)
obs_copy_file(obs_path_file,local_path_file)
obs_copy_folder(obs_path,local_path)

test