GitLocker: The Coding Marketplace

Description:

pmfp 4.1.11

pmfp

version: 4.1.10
status: dev
author: hsz
email: hsz1273327@gmail.com

Description
一个用于管理项目及相关开发的工具
keywords: tool,project_manager
特点

可以独立使用功能模块
根据模板快速构建项目
简单的编译和打包指令
快速测试
文档维护,支持github page

注意

要支持grpc或者protobuf需要安装相关依赖

通用的编译工具:protoc
python: grpcio,grpcio-tools
node: @grpc/proto-loader,async,google-protobuf,grpc,lodash,minimist

Install
python -m pip install pmfp
使用
pmfp现在被设计为两个部分:

项目管理部分用于快速根据托管在git仓库上的模板仓库项目构造项目
调用功能部分用于为不同的项目提供特定功能

项目管理
项目管理使用的子命令为project,其整体设计思路是这样:

借助git仓库来保存组件模板.
每个组件模板使用jinja2作为模板引擎,允许使用其模板语法
用于保存组件模板的git仓库称为资源包(source pack)
资源包需要使用一个文件来声明其中注册的组件和默认行为,默认这个文件为资源包根目录下的.pmfp_template.json文件.其具体schema可以查看项目的protocol.py文件中的TEMPLATE_INFO_SCHEMA对象定义
如果资源包声明文件中template_type不为components则说明这是一个模板资源包,我们就可以根据其作为模板构造项目.
资源包中每个组件都有一个source字段,这个字段用于声明组件的位置,如果其中有//则说明它是引用的另一个资源项目的组件
根据模板包构造项目只要指定一个资源包路径即可,其形式为[[{host}::]{repo_namespace}::]{repo_name}[@{tag}]
如果是已有项目要添加组件,则可以使用[[{host}::]{repo_namespace}::]{repo_name}[@{tag}]//{component_path_str}
默认的host为github.com,默认的repo_namespace为Project-Manager-With-Git,默认的tag为latest,如果tag为latest它会拉取master分支的head.默认的资源仓库可以通过修改~/.pmfprc/config.json来修改,

另外我们还可以使用cache子命令管理资源包缓存
资源仓库类型
本项目将所有资源仓库类型分为如下几种:

socket,专指基于网络的通讯程序,包括http服务,websocket客户端与服务,各种rpc客户端与服务,以及zeromq,webrtc等
GUI,专指图形界面
task专指主动执行的任务,比如一般脚本,定时任务
watcher监听器,被动监听事件的任务,比如监听文件系统的任务,监听消息中间件的任务
module模块,必须被其他程序调用的程序
components组件集合,本身并不能执行
doc文档型组件

资源仓库版本标签
资源仓库的分支和tag名都可以作为版本标签,但有两个特殊标签会进行更新操作,其他标签一旦下载到本地就不会更新了.因此构造资源仓库时建议使用git的tag维护稳定版本模板.
两个特殊标签为:

latest会拉取master或者main分支.这个标签应该保证为最新的可用版本
dev会拉取dev分支,这个标签意为开发版本,并不需要保证是可用版本

项目语言及对应的环境
本项目目前之前如下语言和执行环境组合:

language为py

env为venv,即python的标准库venv生成的c python虚拟环境
env为conda,即anaconda/miniconda生成的c python虚拟环境
env为pypy,即python的标准库venv生成的pypy虚拟环境

language为js

env为node,即以node为执行环境的javascript的babel标准环境
env为webpack,即以浏览器为执行环境,使用webpack编译项目的javascript的babel标准环境

language为cython

env为venv,即python的标准库venv生成的c python虚拟环境
env为conda,即anaconda/miniconda生成的c python虚拟环境

language为go

env为gomod,即golang的gomod模式管理项目

language为C

env为cmake,即使用cmake作为c语言的项目管理工具

language为CXX

env为cmake,即使用cmake作为c语言的项目管理工具

language为md

env为http,即使用markdown作为目标语言托管到http服务器上的纯文档环境

直接调用功能
支持直接调用功能的子命令包括:

build打包项目到可分发状态.
doc快速构造项目的文档
docker image快速构造docker镜像
docker compose快速构造docker部署配置
env快速构建项目的独立执行环境
grpc快速构造了grpc的客户端和服务端
http用于构造静态http服务和构造http请求和压测
proto用于快速构建和编译protobuf文件
schema用于校验jsonschema
test用于对项目进行测试
requires用于管理依赖

build打包项目到可分发状态
这条命令的含义为--打包项目到可以分发的状态.不同编程语言可以打包到的状态并不相同:

golang:

exec可执行文件
alib静态库
dlib动态库(linux专用)
zip源码压缩归档

python:

exec,可执行的.pyz文件
zip,wheel归档

v4.1.11
bug修复

修复project new 拉取latest标签时无法拉取master分支的问题

v4.1.10
新增特性

grpc build子功能添加对grpc-gateway的支持,在--language设置为go时如果web设置为True则会编译grpc-gateway的支持文件

v4.1.9
bug修复
修复go 1.18+后require(会有多个的bug
v4.1.8
新特性

project子功能中对dev分支的特殊支持,现在dev分支的行为也会和master分支一样

变动

修改docker-compse生成器中kafka和etcd等的配置,现在的常用服务包括"redis", "postgres", "zookeeper", "kafka", "etcd", "clickhouse", "cassandra", "envoy", "minio"

v4.1.7
bug修复

doc build中doc_source_dir参数现在有了默认值""

现在没装node或者go也可以使用了

v4.1.6
bug修复

doc new针对go语言的接口参数修正了字段含义弄混的bug
doc build针对go语言的接口参数修正了字段含义弄混的bug

新特性

project add和project new中会处理模板文件夹中文件或文件夹名中含有_ref_和_fre_的对象,将他们的名字也作为jinja模板处理
doc new新增一个参数is_web,当language为go且is_web为真时执行swag init --parseDependency --parseInternal
doc build新增一个参数is_web,当language为go且is_web为真时执行swag init --parseDependency --parseInternal

v4.1.5
bug修复

grpc build针对go语言的的接口更新到满足protobuf-go@1.26+和protoc-gen-go-grpc@v1.1+

v4.1.4
bug修复

grpc build针对C++的方式行为修改为类似python的方式,to会被自动加上指定proto文件的文件名,当路径不存在时会创建
grpc listservice删除了无效参数service

v4.1.3
变动

grpc build针对C++的方式行为修改为类似python的方式,to会被自动加上指定proto文件的文件名

bug修复

修正proto build和grpc build因为source_relative字段改动造成无法使用的问题

v4.1.2
变动

proto build命令针对js语言增加了参数js_import_style
proto build命令针对go语言增参数source_relative改为go_source_relative
grpc build命令针对js语言增加了参数js_import_style,web,web_import_style和web_mode来细化js模块的使用环境
grpc build命令针对go语言增参数source_relative改为go_source_relative
grpc build命令现在加回了对c++的支持

v4.1.1
变动

grpc build接口变动,新增字段serv_file用于指定定义rpc接口的文件.针对python的编译会将两个文件放在{serv_file}_pb模块下
删除grpc build使用的jinja2模板
暂时取消了grpc build对c++的支持

bug修复

修复grpc build对python时会一直往__init__.py中写东西的bug

v4.1.0
新增特性

现在模板配置的template_keys字段支持新字段ask(boolean),用于让pmfp提示用户输入key的取值
go语言的env new可以指定依赖了

变动

grpc现在不再用于构造基于模板的项目,grpc项目现在也将使用project命名构造.grpc的build命令将只用于编译grpc的proto到目标语言的模块
go语言的require install命令当不指定-n时使用go mod tidy更新依赖

bug修复

修复docker image build --push报错的问题
修复docker image build逻辑错误

v4.0.10
bug修复

修正project new时参数覆盖顺序的问题,现在越浅层会覆盖深层

v4.0.9
改进

改进了grpc query和grpc stress的使用,-d/--payload现在指向一个写着请求json的地址,默认为query.json,新增-s/--service,用户不再需要记怎么将service和method组合了

v4.0.8
bug修复

修正了env new无法给已经初始化过的项目创建执行环境的bug
修正了project as_temp无法转换dockerfile和docker-compose的问题
修正了project as_temp转换文件后source字段不加.jinja的问题
修正了project new和project add不会将项目信息作为参数的问题

改进

新增快捷命令install相当于requires install
新增快捷命令uninstall相当于requires uninstall
命令build和pack合并,重新整理,这条命令现在用于打包项目到可分发状态
命令env new针对python,当对应参数没有填时会添加默认的tests_require和setup_requires
命令env new针对cython,当对应参数没有填时会添加默认的tests_require和setup_requires
project new现在当组件不存在时会提示是什么组件

v4.0.7
改进

修改了project new的执行顺序,现在先拉取模板再创建执行环境
现在project new执行报错后会删除这步操作时创建文件和文件夹
现在project new执行过程中使用Ctrl+Break或者Ctrl+C(KeyboardInterrupt, SystemExit)终端执行时也会删除这步操作时创建的文件和文件夹

v4.0.6
bug修复

修正了version命令展示过期版本问题
修正了project add和project new时无法使用自定义key作为路径参数的bug
修正了project new时外部组件不能使用模板定义的参数的问题

v4.0.5
bug修复

修正了gomod中加载项目依赖信息的错误
修正了project as_temp在没有依赖时也会添加null的错误

v4.0.4
bug修复

修复依赖错误

v4.0.3
bug修复

修复了python项目创建时的bug
修复依赖不全安装报错的bug

v4.0.2
bug修复

修复了python新建环境时报错的bug

改进

修改了模板的类型枚举
project as_template子命令现在也会生成测试依赖了
修改了env new的参数,改为必须有language而非env
修改project new,现在env不是必填的参数,如果指定了template则可以不再指定language,如果没有则必须指定language

v4.0.1
bug修复

修正了cache clean命令无法执行的bug

改进

修改protocol,支持不声明language的组件
修改cc和cxx为全局项目配置
修改golang_version,python_version,node_version为全局项目配置

v4.0.0
4.0.0版本在整体架构和使用方式上都做出了大规模修改,现在多数功能都可以脱离pmfprc.json单独执行.pmfprc.json的作用现在只是一个存储默认参数的特殊文件,没有也可以执行.同时改用git仓库作为模板保存工具,从而增强扩展性同时减小pmfp的大小
新特性

功能性操作全部不再依赖pmfprc.json
使用git仓库作为模板保存位置.

移除的特性(后续版本会回来)

移除对python 3.6以下的支持,本工具必须使用python3.6以上的版本

MIT License
Copyright (c) 2020 Python-Tools
Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:
The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.
THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.