Python插件机制实现详解

插件机制是代码/功能反向依赖注入到主体程序的一种方法，编译型语言通过动态加载动态库实现插件。对于Python这样的脚本语言，实现插件机制更简单。

机制

Python的__import__方法可以动态地加载Python文件，即以某个py脚本的文件名作为__import__的参数，在程序运行的时候加载py脚本程序模块。对应的import关键字则是静态加载依赖的py模块。

描述

__import__() 函数用于动态加载类和函数 。

如果一个模块经常变化就可以使用 __import__() 来动态载入。

语法

__import__ 语法：

__import__(name[, globals[, locals[, fromlist[, level]]]])

参数说明：

name -- 模块名

需要动态加载的py脚本若存放在任意的目录下，则需要首先需要增加脚本查找路径：

sys.path.append(modulePath)

应用示例

# 增加查找路径
sys.path.append(modulePath)
# 加载脚本
module = __import__(moduleName) 
# 保存脚本对象，否则会被析构    
self.modules[moduleName] = module
# 调用插件中的方法初始化
module.InitModule(self) 

总结

使用插件机制可以实现高内聚低耦合的程序。

在实践中，我们处理的任务有若干的可执行程序配合完成，可执行程序可以是C++，.Net , Java，甚至其他脚本程序，这时候我们使用Python作为粘合剂，定义了主体的任务流程框架，使用插件机制动态的注入需要执行的任务。

另外当在不同的情况下，需要使用不同的exe配合的时候，我们只需要用json定义需要的exe组合，主程序不需要做任何的更改就可以满足变换的业务需求。

补充知识：Kusto使用python plugin

整个流程为kusto的数据进入python脚本时自动转化为pandas DataFrame，

python 脚本的输出自动转化为kusto table，其中列名和变量都保持不变。

Python 脚本紧接着Kusto的输出

注意以下几点

1.typeof为python脚本输出的参数

2.typeof 中的数据类型跟python脚本输出pandas DataFrame列是完全一致的，包括变量名，变量类型，前后不一致的话会报错

3.typeof 中*表示复用输入的数据类型， 比如（ *，age:int） 表示输入在输出的基础上多个了age属性

4. python脚本的输入是转化为DataFrame 的kusto table, 其在python脚本里的变量名为df（会自动匹配上）， 同时我们要让输出的DataFrame 命名为result, 程序会自动输出

5. python 中可以接受外界参数，通过 kargs["topK"]这样的形式,kargs是系统默认的传递参数的变量， 同时kusto在python脚本的最后通过pack("topK", 10)这样的形式往python脚本中传递参数

6 .python脚本可以直接写在kusto代码中，也可以以链接的形式访问

7. kusto 中的python运行企业版的anaconda上，个人没法轻易安装自己想要的包，所以如果要使用某些包，最好是将其功能用最基本的包写好。kusto 运行镜像的沙盒支持 numpy ,pd, 以及tensorflow ,keras ,torch hdbscan, xgboost 这些比较大众的包