python函数任务编排,python任务调度框架

在Python中定义Main函数

目录

成都创新互联公司主要从事成都网站设计、成都网站制作、外贸网站建设、网页设计、企业做网站、公司建网站等业务。立足成都服务松江,十载网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:18980820575

许多编程语言都有一个特殊的函数，当操作系统开始运行程序时会自动执行该函数。这个函数通常被命名为main()，并且依据语言标准具有特定的返回类型和参数。另一方面，Python解释器从文件顶部开始执行脚本，并且没有自动执行的特殊函数。

尽管如此，为程序的执行定义一个起始点有助于理解程序是如何运行的。Python程序员提出了几种方式对此进行实现。

本文结束时，您将了解以下内容：

Python中的基本main()函数

一些Python脚本中，包含一个函数定义和一个条件语句，如下所示：

此代码中，包含一个main()函数，在程序执行时打印Hello World!。此外，还包含一个条件（或if）语句，用于检查__name__的值并将其与字符串"__main__"进行比较。当if语句为True时，Python解释器将执行main()函数。更多关于Python条件语句的信息可以由此获得。

这种代码模式在Python文件中非常常见，它将作为脚本执行并导入另一个模块。为了帮助理解这段代码的执行方式，首先需要了解Python解释器如何根据代码的执行方式设置__name__。

Python中的执行模式

Python解释器执行代码有两种方式：

更多内容可参考如何运行Python脚本。无论采用哪种方式，Python都会定义一个名为__name__的特殊变量，该变量包含一个字符串，其值取决于代码的使用方式。

本文将如下示例文件保存为execution_methods.py，以 探索 代码如何根据上下文改变行为：

在此文件中，定义了三个对print()函数的调用。前两个打印一些介绍性短语。第三个print()会先打印短语The value __name__ is，之后将使用Python内置的repr()函数打印出__name__变量。

在Python中，repr()函数将对象转化为供解释器读取的形式。上述示例通过使用repr()函数来强调__name__的值为字符串。更多关于repr()的内容可参考Python文档。

在本文中，您将随处可见文件(file)，模块(module)和脚本(script)这三个字眼。实际上，三者之间并无太大的差别。不过，在强调代码目的时，还是存在细微的差异：

“如何运行Python脚本”一文也讨论了三者的差别。

基于命令行执行

在这类方法中，Python脚本将通过命令行来执行。

执行脚本时，无法与Python解释器正在执行的代码交互。关于如何通过命令行执行代码的详细信息对本文而言并不重要，但您可以通过展开下框阅读更多有关Windows，Linux和macOS之间命令行差异的内容。

命令行环境

不同的操作系统在使用命令行执行代码时存在细微的差异。

在Linux和macOS中，通常使用如下命令：

美元符号($)之前的内容可能有所不同，具体取决于您的用户名和计算机名称。您键入的命令位于$之后。在Linux或macOS上，Python3的可执行文件名为python3，因此可以通过输入python3 script_name.py来运行python脚本。

在Windows上，命令提示符通常如下所示：

根据您的用户名，之前的内容可能会有所不同，您输入的命令位于之后。在Windows上，Python3的可执行文件通常为python。因此可以通过输入python script_name.py来运行python脚本。

无论哪种操作系统，本文的Python脚本的输出结果都是相同的。因此本文以Linux和macOS为例。

使用命令行执行execution_methods.py，如下所示：

在这个示例中，__name__具有值'__main__'，其中引号(')表明该值为字符串类型。

请记住，在Python中，使用单引号(')和双引号(")定义的字符串没有区别。更多关于字符串的内容请参考Python的基本数据类型。

如果在脚本中包含"shebang行"并直接执行它(./execution_methods.py)，或者使用IPython或Jupyter Notebook的%run，将会获取相同的结果。

您还可以通过向命令行添加-m参数的方法实现以模块的方式执行。通常情况下，推荐如下方式pip: python3 -m pip install package_name。

添加-m参数将会运行包中__main__.py的代码。更多关于__main__.py文件的内容可参考如何将开源Python包发布到PyPI中。

在三种情况中，__name__都具有相同的值：字符串'__main__'。

技术细节：Python文档中具体定义了__name__何时取值为'__main__'。

当通过标准输入，脚本或者交互提示中读取数据时，模块的__name__将取值为'__main__'。（来源）

__name__与__doc__，__package__和其他属性一起存储在模块的全局命名空间。更多关于属性的信息可参考Python数据模型文档，特别是关于模块和包的信息，请参阅Python Import文档。

导入模块或解释器

接下来是Python解释器执行代码的第二种方式：导入。在开发模块或脚本时，可以使用import关键字导入他人已经构建的模块。

在导入过程中，Python执行指定模块中定义的语句（但仅在第一次导入模块时）。要演示导入execution_methods.py文件的结果，需要启动Python解释器，然后导入execution_methods.py文件：

在此代码输出中，Python解释器执行了三次print()函数调用。前两行由于没有变量，在输出方面与在命令行上作为脚本执行时完全相同。但是第三个输出存在差异。

当Python解释器导入代码时，__name__的值与要导入的模块的名称相同。您可以通过第三行的输出了解这一点。__name__的值为'execution_methods'，是Python导入的.py文件。

注意如果您在没有退出Python时再次导入模块，将不会有输出。

注意：更多关于导入在Python中如何工作的内容请参考官方文档和Python中的绝对和相对导入。

Main函数的最佳实践

既然您已经了解两种执行方式上的差异，那么掌握一些最佳实践方案还是很有用的。它们将适用于编写作为脚本运行的代码或者在另一个模块导入的代码。

如下是四种实践方式：

将大部分代码放入函数或类中

请记住，Python解释器在导入模块时会执行模块中的所有代码。有时如果想要实现用户可控的代码，会导致一些副作用，例如：

在这种情况下，想要实现用户控制触发此代码的执行，而不是让Python解释器在导入模块时执行代码。

因此，最佳方法是将大部分代码包含在函数或类中。这是因为当Python解释器遇到def或class关键字时，它只存储这些定义供以后使用，并且在用户通知之前不会实际执行。

将如下代码保存在best_practices.py以证明这个想法：

在此代码中，首先从time模块中导入sleep()。

在这个示例中，参数以秒的形式传入sleep()函数中，解释器将暂停一段时间再运行。随后，使用print()函数打印关于代码描述的语句。

之后，定义一个process_data()函数，执行如下五项操作：

在命令行中执行

当你将此文件作为脚本用命令行执行时会发生什么呢？

Python解释器将执行函数定义之外的from time import sleep和print()，之后将创建函数process_data()。然后，脚本将退出而不做任何进一步的操作，因为脚本没有任何执行process_data()的代码。

如下是这段脚本的执行结果：

我们在这里看到的输出是第一个print()的结果。注意，从time导入和定义process_data()函数不产生结果。具体来说，调用定义在process_data()内部的print()不会打印结果。

导入模块或解释器执行

在会话（或其他模块）中导入此文件时，Python解释器将执行相同的步骤。

Python解释器导入文件后，您可以使用已导入模块中定义的任何变量，类或函数。为了证明这一点，我们将使用可交互的Python解释器。启动解释器，然后键入import best_practices：

导入best_practices.py后唯一的输出来自process_data()函数外定义的print()。导入模块或解释器执行与基于命令行执行类似。

使用__name__控制代码的执行

如何实现基于命令行而不使用Python解释器导入文件来执行呢？

您可以使用__name__来决定执行上下文，并且当__name__等于"__main__"时才执行process_data()。在best_practices.py文件中添加如下代码：

这段代码添加了一个条件语句来检验__name__的值。当值为"__main__"时，条件为True。记住当__name__变量的特殊值为"__main__"时意味着Python解释器会执行脚本而不是将其导入。

条件语块内添加了四行代码（第12，13，14和15行）：

现在，在命令行中运行best_practices.py，并观察输出的变化：

首先，输出显示了process_data()函数外的print()的调用结果。

之后，data的值被打印。因为当Python解释器将文件作为脚本执行时，变量__name__具有值"__main__"，因此条件语句被计算为True。

接下来，脚本将调用process_data()并传入data进行修改。当process_data执行时，将输出一些状态信息。最终，将输出modified_data的值。

现在您可以验证从解释器（或其他模块）导入best_practices.py后发生的事情了。如下示例演示了这种情况：

注意，当前结果与将条件语句添加到文件末尾之前相同。因为此时__name__变量的值为"best_practices"，因此条件语句结果为False，Python将不执行process_data()。

创建名为main()的函数来包含要运行的代码

现在，您可以编写作为脚本由从命令行执行并导入且没有副作用的Python代码。接下来，您将学习如何编写代码并使其他程序员能轻松地理解其含义。

许多语言，如C，C++，Java以及其他的一些语言，都会定义一个叫做main()的函数，当编译程序时，操作系统会自动调用该函数。此函数通常被称为入口点(entry point)，因为它是程序进入执行的起始位置。

相比之下，Python没有一个特殊的函数作为脚本的入口点。实际上在Python中可以将入口点定义成任何名称。

尽管Python不要求将函数命名为main()，但是最佳的做法是将入口点函数命名为main()。这样方便其他程序员定位程序的起点。

此外，main()函数应该包含Python解释器执行文件时要运行的任何代码。这比将代码放入条件语块中更好，因为用户可以在导入模块时重复使用main()函数。

修改best_practices.py文件如下所示：

在这个示例中，定义了一个main()函数，它包含了上面的条件语句块。之后修改条件语块执行main()。如果您将此代码作为脚本运行或导入，将获得与上一节相同的输出。

在main()中调用其他函数

另一种常见的实现方式是在main()中调用其他函数，而不是直接将代码写入main()。这样做的好处在于可以实现将几个独立运行的子任务整合。

例如，某个脚本有如下功能：

如果在单独的函数中各自实现这些子任务，您（或其他用户）可以很容易地实现代码重用。之后您可以在main()函数中创建默认的工作流。

您可以根据自己的情况选择是否使用此方案。将任务拆分为多个函数会使重用更容易，但会增加他人理解代码的难度。

修改best_practices.py文件如下所示：

在此示例代码中，文件的前10行具有与之前相同的内容。第12行的第二个函数创建并返回一些示例数据，第17行的第三个函数模拟将修改后的数据写入数据库。

第21行定义了main()函数。在此示例中，对main()做出修改，它将调用数据读取，数据处理以及数据写入等功能。

首先，从read_data_from_web()中创建data。将data作为参数传入process_data()，之后将返回modified_data。最后，将modified_data传入write_data_to_database()。

脚本的最后两行是条件语块用于验证__name__，并且如果if语句为True，则执行main()。

在命令行中运行如下所示：

根据执行结果，Python解释器在执行main()函数时，将依次执行read_data_from_web()，process_data()以及write_data_to_database()。当然，您也可以导入best_practices.py文件并重用process_data()作为不同的数据输入源，如下所示：

在此示例中，导入了best_practices并且将其简写为bp。

导入过程会导致Python解释器执行best_practices.py的全部代码，因此输出显示解释文件用途的信息。

然后，从文件中存储数据而不是从Web中读取数据。之后，可以重用best_practices.py文件中的process_data()和write_data_to_database()函数。在此情况下，可以利用代码重写来取代在main()函数中实现全部的代码逻辑。

实践总结

以下是Python中main()函数的四个关键最佳实践：

结论

恭喜！您现在已经了解如何创建Python main()函数了。

本文介绍了如下内容：

现在，您可以开始编写一些非常棒的关于Python main()函数代码啦！

Python嵌套函数和闭包

在Python语言中，可以在函数中定义函数。 这种在函数中嵌套定义的函数也叫内部函数。我们来看下面的代码：

上述代码中，定义了函数greet，在函数greet内部又定义了一个函数inner_func, 并调用该函数打印了一串字符。

我们可以看到，内部函数inner_func的定义和使用与普通函数基本相同。需要注意的是变量的作用域，在上述代码中，函数参数name对于全局函数greet是局部变量，对内部函数inner_func来说则是非局部变量。内部函数对于非局部变量的访问规则类似于标准的外部函数访问全局变量。

从这个例子我们还可以看到内部函数的一个作用，就是通过定义内部函数的方式将一些功能隐藏起来，防止外部直接调用。常见的场景是，在一个复杂逻辑的函数中，将一些小的任务定义成内部函数，然后由这个外层函数使用，这样可以使代码更为清晰，易于维护。这些内部函数只会在这个外层函数中使用，不能被其他函数或模块使用。

在Python语言中, 函数也是对象，它可以被创建、赋值给变量，或者作为函数的返回值。我们来看下面这个例子。

在上述代码中，在函数gen_greet内部定义了inner_func函数，并返回了一个inner_func函数对象。外部函数gen_greet返回了一个函数对象，所以像gen_greet这样的函数也叫工厂函数。

在内部函数inner_func中，使用了外部函数的传参greet_words（非局部变量），以及函数的参数name（局部变量），来打印一个字符串。

接下来，调用gen_greet("Hello")创建一个函数对象say_hello，紧接着调用say_hello("Mr. Zhang")，输出的结果为：Hello, Mr. Zhang！

同样的，调用gen_greet("Hi")创建一个函数对象say_hi，调用say_hello("Mr. Zhang")，输出的结果为：Hi，Tony！

我们可以发现，gen_greet返回的函数对象具有记忆功能，它能够把所需使用的非局部变量保存下来，用于后续被调用的时候使用。这种保存了非局部变量的函数对象被称作闭包（closure）。

那么闭包是如何实现的呢？其实并不复杂，函数对象中有一个属性__closure__，它就是在创建函数对象时用来保存这些非局部变量的。

__closure__属性是一个元组或者None类型。在上述代码中，我们可以通过下面方式查看：

函数的嵌套所实现的功能大都可以通过定义类的方式来实现，而且类是更加面向对象的代码编写方式。

嵌套函数的一个主要用途是实现函数的装饰器。我们看下面的代码：

在上述代码中，logger函数返回函数with_logging，with_logging则是打印了函数func的名称及传入的参数，然后调用func, 并将参数传递给func。其中的@wraps(func)语句用于复制函数func的名称、注释文档、参数列表等等，使得with_logging函数具有被装饰的函数func相同的属性。

代码中接下来用@logger对函数power_func进行修饰，它的作用等同于下面的代码:

可见，装饰器@符其实就是上述代码的精简写法。

通过了解了嵌套函数和闭包的工作原理，我们在使用过程中就能够更加得心应手了。

新手如何快速入门Python编程?

了解 Python 编程基础

首先第一点，要能够看懂了解变量、基础语法、编程规范等，这些事能够上手编写Python 代码的前提。

其次第二点，对于数据结构，字符串、列表、字典等需要比较熟练运用。

刚开始的这部分就做一些简单的练习，构造出一个数据类型，然后再实现基本的用法。比如你自己构造一个列表，实现列表中数据的访问、更新、删除等基本操作，比如len()、max()、min() 函数，以及 append()、count()、extend() 等方法。

Python函数及流程控制

有了前面的基础练习之后，学习Python的函数和控制语句，是真正去解决问题的过程，如何将固定的功能模块封装成函数，如何实现判断和循坏，这些不仅是写出代码的必要条件，也是训练编程思维的必经之路。

流程控制比较好掌握一些，条件语句和循坏语句在不同的场景下练习几遍，知道判断和循环实现的过程就行。

函数这个部分无外乎函数的定义、函数调用以及参数传递，但是要能够熟练地写出函数实现对应的功能，需要注意的细节很多。

利用Python做些事情

在前期的理论知识学透之后，你不妨尝试着利用利用Python做些事情，检验自己的学习成果，这样也能够巩固加深自己学习的理论知识。同时，可以查漏补缺，看看自己哪方面需要保持，哪方面需要继续学习。

这个时候不妨了解一些第三方库，你可以做更多的事情。对于不同的库，内部的方法、函数你还需要去熟悉，开始的时候先掌握少部分最常用的方法，在遇到实际的问题的时候，再去查对应的更多的用法，这样会更高效。

深入Python编程

首先需要了解Python的高级特性，如迭代器、生成器、装饰器等，了解类和面向对象的理念。深入下去，你可以去探索Python的实现原理，Python的性能优化，跳出Python语言本身，去了解计算机的交互原理，还有很长的路要走，但并不是每一个人都需要这个过程。

但这些确实是你在这个领域立足生根的重要条件，对于特别想要在IT行业发展的人来说，这个过程是非常有必要的。

以上就是关于如何快速入门Python编程的内容，希望可以为您提供一些帮助。如果您还想了解更多关于数据分析师、大数据工程师、Python编程素材及方法等内容，可以点击本站的其他文章进行学习。

Python实现简单多线程任务队列

Python实现简单多线程任务队列

最近我在用梯度下降算法绘制神经网络的数据时，遇到了一些算法性能的问题。梯度下降算法的代码如下（伪代码）：

defgradient_descent(): # the gradient descent code plotly.write(X, Y)

一般来说，当网络请求 plot.ly 绘图时会阻塞等待返回，于是也会影响到其他的梯度下降函数的执行速度。

一种解决办法是每调用一次 plotly.write 函数就开启一个新的线程，但是这种方法感觉不是很好。 我不想用一个像 cerely（一种分布式任务队列）一样大而全的任务队列框架，因为框架对于我的这点需求来说太重了，并且我的绘图也并不需要 redis 来持久化数据。

那用什么办法解决呢？我在 python 中写了一个很小的任务队列，它可以在一个单独的线程中调用 plotly.write函数。下面是程序代码。

fromthreadingimportThreadimportQueueimporttime classTaskQueue(Queue.Queue):

首先我们继承 Queue.Queue 类。从 Queue.Queue 类可以继承 get 和 put 方法，以及队列的行为。

def__init__(self, num_workers=1): Queue.Queue.__init__(self) self.num_workers=num_workers self.start_workers()

初始化的时候，我们可以不用考虑工作线程的数量。

defadd_task(self, task,*args,**kwargs): args=argsor() kwargs=kwargsor{} self.put((task, args, kwargs))

我们把 task, args, kwargs 以元组的形式存储在队列中。*args 可以传递数量不等的参数，**kwargs 可以传递命名参数。

defstart_workers(self): foriinrange(self.num_workers): t=Thread(target=self.worker) t.daemon=True t.start()

我们为每个 worker 创建一个线程，然后在后台删除。

下面是 worker 函数的代码：

defworker(self): whileTrue: tupl=self.get() item, args, kwargs=self.get() item(*args,**kwargs) self.task_done()

worker 函数获取队列顶端的任务，并根据输入参数运行，除此之外，没有其他的功能。下面是队列的代码：

我们可以通过下面的代码测试：

defblokkah(*args,**kwargs): time.sleep(5) print“Blokkah mofo!” q=TaskQueue(num_workers=5) foriteminrange(1): q.add_task(blokkah) q.join()# wait for all the tasks to finish. print“Alldone!”

Blokkah 是我们要做的任务名称。队列已经缓存在内存中，并且没有执行很多任务。下面的步骤是把主队列当做单独的进程来运行，这样主程序退出以及执行数据库持久化时，队列任务不会停止运行。但是这个例子很好地展示了如何从一个很简单的小任务写成像工作队列这样复杂的程序。

defgradient_descent(): # the gradient descent code queue.add_task(plotly.write, x=X, y=Y)

修改之后，我的梯度下降算法工作效率似乎更高了。如果你很感兴趣的话，可以参考下面的代码。fromthreadingimportThreadimportQueueimporttime classTaskQueue(Queue.Queue): def__init__(self, num_workers=1):Queue.Queue.__init__(self)self.num_workers=num_workersself.start_workers() defadd_task(self, task,*args,**kwargs):args=argsor()kwargs=kwargsor{}self.put((task, args, kwargs)) defstart_workers(self):foriinrange(self.num_workers):t=Thread(target=self.worker)t.daemon=Truet.start() defworker(self):whileTrue:tupl=self.get()item, args, kwargs=self.get()item(*args,**kwargs)self.task_done() deftests():defblokkah(*args,**kwargs):time.sleep(5)print"Blokkah mofo!" q=TaskQueue(num_workers=5) foriteminrange(10):q.add_task(blokkah) q.join()# block until all tasks are doneprint"All done!" if__name__=="__main__":tests()