欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 财经 > 创投人物 > Python 踩坑记 -- 调优

Python 踩坑记 -- 调优

2025/3/17 6:30:58 来源:https://blog.csdn.net/duxiangwushirenfei/article/details/139657284  浏览:    关键词:Python 踩坑记 -- 调优

前言

继续解决问题

一个服务运行有点慢,当然 Python 本身不快,如果再编码不当那这个可能就是量级上的劣化。
整个 Code 主线逻辑 1700+,各依赖封装 3000+,主线逻辑也是很久远的痕迹,长函数都很难看清楚一个 if else 的分支块到哪。
主线逻辑理清楚后,剔除其中诸多已失去意义的逻辑和无效操作,但是整体功能运行时常并未缩短,深入看下具体卡点原因。
调优肯定离不开 Profile 工具,参考下官方介绍:Python 性能分析器
简单来说,就是可以,如下命令生成我们的 profile 分析文件

python -m cProfile -o my_script.prof my_script.py

再借助 flameprof 将 分析文件转为火焰图

# 安装
pip install flameprof
# 将上文的 分析文件 my_script.prof 转图片
python flameprof my_script.prof > my_script.svg

性能开销
上图可以看出,主要的性能开销是在 字符串的 splitlines 和 正则的 search 上,层层找下去,定位到 Code 逻辑:

rules = [rule1, rule2, rule3, ...., rule50]
source_text = [text1, text2, text3, ...., text400]def parse_data(text_str):result = {}for rule in rules:do_one_rule(rule, text_str, result)search_objects = re.search(r'some_pattern', text_str)if search_objects:objects = search_objects.group.split('; ')for obj in objects:# do somethingpassdef do_one_rule(rule, test_str, result):for line in test_str.splitlines():data = rule(line)result.update(data)

剔除多余分支,保留核心卡点逻辑,基本能识别出火焰图中卡点的根因了,这段 code 的目的是对文本中的内容做清理,得出想要的数据

  • 在每个 rule 的解析过程中,重复对原始的 test_str 做了 splitlines 的操作,直接就是性能途中一个主要卡点处
  • 正则中的匹配,首先有个不好习惯,没有去 compile pattern,并且 pattern 也是固定的,每次 search 的时都会重复执行 compile
  • 其次,这里的 search 实际功能就是匹配到其中某一行,而后再对该行处理,并且该行有一定特性,完全可以用字符串前缀匹配 和 关键字匹配来达到同样效果
  • 原始的文本 text_str 是由一些很大段的行可以先行剔除,来加速此处的匹配

优化后效果:
在这里插入图片描述
可以看出,主要开销点都没有,直观测试效果是 原始的功能块从 耗时 15s + -> 3s -
找出点了,仿佛也很简单,但是在长久迭代中,随着原始文本的增长,rule 的增多性能会有明显劣化。

内存泄漏

承接前文的的内存泄漏,修复了全局变量后,仍然会出现,内存的 profile 工具推荐 memray https://bloomberg.github.io/memray/getting_started.html,参考文档使用并不复杂。
通过图形基本确定了开销点

程序中会从 DB 读取全表数据,40w+ 行,整体会持续不断去 append 数组,这种不停数组扩容的情形,导致了有部分容量的内存够分配后不回收

Flask 上下文不一致

Flask 框架搭建服务,单个 app,使用了 werkzeug 的工功能来做 request 级别隔离的上下文管理,结果发现内容会串,无法做到 request 级别正确隔离,原始 code 如下

from flask import Flask
from werkzeug.local import Local, LocalManagerlocal_store = Local()
local_manager = LocalManager([local_store])app = Flask(__name__)
app.wsgi_app = local_manager.make_middleware(app.wsgi_app)

Flask 本身推荐了 g 用来做 request 级别的上下文存储,关于 Flask 的上下文 LocalLocalStackLocalProxy 是茫茫多的信息量,得空再细说吧。

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

热搜词