社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  DATABASE

MySQL官方的数据库中间件,有人用么?

架构师之路 • 4 年前 • 584 次点击  

MySQL官方的数据库中间件,mysql-proxy,有童鞋了解么?


mysql-proxy是什么?

mysql-proxy是mysql官方提供的mysql中间件服务,上游可接入若干个mysql-client,后端可连接若干个mysql-server。
画外音:中间件有基于客户端的,也有基于服务端的,此为后者。

mysql-proxy使用什么协议?

使用mysql协议,任何使用mysql-client的上游无需修改任何代码,即可迁移至mysql-proxy上。

mysql-proxy能怎么用?能干嘛?

mysql-proxy最基本的用法,就是作为一个请求拦截,请求中转的中间层:

进一步的,mysql-proxy可以分析与修改请求。拦截查询和修改结果,需要通过编写Lua脚本来完成

mysql-proxy允许用户指定Lua脚本对请求进行拦截,对请求进行分析与修改,它还允许用户指定Lua脚本对服务器的返回结果进行修改,加入一些结果集或者去除一些结果集均可。

所以说,根本上,mysql-proxy是一个官方提供的框架,具备良好的扩展性,可以用来完成:
(1)sql拦截与修改;
(2)性能分析与监控;
(3)读写分离;
(4)请求路由;
(5)...

这个框架提供了6个hook点,能够让用户能够动态的介入到client与server中的通讯中去。

mysql-proxy的架构与原理是怎样的?

如前文所述,mysql-proxy向用户提供了6个hook点,让用户实现Lua脚本来完成各种功能,这些hook点是以函数的形式提供的,用户可以实现这些函数,在不同事件、不同操作发生时,做我们期望的事情。

connect_server()
mysql-client向proxy发起连接时,proxy会调用这个函数。用户可以实现该函数,来做一些负载均衡的事情,例如选择将要连向那个mysql-server。假设有多个mysql-server后端,而用户又没有实现这个函数,proxy默认采用轮询(round-robin)策略。

read_handshake()
mysql-server向proxy返回“初始握手信息”时,proxy会调用这个函数。用户可以实现这个函数,来做更多的权限验证工作。

read_auth()
mysql-client向proxy发送认证报文(user_name, password,database)时,proxy会调用这个函数。

read_auth_result()
mysql-server向proxy返回认证结果时,proxy会调用这个函数。

read_query()
认证完成后,mysql-client每次经过proxy向mysql-server发送query报文时,proxy会调用这个函数。用户如果要拦截请求,就可以模拟mysql-server直接返回了,当然用户亦可以实现各种策略,修改请求,路由请求等各种不同的业务逻辑。

read_query_result()
认证完成后,mysql-server每次经过proxy向mysql-client返回query结果时,proxy会调用这个函数。需要注意,如果用户没有显示实现read_query()函数,则read_query_result()函数是不会被调用的。用户可以在此处实现各种合并策略,或者对结果集进行修改。

下图是一个各hook函数的触发架构图,箭头方向表示触发时机:
可以发现,最重要的两个函数其实是read_query()和read_query_result(),各种sql的改写与结果集的改写逻辑,都是在这两个函数中实现的,更细节的query过程如下图:

mysql-proxy可以实现什么?

案例一:sql时间统计分析
假设mysql-client提交的原sql为:

XYZ;

proxy可以在read_query()里将其改写为:

SELECT NOW();

XYZ;

SELECT NOW();

这样在返回结果集时,就可以在应用层对sql时间进行记录,以方便统计分析。

案例二:sql性能统计分析
假设mysql-client提交的原sql为:

XYZ;

proxy可以在read_query()里将其改写为:

XYZ;

EXPLAIN XYZ;

这样在返回结果集时,就可以在应用层对sql性能进行记录,以方便统计分析。

需要强调的是,这两个案例,由于proxy在read_query()时对sql进行了改写,故在read_query_result()时,mysql-server其实返回了比原请求更多的信息,proxy一定要将多余的信息去掉,再返回mysql-client。多说一句,可以加入一个唯一ID,来对请求sql和返回结果进行配对。

案例三:读写分离
mysql-proxy启动时,通过参数即可配置后端mysql-server是主server还是read-only,无需修改任何代码:

shell> mysql-proxy \

--proxy-backend-addresses=10.0.1.2:3306 \

--proxy-read-only-backend-addresses=10.0.1.3:3306

注意,这里的两个mysql-server为主从架构

案例四:性能水平扩展
mysql-proxy启动时,通过参数配置多个后端,即可实现性能的水平扩展,无需修改任何代码:

shell> mysql-proxy \

--proxy-backend-addresses=10.0.1.2:3306 \

--proxy-backend-addresses=10.0.1.3:3306

注意,这里的两个mysql-server为主主架构,如果不做特殊修改,负载均衡策略为round-robin。

mysql-proxy Q&A?
提问:Lua脚本引入的额外开销有多大?
官网回答:Lua很快,对于大部分应用来说,额外开销很小,原始包(raw packet)开销大概在400微秒左右。
画外音:这,,,我不太相信。

提问:mysql-proxy和mysql-server可以部署在一台机器上么?
官网回答:proxy单独部署也可以,和mysql部署在同一台机器上也可以。相比mysql而言,proxy不怎么占CPU和内存,其性能损耗可以忽略不计。
画外音:这,,,性能损耗可以忽略,我也不太信。

提问:proxy可以处理SSL连接么?proxy不会获取和保存我的明文密码吧?
官网回答:作为中间人,不能处理加密信息。不会获取密码,也获取不到。mysql协议不允许密码以明文传输,传输的都是加密后的密文。

提问:在Lua脚本里可以使用LuaSocket,连缓存,连其他服务么?
官网回答:理论上可以。但是,大哥,你确定要这样做么,强烈不建议这样。

推荐文章
每秒100W次的计数,架构这样设计
竞价排名真不是谁出价最高,一定排前面
数据库软件架构,到底要设计些什么
Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/117493