原副标题：广为破冰真实世界金融创新情景，百度云资料库TDSQL订制Mach强化详解
05年百度储值和光大银行起跑已经开始，百度就已经将MySQL/MariaDB全面性应用领域在金融创新交易类控制系统中。在近13年缴付、储值等海量数据销售业务的雕琢下，百度云资料库项目组复原大批MySQL/MariaDB的bug，并强化答谢街道社区，向MySQL/MariaDB街道社区重大贡献了为数众多标识符插件(Patch )。百度云资料库项目组与金融创新云项目组协力保护了金融创新级分布式系统构架TDSQL，现阶段，百度 90% 的金融创新、收费、交易类销售业务核心理念控制系统贯穿在 TDSQL 中。现阶段TDSQL 能提供公有云、私有云三种布署计划，能重新分配如前所述MySQL协定的CDB(关系型资料库)示例、DCDB(分布式系统资料库)示例、ADB(分析型资料库)示例。
我们优先选择了一小部分特别针对金融创新交易类销售业务情景的优化，看一看金融创新交易类销售业务特点。
金融创新级高需用和统计数据强完全一致
高需用和统计数据强完全一致，是金融创新行业最基本的需求。因此，一般来说会实用性characterization构架和强并行拷贝来确保高需用和强完全一致，为了避免从机拷贝继续执行太慢，一般优先选择采用row格式的binlog拷贝。而金融创新销售业务控制系统大批的文件格式化，会引致纸制预览/删掉了很多行统计数据，这时拷贝到从列车时，则需要采用检索扫描器或者全表扫描器来找出这个行，可能引致拷贝工作效率显得非常慢，这将引致严重的从机统计数据延迟，从而产生更多问题。
比如，建立两张没有换行符的表，假定现在’test’展毛100余条历史记录，在PS3上继续执行一个文件格式化DELETE FROM test，倘若删掉了10圆觉，则会历史记录10余条binlog历史记录，如：
delete from test where id=1;
delete from test where id=2;
…
delete from test where id=100000;
binlog被并行到备机，会继续执行10万个单行删掉事件。对于具体每一个单行删掉事件，、因为目标表没有换行符，需要采用全表扫描器，每次继续执行约100圆觉，那么共需要扫描器10万 × 100万= 1000亿条历史记录。这可能直接导致从机一直卡住好几天。
为了避免这些问题，我们支持“自动增加换行符”。
自动增加换行符，该功能主要是在用户建立表(且未定义换行符时)，自动在表中添加一列自增列作为换行符。为此，我们新增了reject_table_no_pk这个参数，该参数设置为 1 时，如果在建表语句中，显示指定换行符，控制系统将自动为该表建立一列自增行作为换行符。
而为避免“自动增加换行符”功能关闭时(即reject_table_no_pk=0)用户创建表，如果create table语句没有建立换行符和唯一检索的子句，那么控制系统将返回建表错误，错误码为“1173”，提示信息为“This table type requires a primary key”。如果alter table语句删掉了换行符或者唯一检索，引致这个表没有了换行符和唯一检索，也会返回这个错误。
分布式系统事务大批应用领域于真实世界金融创新级情景
金融创新交易类控制系统，会采用大批事务(比如银行转账)，且随着数据量逐渐变大，某些控制系统会优先选择采用分布式系统资料库作为核心理念交易控制系统，这时又需要支持分布式系统事务。 百度云TDSQL不仅强化了事务处理工作效率，而且在复原MySQL 5.7 分布式系统事务的大批Bug，还为街道社区重大贡献为数众多标识符插件(Patch );并且完整实现了MySQL-5.7在分布式系统事务处理在binlog拷贝相关功能中的事务灾难恢复处理功能。填补了MySQL在分布式系统事务处理方面的为数众多重大缺陷和空白。现阶段，TDSQL是有限几个在将分布式系统事务大批应用领域在真实世界金融创新交易情景中的资料库。
完整的XA事务，那么sql线程会卡住。另外官方版本中，没有处理XA 事务分支的二进制日志与存储引擎(binlog + engine) 灾难恢复，而TDSQL不仅处理了XA PREPARE事务分支的灾难恢复，还包括 XA COMMIT … ONE PHASE以及XA COMMIT/XA ROLLBACK 语句的灾难恢复。还考虑到金融创新高需用情景下，如果事务未继续执行完成，PS3故障从机上面可能无法继续执行或反复切换等Bug。
金融创新级安全强化，控制系统安全机制更加健全
安全性是金融创新行业非常重要的需求，而安全管理制度和安全设备是有可能存在不完善的，为确保不会被非法用户利用，百度云做了这几点强化能力：
l 根据大批的入侵案例和报告中，非法用户经常通过select into out file来把其本地的攻击程序传输到服务器端，或采用目录穿越攻击(Path Traversal攻击)随意地打开、查看，甚至继续执行网站内的文件。百度云TDSQL对于tcp/ip登录的用户，即使该账号有权限，也禁止用户通过以下SQL语句在mysqld运行的服务器上面建立或者打开文件select … into dump file; select … into outfile; load data infile … ;并禁止写入”路径变量不是正常路径，而是由字符串组成的 “真值”，或“变量”” 这样的语法来读写路径变量的值。有了这些禁止措施，用户将无法通过TCP/IP连接的客户端在mysqld服务器上面建立或打开任意文件，用户建立的文件只有统计数据表文件等完全受mysqld掌控的文件。用户只能传输DDL/DML等SQL语句字符串以及得到它们的查询结果。
l 在另外某些案例中，有一些非法用户通过可能通过一些未知的销售业务控制系统漏洞去修改控制系统表，从而提权、做破坏或放开更多漏洞，禁止这种方式后可有效避免类似情况发生;也有用户误删掉了控制系统资料库或表，然后试图挽回，于是自己重新建立了一个控制系统表，可想而知，其他地方copy过来的控制系统表，与原控制系统表会有差异，结果引致各种控制系统异常。只允许 unix socket 连接且具有权限的用户删掉控制系统数据库 mysql, information/performance_schema, xa, sys, sysdb及其中的表，并且禁止非 unix socket 连接或不具有权限的用户 对mysql.user表进行Drop/alter/truncate 表，或插入、预览、删掉这些表中的行。
l MySQL提供了标准的接口允许用户实现自定义的功能(安装插件)，这个机制虽然灵活，但也是巨大的安全隐患。如果被非法用户利用，就能在mysqld服务器上面以linux用户的身份继续执行任意标识符。所以，我们禁止通过TCP/IP连接上来的用户继续执行INSTALL PLUGIN语句安装插件。
l 我们在MySQL5.7版本以后，全面性支持表空间加密和连接加密，加密的主要目的是方式主要对硬盘上的资料库件的透明加密，如果该统计数据文件被盗取(盗取磁盘、机器)，在没有密钥的前提下无法恢复出统计数据内容。当然，TDSQL在分布式系统资料库DCDB计划基础上，也实现了加密
l 为在灵活性与安全性中间予以平衡，上述安全机制都有开关控制(默认打开)，为避免非法用户关闭以越过安全机制，我们禁止远程用户修改和读取这些开关变量，避免非法用户关闭上述安全措施。
生产控制系统非标操作限制，降低控制系统负载
在某些情况下，开发或运维不得不直连资料库做某些操作。而某个不合理的SQL语句会直接引致资料库开销过大，会严重增加控制系统负载，降低控制系统的TPS，甚至影响控制系统需用性。有时候，某些SQL开销过大并不是用户需求，可能只是人为错误，甚至SQL注入等。因此，百度在资料库Mach中能限制SQL语句继续执行的规模。即通过限制临时表的大小，或强制delete/update/select增加limit子句。
对于建立在myisam上面的临时表，用户能设置全局变量 max_temp_table_size来限定临时表的大小，该值默认是0，表示没有限制。 比如，能设置max_temp_table_size=16K，当查询继续执行过程中任意一个临时表的temp_table_size大于这个限定值时候，查询直接返回失败，服务器端错误号：1114，错误字符串是：“The table xxx is full。”
用户能设置select_rows_limit/delete_rows_limit/update_rows_limit 3个动态的全局变量，来强制添加用户必须显示指定limit子句来做规模限制，比如设置比如 set global delete_rows_limit=10000; 这样的话，delete语句就不能删掉超过10000行标识符，否则就失败了。当然，开启变量后，用户也能显示指定NO_LIMIT关键字，来避免这个限制。
为了避免计划外的超大事务引致锁表;或binlog量过大会引致强并行等待超时;或某些异常操作，比如用户误操作无条件删表等;我们通过参数max_binlog_write_threshold限制一个事务中写入的binlog总量，当达到实用性的最大值时候，当前DML语句返回错误，并在资料库中回滚该事务。检查在DML继续执行时即做，而不是在事务提交时刻，这样能有效提高工作效率。
除了上述之外，百度云TDSQL还有大批其他强化，由于篇幅有限，我们会在未来逐步在百度云街道社区中公开;另外，我们已将大批强化和改动都提交街道社区开源。
