4.0.1版本MySQL--> Doris，数据管道中的 Writer部分的 maxBatchSize 参数修改不生效

[yiyulinfeng]

MySQL表结构：

CREATE TABLE `fx_t_request_log` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键id',
  `th_indentify` varchar(20) COLLATE utf8_bin DEFAULT NULL COMMENT 'xxx',
  `request_url` varchar(200) COLLATE utf8_bin DEFAULT NULL COMMENT 'xxx',
  `request_data` longtext COLLATE utf8_bin COMMENT 'xxx',
  `response_data` text COLLATE utf8_bin COMMENT 'xxx',
  `request_time` datetime DEFAULT NULL COMMENT 'xxx',
  `response_time` datetime DEFAULT NULL COMMENT 'xxx',
  PRIMARY KEY (`id`),
  KEY `index_thd_indentify` (`th_indentify`),
  KEY `index_url` (`request_url`)
) ENGINE=InnoDB AUTO_INCREMENT=55108 DEFAULT CHARSET=utf8 COLLATE=utf8_bin COMMENT='xxx';

创建好管道，触发构建后， 报错如下：
{"Status":"Fail","Comment":"","BeginTxnTimeMs":0,"Message":"[INTERNAL_ERROR]The size of this batch exceed the max size [104857600] of json type data data [ 107901561 ]. Split the file

这个104857600 是在创建管道时， Writer这一步，可以看得到 maxBatchSize，默认是104857600（100M），这个参数可以手动修改。
但是我的表中的记录可能会大于100M，就会报上面的错。
我手动在页面调大这个参数， 并且生成的DataX脚本中也可以看到调大后的，但是在实际执行构建 的时候， 就报上面的错误

并且 通过直接对doris中的表，进行手动修改后，还是出现上面的报错，说明这个参数在页面上修改后 没有生效，tis程序还是使用的默认参数。

并且在之前的4.0版本也 复现了这个问题。

[baisui1981]

嗯，看起来应该是 maxBatchSize 参数没有生效。

[baisui1981]

重新review了一下代码，设置maxBatchSize是有效的另外，添加了额外的日志，将maxBatchSize打印在日志中方便运行时check