注意力机制驱动的AnMBR膜污染预测机器学习模型构建

doi:10.19965/j.cnki.iwt.2024-0719

摘要/Abstract

摘要：

厌氧膜生物反应器（AnMBR）是一种高效的废水资源化处理技术，膜污染会导致跨膜压差（TMP）增大，进而影响反应器运行性能以及膜寿命。为实现膜污染的精准预测，构建了一种基于注意力机制（AM）的卷积神经网络（CNN）-门控循环单元网络（GRU）的混合机器学习模型（CNN-GRU-AM）。首先，在模型构建过程中，通过参数优化确定RMSprop为最佳优化器，卷积层神经元数优选［64，128］。然后，采用皮尔逊（Pearson）相关性分析对膜污染影响因素进行特征选择，发现活性污泥浓度（MLSS）与胞外聚合物中多糖（EPS-PS）贡献度最大，分别为58.34%和52.47%；经特征选择后，利用对模型拟合影响较大的5个输入变量进行预测，决定系数R ²从0.948 1提升至0.981 0，预测精度提升了3.5%。最后，评估了基于CNN、长短期记忆人工神经网络（LSTM）和GRU建立的不同模型对TMP的预测精度，CNN-GRU-AM混合模型的决定系数（R ²=0.981 0）、平均绝对误差（MAE=0.280 9）、均方误差（MSE=0.250 3）均优于其他模型，证实了CNN-GRU-AM混合模型预测AnMBR膜污染的合理性和实用性。

关键词: 厌氧膜生物反应器, 机器学习, 特征选择, 注意力机制, 膜污染

Abstract:

Anaerobic membrane bioreactor(AnMBR) is a very effective wastewater resource treatment process, while membrane fouling can lead to the increase of transmembrane pressure(TMP), affecting operational performance and membrane life. A machine learning model (CNN-GRU-AM) combined with convolutional neural network(CNN) and gated recurrent unit network (GRU) based on the attention mechanism(AM) was constructed to predict the membrane fouling. Firstly, during the model construction process, RMSprop was identified as the optimal optimizer, and the preferred number of neurons in the convolutional layers was determined to be [64, 128]. Then Pearson correlation analysis was applied to select the features of the membrane fouling influence factors, with MLSS and EPS-PS contributing the most with 58.34% and 52.47%, respectively. After feature selection, five key input variables with significant influence on model fitting were used for prediction. The coefficient of determination(R ²) increased from 0.948 1 to 0.981 0, improving the prediction accuracy by 3.5%. Finally, the prediction accuracy of different models based on CNN, long and short-term memory artificial neural network(LSTM) and GRU for TMP was evaluated. The results showed that the CNN-GRU-AM model was more accurate in terms of the coefficient of determination (R ²=0.981 0), the mean absolute error (MAE=0.280 9), and the mean square error (MSE=0.250 3). The results indicated that the rationality and practicality of CNN-GRU-AM for predicting membrane fouling in AnMBR.

Key words: anaerobic membrane bioreactor, machine learning, feature selection, attention mechanism, membrane fouling

中图分类号:

X703.1

谢伯逊, 赵海岑, 陈杰, 张梦, 张新波. 注意力机制驱动的AnMBR膜污染预测机器学习模型构建[J]. 工业水处理, 2025, 45(9): 78-86.

Boxun XIE, Haicen ZHAO, Jie CHEN, Meng ZHANG, Xinbo ZHANG. Construction of machine learning model driven by attention mechanism for AnMBR membrane fouling prediction[J]. Industrial Water Treatment, 2025, 45(9): 78-86.

https://www.iwt.cn/CN/Y2025/V45/I9/78

图/表 14

图1 AnMBR系统示意

Fig.1 Schematic of AnMBR system

表1 AnMBR运行参数与膜特性

Table 1 Operating parameters and membrance characteristics of the AnMBR

项目		参数
运行参数	有效容积/L	2.0
	操作温度/℃	35±1
	水力停留时间/h	96
膜特性	膜类型	中空纤维膜
	膜材料	聚偏二氟乙烯
	过滤面积/m²	0.042
	孔径/μm	0.1

表2 模型训练和测试数据集分布

Table 2 Distribution of datasets for model training and testing

特性		最大值	最小值	平均值
输入	进水COD/（mg·L^-1）	11 934.75	3 160.45	7 680.76
	进水pH	7.24	6.90	7.15
	产气量/（L·d^-1）	1 210.72	32.20	725.46
	产甲烷量/（L·d^-1）	0.22	0.02	0.18
	粒径/µm	92.34	36.39	62.01
	MLSS/（g·L^-1）	13.16	5.67	8.03
	SMP-PS/（mg·g^-1）	14.32	0.70	3.71
	SMP-PN/（mg·g^-1）	32.92	3.17	12.15
	EPS-PS/（mg·g^-1）	27.49	2.37	14.48
	EPS-PN/（mg·g^-1）	57.80	11.08	43.31
输出	TMP/kPa	19.36	0.21	1.715

图2 CNN-GRU模型结构示意

Fig.2 Schematic structure of CNN-GRU model

图3 SEBlock模块分析

Fig.3 Analysis of the SEBlock module

表3 模型评价指标

Table 3 Model evaluation metrics

评价指标	公式	最优值
均方误差（MSE）	$M S E = 1 n ∑ i = 1 n (y ̂ i - y i) 2$	0
平均绝对误差（MAE）	$M A E = 1 n ∑ i = 1 n \| y ̂ i - y i \|$	0
决定系数（R ²）	$R 2 = 1 - ∑ (Y - Y p) ∑ (Y - Y ¯)$	1

表3 模型评价指标

Table 3 Model evaluation metrics

评价指标	公式	最优值
均方误差（MSE）	$M S E = 1 n ∑ i = 1 n (y ̂ i - y i) 2$	0
平均绝对误差（MAE）	$M A E = 1 n ∑ i = 1 n \| y ̂ i - y i \|$	0
决定系数（R ²）	$R 2 = 1 - ∑ (Y - Y p) ∑ (Y - Y ¯)$	1

图4 实验流程

Fig.4 Experiment procedure

图5 预测结果与真实值对比

Fig.5 Comparison of predicted results and ground truth

表4 模型参数设计

Table 4 Model parameters design

参量		参数
卷积层1	卷积核数量与大小	64，1×1
	步长	［1，1］
	激活函数	ReLU
	池化层大小	［1，1］
卷积层2	卷积核数量与大小	128，1×1
	步长	［1，1］
	激活函数	ReLU
	池化层大小	［1，1］
GRU层	神经元个数	200
GRU层	激活函数	Tanh
全连接层	激活函数	ReLU
全连接层	激活函数	Sigmoid
训练参数	优化器	RMSprop
	损失函数	RMSE
	迭代次数	2 000
	批尺寸大小	64
	学习率下降	0.000 3
	下降率	0.5

图6 Pearson相关性分析热力图

Fig.6 Heatmap of Pearson correlation analysis

图7 特征选择前后预测值与真实值对比

Fig.7 Comparison of predicted and true values before and after feature selection

表5 各模型训练参数

Table 5 Training parameters for each model

模型	参量	参数	模型	参量	参数
CNN	优化器	Adam	CNN-LSTM	优化器	Adam
	损失函数	RMSE		损失函数	RMSE
	迭代次数	800		迭代次数	1 500
	批尺寸大小	50		批尺寸大小	64
	学习率下降	0.01		学习率下降	0.001
LSTM	优化器	Adam	CNN-GRU	优化器	Adam
	损失函数	RMSE		损失函数	RMSE
	迭代次数	500		迭代次数	1 500
	批尺寸大小	50		批尺寸大小	64
	学习率下降	0.01		学习率下降	0.005
GRU	优化器	Adam	CNN-LSTM-AM	优化器	RMSprop
	损失函数	RMSE		损失函数	RMSE
	迭代次数	500		迭代次数	2 000
	批尺寸大小	50		批尺寸大小	64
	学习率下降	0.01		学习率下降	0.000 7

图8 各模型预测结果与真实值对比

Fig.8 Comparison of predicted values and ground truth for set across models

表6 各模型综合性能

Table 6 Comprehensive performance of each model

模型	MAE	MSE	R ²	t/min
CNN-GRU-AM	0.280 9	0.250 3	0.981 0	1.116 7
CNN-LSTM-AM	0.373 3	0.347 2	0.924 2	1.074 3
CNN-GRU	0.705 1	1.156 4	0.909 6	1.338 6
CNN-LSTM	0.755 3	0.704 1	0.755 1	1.466 7
GRU	0.527 4	1.622 0	0.779 8	0.756 9
LSTM	1.380 1	1.096 5	0.609 4	0.723 9
CNN	1.206 7	1.645 8	0.703 3	0.766 7

参考文献 19

[1]	VINARDELL S， ASTALS S， PECES M，et al. Advances in anaerobic membrane bioreactor technology for municipal wastewater treatment：A 2020 updated review［J］. Renewable and Sustainable Energy Reviews，2020，130：109936. doi:10.1016/j.rser.2020.109936
[2]	PARK S， BAEK S S，PYO J，et al. Deep neural networks for modeling fouling growth and flux decline during NF/RO membrane filtration［J］. Journal of Membrane Science，2019，587：117164. doi:10.1016/j.memsci.2019.06.004
[3]	SHIM J， PARK S， CHO K H. Deep learning model for simulating influence of natural organic matter in nanofiltration［J］. Water Research，2021，197：117070. doi:10.1016/j.watres.2021.117070
[4]	KOVACS D J， LI Zhong， BAETZ B W，et al. Membrane fouling prediction and uncertainty analysis using machine learning：A wastewater treatment plant case study［J］. Journal of Membrane Science，2022，660：120817. doi:10.1016/j.memsci.2022.120817
[5]	YAO Junqiang， WU Zhiyue， LIU Yuan，et al. Predicting membrane fouling in a high solid AnMBR treating OFMSW leachate through a genetic algorithm and the optimization of a BP neural network model［J］. Journal of Environmental Management，2022，307：114585. doi:10.1016/j.jenvman.2022.114585
[6]	周飞燕，金林鹏，董军. 卷积神经网络研究综述［J］. 计算机学报，2017，40（6）：1229-1251. doi:10.11897/SP.J.1016.2017.01229
	ZHOU Feiyan， JIN Linpeng， DONG Jun. Review of convolutional neural network［J］. Chinese Journal of Computers，2017，40（6）：1229-1251. doi:10.11897/SP.J.1016.2017.01229
[7]	邱锡鹏. 神经网络与深度学习［M］. 北京：机械工业出版社，2020：145-156. doi:10.1016/b978-0-12-818803-3.00030-1
[8]	ZHENG Wenjing， CHEN Yan， XU Xiaohu，et al. Research on the factors influencing nanofiltration membrane fouling and the prediction of membrane fouling［J］. Journal of Water Process Engineering，2024，59：104876. doi:10.1016/j.jwpe.2024.104876
[9]	ZAMANI M G， NIKOO M R， AL-RAWAS G，et al. Hybrid WT-CNN-GRU-based model for the estimation of reservoir water quality variables considering spatio-temporal features［J］. Journal of Environmental Management，2024，358：120756. doi:10.1016/j.jenvman.2024.120756
[10]	ALIZADEH M J， NOURANI V. Multivariate GRU and LSTM models for wave forecasting and hindcasting in the southern Caspian Sea［J］. Ocean Engineering，2024，298：117193. doi:10.1016/j.oceaneng.2024.117193
[11]	KHAN S， KUMAR V. A novel hybrid GRU-CNN and residual bias（RB） based RB-GRU-CNN models for prediction of PTB diagnostic ECG time series data［J］. Biomedical Signal Processing and Control，2024，94：106262. doi:10.1016/j.bspc.2024.106262
[12]	郭炜伦，方钰敏，徐海蛟，等. 基于SE-CNN-LSTM的心电识别算法［J］. 电脑知识与技术，2022，18（21）：73-75.
	GUO Weilun， FANG Yumin， XU Haijiao，et al. ECG identification algorithm based on SE-CNN-LSTM［J］. Computer Knowledge and Technology，2022，18（21）：73-75.
[13]	WANG Tianjie， LI Yuyou. Predictive modeling based on artificial neural networks for membrane fouling in a large pilot-scale anaerobic membrane bioreactor for treating real municipal wastewater［J］. Science of the Total Environment，2024，912：169164. doi:10.1016/j.scitotenv.2023.169164
[14]	令国壁. 改进麻雀搜索算法在膜法水处理膜污染预测中的研究［D］. 兰州：兰州理工大学，2023.
	LING Guobi. Study on improved sparrow search algorithm in membrane fouling prediction of membrane water treatment［D］. Lanzhou：Lanzhou University of Technology，2023.
[15]	马昱. 铁阳极厌氧电膜生物反应器处理市政污水污染物去除效能与膜污染控制研究［D］. 西安：西安建筑科技大学，2023.
	MA Yu. Study on pollutant removal efficiency and membrane pollution control of iron anode anaerobic membrane bioreactor for municipal sewage treatment［D］. Xi’an：Xi’an University of Architecture and Technology，2023.
[16]	NIU Chengxin， LI Bin， WANG Zhiwei. Using artificial intelligence-based algorithms to identify critical fouling factors and predict fouling behavior in anaerobic membrane bioreactors［J］. Journal of Membrane Science，2023，687：122076. doi:10.1016/j.memsci.2023.122076
[17]	唐朝春，段先月，叶鑫，等. MBR膜污染的机理及其影响因素研究进展［J］. 工业水处理，2017，37（4）：18-21.
	TANG Chaochun， DUAN Xianyue， YE Xin，et al. Research progress in MBR membrane pollution mechanism and its influential factors［J］. Industrial Water Treatment，2017，37（4）：18-21.
[18]	肖椿. 膜生物反应器中SMP特性及对膜污染影响研究［D］. 南京：南京大学，2014.
	XIAO Chun. Study on the characteristics of SMP in membrane bioreactor and its influence on membrane fouling［D］. Nanjing：Nanjing University，2014.
[19]	刘沙. 不同添加物促进厌氧污泥颗粒化的试验研究［D］. 徐州：中国矿业大学，2019.
	LIU Sha. Experimental study on promoting anaerobic sludge granulation with different additives［D］. Xuzhou：China University of Mining and Technology，2019.

选择文件类型/文献管理软件名称

选择包含的内容