<sub id="bz1nl"></sub><sub id="bz1nl"></sub>
        <sub id="bz1nl"></sub>

        <sub id="bz1nl"></sub><sub id="bz1nl"></sub>

          2.793

          2018影响因子

          (CJCR)

          • 中文核心
          • EI
          • 中国科技核心
          • Scopus
          • CSCD
          • 英国科学文摘

          留言板

          尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

          姓名
          邮箱
          手机号码
          标题
          留言内容
          验证码

          基于WTFMC算法的递归模糊神经网络结构设计

          乔俊飞 丁海旭 李文静

          乔俊飞, 丁海旭, 李文静. 基于 WTFMC 算法的递归模糊神经网络结构设计. 自动化学报, 2020, 46(11): 2367?2378. doi: 10.16383/j.aas.c180847
          引用本文: 乔俊飞, 丁海旭, 李文静. 基于 WTFMC 算法的递归模糊神经网络结构设计. 自动化学报, 2020, 46(11): 2367?2378. doi: 10.16383/j.aas.c180847
          Qiao Jun-Fei, Ding Hai-Xu, Li Wen-Jing. Structure design for recurrent fuzzy neural network based on wavelet transform fuzzy Markov chain. Acta Automatica Sinica, 2020, 46(11): 2367?2378. doi: 10.16383/j.aas.c180847
          Citation: Qiao Jun-Fei, Ding Hai-Xu, Li Wen-Jing. Structure design for recurrent fuzzy neural network based on wavelet transform fuzzy Markov chain. Acta Automatica Sinica, 2020, 46(11): 2367?2378. doi: 10.16383/j.aas.c180847

          基于WTFMC算法的递归模糊神经网络结构设计


          DOI: 10.16383/j.aas.c180847
          详细信息
            作者简介:

            丁海旭??北京工业大学信息学部硕士研究生.主要研究方向为神经网络结构设计与优化, 污水处理过程特征建模. E-mail: dinghaixu@emails.bjut.edu.cn

            李文静??北京工业大学信息学部副教授. 2013年于中国科学院自动化研究所获得博士学位.主要研究方向为神经计算, 污水处理过程智能建模. E-mail: wenjing.li@bjut.edu.cn

            通讯作者: 乔俊飞  北京工业大学信息学部教授.主要研究方向为污水处理过程智能控制, 神经网络结构设计与优化.本文通信作者. E-mail: junfeq@bjut.edu.cn
          • 本文责任编委??刘艳军
          • 基金项目:

            国家自然科学基金 61533002

            国家自然科学基金 61603009

            北京市自然科学基金 4182007

            北京市教委科技一般项目 KM201910005023

            北京工业大学日新人计划 2017-RX(1)-04

          Structure Design for Recurrent Fuzzy Neural Network Based on Wavelet Transform Fuzzy Markov Chain

          More Information
            Author Bio:

            DING Hai-Xu?? Master student at the Faculty of Information Technology, Beijing University of Technology. His research interest covers structure design and optimization of neural networks, feature modelling in wastewater treatment process

            LI Wen-Jing?? Associate professor at the Faculty of Information Technology, Beijing University of Technology. She received her Ph. D. degree from Institute of Automation, Chinese Academy of Sciences in 2013. Her research interest covers neural computation and intelligent modelling in wastewater treatment process

            Corresponding author: QIAO Jun-Fei   Professor at the Faculty of Information Technology, Beijing University of Technology. His research interest covers intelligent control of wastewater treatment process, structure design and optimization of neural networks. Corresponding author of this paper
          • Recommended by Associate Editor LIU Yan-Jun
          • Fund Project:

            National Natural Science Foundation of China 61533002

            National Natural Science Foundation of China 61603009

            Beijing Natural Science Foundation 4182007

            General Science and Technology Project of Beijing Education Commission KM201910005023

            Beijing University of Technology0s New Day Program 2017-RX(1)-04

          • 摘要: 针对递归模糊神经网络(Recurrent fuzzy neural network, RFNN)的递归量难以自适应的问题, 提出一种基于小波变换–模糊马尔科夫链(Wavelet transform fuzzy Markov chain, WTFMC)算法的RFNN模型.首先, 在时间维度上记录隐含层神经元的模糊隶属度, 并采用小波变换将该时间序列进行分解, 通过模糊马尔科夫链对子序列的未来时段进行预测, 之后将各预测量合并后代入递归函数中得到具有自适应性的递归量.其次, 利用梯度下降算法更新RFNN的参数来保证神经网络的精度.最后, 通过非线性系统建模中几个基准问题和实际污水处理中关键水质参数的预测实验, 证明了该神经网络模型的可行性和有效性.
            本文责任编委??刘艳军
            Recommended by Associate Editor LIU Yan-Jun
          • 图  1  WTFMC-RFNN预测模型

            Fig.  1  WTFMC-RFNN prediction model

            图  2  Henon混沌系统训练样本RMSE

            Fig.  2  RMSE values in the training process of the Henon chaotic system

            图  3  Henon混沌系统测试样本拟合效果

            Fig.  3  Desired and predicted outputs of the Henon chaotic system

            图  4  Henon混沌系统测试样本的预测误差

            Fig.  4  Prediction error in the testing process of the Henon chaotic system

            图  5  动态系统训练样本RMSE

            Fig.  5  RMSE values in the training process of the dynamic system

            图  6  动态系统样本拟合效果

            Fig.  6  Sample fitting effect of dynamic system

            图  7  动态系统测试样本的预测误差

            Fig.  7  Prediction error in the testing process of dynamic system

            图  8  Mackey-Glass时间序列训练样本RMSE

            Fig.  8  RMSE values in the training process of Mackey-Glass time series

            图  9  Mackey-Glass时间序列拟合效果

            Fig.  9  Sample fitting effect of Mackey-Glass time series

            图  10  Mackey-Glass时间序列测试样本的预测误差

            Fig.  10  Prediction error in the testing process of Mackey-Glass time series

            图  11  非线性系统训练样本RMSE

            Fig.  11  RMSE values in the training process of nonlinear systems

            图  12  非线性系统拟合效果

            Fig.  12  Sample fitting effect of nonlinear system

            图  13  非线性系统测试样本的预测误差

            Fig.  13  Prediction error in the testing process of nonlinear system

            图  14  出水氨氮训练样本RMSE

            Fig.  14  RMSE values in the training process of effluent NH$_4$-N

            图  15  出水氨氮拟合效果

            Fig.  15  Sample fitting effect of effluent NH$_4$-N

            图  16  出水氨氮测试样本的预测误差

            Fig.  16  Prediction error in the testing process of effluent NH$_4$-N

            表  1  不同网络对Henon混沌时间序列的预测结果

            Table  1  Prediction results of Henon chaotic time series with different networks

            网络 规则数 训练RMSE 测试RMSE
            WTFMC-RFNN 3 0.0030 0.0057
            IRSFNN(Ful) [26] 3 0.0160 0.0140
            IRSFNN(TSK) [26] 4 0.0170 0.0150
            RSEFNN-LF [27] 9 0.0320 0.0230
            TRFN-S [28] 6 0.0280 0.0270
            WRFNN [29] 7 0.1910 0.1880
            RFNN 3 0.0088 0.0136
            下载: 导出CSV

            表  2  不同网络对动态系统的预测结果

            Table  2  Prediction results of dynamic network with different networks

            网络 规则数 训练RMSE 测试RMSE
            WTFMC-RFNN 4 0.0021 0.011
            IRSFNN(Ful) [26] 3 0.011 0.031
            IRSFNN(TSK) [26] 3 0.015 0.036
            RSEFNN-LF [27] 4 0.020 0.040
            TRFN-S [28] 3 0.032 0.047
            WRFNN [29] 5 0.064 0.098
            RSONFIN [30] 4 0.025 0.078
            HO-RNFS [31] 3 0.054 0.082
            RFNN 4 0.0047 0.025
            下载: 导出CSV

            表  3  不同网络对Mackey-Glass时间序列的预测结果

            Table  3  Prediction results of Mackey-Glass time series with different networks

            网络 规则数 训练RMSE 测试RMSE
            WTFMC-RFNN 6 0.0070 0.0079
            TRFN-S [28] 5 0.0124
            D-FNN [32] 10 0.0082
            LRFNN-SVR [12] 3 0.0407 0.0550
            FLNFN-CCPSO [33] 0.0083 0.0084
            FAOS-PFNN [34] 11 0.0073 0.0127
            RFNN 6 0.0098 0.0171
            下载: 导出CSV

            表  4  不同网络对非线性系统的预测结果

            Table  4  Prediction results of nonlinear system identification with different networks

            网络 规则数 训练RMSE 测试RMSE
            WTFMC-RFNN 6 0.0023 0.0048
            IRSFNN(TSK) 8 0.0065 0.0131
            RSEFNN-LF 7 0.0077 0.0125
            TRFN-S 6 0.0048 0.0104
            WRFNN 10 0.0059 0.0146
            HO-RNFS 6 0.0051 0.0097
            FAOS-PFNN [34] 5 0.0252
            DFNN [35] 6 0.0283
            GDFNN [36] 8 0.0108
            RFNN 6 0.0087 0.0167
            下载: 导出CSV

            表  5  不同网络对出水氨氮的预测结果

            Table  5  Prediction results of effluent NH$_4$-N with different networks with different networks

            网络 规则数 训练RMSE 测试RMSE
            WTFMC-RFNN 12 0.0041 0.0351
            IRSFNN (TSK) 16 0.0052 0.0468
            RSEFNN-LF 12 0.0048 0.0404
            TRFN-S 14 0.0045 0.0394
            WRFNN 15 0.0053 0.0529
            HO-RNFS 15 0.0047 0.0458
            RFNN 12 0.0041 0.0437
            下载: 导出CSV
            七星彩规则
          • [1] Shihabudheen K V, Pillai G N. Recent advances in neuro-fuzzy system:a survey. Knowledge-Based Systems, 2018, 152: 136-162 doi:  10.1016/j.knosys.2018.04.014
            [2] Wang J J. A new type of fuzzy membership function designed for interval type-2 fuzzy neural network. Acta Automatica Sinica, 2017, 43(8): 1425-1433 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zdhxb201708014
            [3] Ebadzadeh M M, Salimibadr A. IC-FNN: A novel fuzzy neural network with interpretable intuitive and correlated-contours fuzzy rules for function approximation. IEEE Transactions on Fuzzy Systems, 2018, 26(3): 1288-1302 doi:  10.1109/TFUZZ.2017.2718497
            [4] Tang J J, Liu F, Zhang W H, Ke R M, Zou Y J. Lane-changes prediction based on adaptive fuzzy neural network. Expert Systems with Applications, 2018, 91: 452-463 doi:  10.1016/j.eswa.2017.09.025
            [5] Qiao J F, Cai J, Han H G, Cai J X. Predicting PM2.5 concentrations at a regional background station using second order self-organizing fuzzy neural network. Atmosphere, 2017, 8(12): 10-26 doi:  10.3390/atmos8010010
            [6] Premkumar K, Manikandan B V, Kumar C A. Antlion algorithm optimized fuzzy PID supervised on-line recurrent fuzzy neural network based controller for brushless DC motor. Electric Power Components and Systems, 2017, 45(20): 2304-2317 doi:  10.1080/15325008.2017.1402395
            [7] Zhu Q D, Yu H, Cai C T, Xiao Y. Robust optimal navigation using nonlinear model predictive control method combined with recurrent fuzzy neural network. Mathematical Problems in Engineering, 2018, 2018: 1-19 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=fbcd788ee3726c5ee9168a9b36271452
            [8] El-sousy F F M. Adaptive hybrid control system using a recurrent RBFN-based self-evolving fuzzy-neural-network for PMSM servo drives. Applied Soft Computing, 2014, 21(8): 509-532 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=0d4fc69ba07453caac6b4cc5ad1850b0
            [9] Xue A, Peng D, Guo Y. Modeling of pH neutralization process using fuzzy recurrent neural network and DNA based NSGA-Ⅱ. Journal of the Franklin Institute, 2014, 351(7): 3847-3864 doi:  10.1016/j.jfranklin.2013.03.014
            [10] Pratama M, Lu J, Lughofer E. An incremental learning of concept drifts using evolving type-2 recurrent fuzzy neural networks. IEEE Transactions on Fuzzy Systems, 2017, 25(5): 1175-1192 doi:  10.1109/TFUZZ.2016.2599855
            [11] Han S I, Lee J M. Recurrent fuzzy neural network backstepping control for the prescribed output tracking performance of nonlinear dynamic systems. ISA Transactions, 2014, 53(1): 33-43 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=9e529f262e1341efe49530c467cd74c7
            [12] Juang C F, Hsieh C D. A Locally Recurrent fuzzy neural network with support vector regression for dynamic-system modeling. IEEE Transactions on Fuzzy Systems, 2010, 18(2): 261-273 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=90839892df2adf02ac77881e12a73ba6
            [13] Wai R J, Lin Y W. Adaptive moving-target tracking xontrol of a vision-based mobile robot via a dynamic petri recurrent fuzzy neural network. IEEE Transactions on Fuzzy Systems, 2013, 21(4): 688-701 doi:  10.1109/TFUZZ.2012.2227974
            [14] Lin F J, Shyu K K, Wai R J. Recurrent-fuzzy-neural-network sliding-mode controlled motor-toggle servome-chanism. IEEE/ASME Transactions on Mechatronics, 2010, 6(4): 453-466 http://ieeexplore.ieee.org/document/974859
            [15] Wu G D, Zhu Z W. An enhanced discriminability recurrent fuzzy neural network for temporal classification problems. Fuzzy Sets and Systems, 2014, 237(2): 47-62 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=a602f825b73d4d2f559367279b270377
            [16] Qiao J F, Han G T, Han H G. Wastewater treatment control method based on a rule adaptive recurrent fuzzy neural network. International Journal of Intelligent Computing and Cybernetics, 2017, 10(2): 94-110. doi:  10.1108/IJICC-12-2016-0069
            [17] Jang J S R. ANFIS: Adaptive-network-based fuzzy inference system. IEEE Transactions on Vehicular Technology, 1993, 23(3): 665-685 http://psycnet.apa.org/psycinfo/1994-15814-001
            [18] Zhang Y, Xiong R, He H, Pecht M G. Long short-term memory recurrent neural network for remaining useful life prediction of lithium-ion batteries. IEEE Transactions on Vehicular Technology, 2018, 67(7): 5695-5705 doi:  10.1109/TVT.2018.2805189
            [19] Kam H J, Jin O S, Park R W. Prediction of daily patient numbers for a regional emergency medical center using time series analysis. Healthcare Informatics Research, 2010, 16(3): 158-165 doi:  10.4258/hir.2010.16.3.158
            [20] Joo T W, Kim S B. Time series forecasting based on wavelet filtering. Expert Systems with Applications, 2015, 42(8): 3868-3874 doi:  10.1016/j.eswa.2015.01.026
            [21] Sun W, Xu Y. Research on China's energy supply and demand using an improved Grey-Markov chain model based on wavelet transform. Energy, 2017, 118: 969-984 doi:  10.1016/j.energy.2016.10.120
            [22] 薛婷, 钟麦英.基于SWT与等价空间的LDTV系统故障检测.自动化学报, 2017, 43(11): 1920-1930 doi:  10.16383/j.aas.2017.c160479

            Xue Ting, Zhong Mai-Ying. SWT and parity space based fault detection for linear discrete time-varying systems. Acta Automatica Sinica, 2017, 43(11): 1920-1930 doi:  10.16383/j.aas.2017.c160479
            [23] Bardenet R, Doucet A, Holmes C. On Markov chain Monte Carlo methods for tall data. The Journal of Machine Learning Research, 2017, 18(1): 1515-1557 http://www.oalib.com/paper/4116218
            [24] 张熙来, 赵俭辉, 蔡波.针对PM2.5单时间序列数据的动态调整预测模型.自动化学报, 2018, 44(10): 1790-1798 doi:  10.16383/j.aas.2017.c170026

            Zhang Xi-Lai, Zhao Jian-Hui, Cai Bo. Prediction model with dynamic adjustment for single time series of PM2.5. Acta Automatica Sinica, 2018, 44(10): 1790-1798 doi:  10.16383/j.aas.2017.c170026
            [25] 周杉杉, 李文静, 乔俊飞.基于自组织递归模糊神经网络的PM2.5浓度预测.智能系统学报, 2018, 13(4): 509-516 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=xdkjyc201804003

            Zhou Shan-Shan, Li Wen-Jing, Qiao Jun-Fei. Prediction of PM2.5 concentration based on self-organizing recurrent fuzzy neural network. CAAI Transactions on Intelligent Systems, 2018, 13(4): 509-516 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=xdkjyc201804003
            [26] Lin Y Y, Chang J Y, Lin C T. Identification and prediction of dynamic systems using an interactively recurrent self-evolving fuzzy neural network. IEEE Transactions on Neural Networks and Learning Systems, 2013, 24(2): 310-321 doi:  10.1109/TNNLS.2012.2231436
            [27] Juang C F, Lin Y Y, Tu C C. A recurrent self-evolving fuzzy neural network with local feedbacks and its application to dynamic system processing. Fuzzy Sets and Systems, 2010, 161(19): 2552-2568 doi:  10.1016/j.fss.2010.04.006
            [28] Juang C F. A TSK-type recurrent fuzzy network for dynamic systems processing by neural network and genetic algorithms. IEEE Transactions on Fuzzy Systems, 2002, 10(2): 155-170 doi:  10.1109/91.995118
            [29] Lin C J, Chin C C. Prediction and identification using wavelet-based recurrent fuzzy neural networks. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 2004, 34(5): 2144-2154 doi:  10.1109/TSMCB.2004.833330
            [30] Juang C F, Lin C T. A recurrent self-organizing neural fuzzy inference network. IEEE Transactions on Neural Networks, 1999, 10(4): 828-845 doi:  10.1109/72.774232
            [31] Theocharis J B. A high-order recurrent neuro-fuzzy system with internal dynamics:application to the adaptive noise cancellation. Fuzzy Sets and Systems, 2006, 157(4): 471-500 doi:  10.1016/j.fss.2005.07.008
            [32] Mastorocostas P A, Theocharis J B. A recurrent fuzzy-neural model for dynamic system identification. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 2002, 32(2): 176-190 doi:  10.1109/3477.990874
            [33] Lin C J, Chen C H, Lin C T. A hybrid of cooperative particle swarm optimization and cultural algorithm for neural fuzzy networks and its prediction applications. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 2009, 39(1): 55-68 doi:  10.1109/TSMCC.2008.2002333
            [34] Wang N, Er M J, Meng X. A fast and accurate online self-organizing scheme for parsimonious fuzzy neural networks. Neurocomputing, 2009, 72(16-18): 3818-3829 doi:  10.1016/j.neucom.2009.05.006
            [35] Wu S, Er M J. Dynamic fuzzy neural networks-a novel approach to function approximation. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 2000, 30(2): 358-364 doi:  10.1109/3477.836384
            [36] Wu S, Er M J, Gao Y. A fast approach for automatic generation of fuzzy rules by generalized dynamic fuzzy neural networks. IEEE Transactions on Fuzzy Systems, 2001, 9(4): 578-594 doi:  10.1109/91.940970
          • [1] 谭晓衡, 张雪静. 基于小波变换的码元速率估计优化算法[J]. 自动化学报, 2020, 46(8): 1748-1752. doi: 10.16383/j.aas.c170518
            [2] 张瑞垚, 周平. 基于鲁棒加权模糊聚类的污水处理过程监测方法[J]. 自动化学报, 2020, 46(): 1-13. doi: 10.16383/j.aas.c200392
            [3] 栗三一, 乔俊飞, 李文静, 顾锞. 污水处理决策优化控制[J]. 自动化学报, 2018, 44(12): 2198-2209. doi: 10.16383/j.aas.2018.c170257
            [4] 刘志勇, 孙金玮, 卜宪庚. 单通道脑电信号眼电伪迹去除算法研究[J]. 自动化学报, 2017, 43(10): 1726-1735. doi: 10.16383/j.aas.2017.c160191
            [5] 乔俊飞, 薄迎春, 韩广. 基于ESN的多指标DHP控制策略在污水处理过程中的应用[J]. 自动化学报, 2013, 39(7): 1146-1151. doi: 10.3724/SP.J.1004.2013.01146
            [6] 孙琰玥, 何小海, 宋海英, 陈为龙. 一种用于视频超分辨率重建的块匹配图像配准方法[J]. 自动化学报, 2011, 37(1): 37-43. doi: 10.3724/SP.J.1004.2011.00037
            [7] 杨恢先, 王绪四, 谢鹏鹤, 冷爱莲, 彭友. 改进阈值与尺度间相关的小波红外图像去噪[J]. 自动化学报, 2011, 37(10): 1167-1174. doi: 10.3724/SP.J.1004.2011.01167
            [8] 屈小波, 闫敬文, 肖弘智, 朱自谦. 非降采样Contourlet域内空间频率激励的PCNN图像融合算法[J]. 自动化学报, 2008, 34(12): 1508-1514. doi: 10.3724/SP.J.1004.2008.01508
            [9] 郝红卫, 蒋蓉蓉, 石雅姗. 一种圆形感兴趣区域图像压缩算法[J]. 自动化学报, 2008, 34(5): 601-604. doi: 10.3724/SP.J.1004.2008.00601
            [10] 张红英, 彭启琮, 吴亚东. 基于P-Laplace算子的小波域图像修补模型[J]. 自动化学报, 2007, 33(5): 546-549. doi: 10.1360/aas-007-0546
            [11] 邱政权, 尹俊勋, 薛丽萍. 基于DWT-TEO的说话人识别[J]. 自动化学报, 2006, 32(5): 753-759.
            [12] 杜恩祥, 李科杰. 基于多重分形和小波变换的声目标信号特征提取[J]. 自动化学报, 2004, 30(5): 742-746.
            [13] 刘文予, 朱光喜. 结合多分辨分析和小波Holder数的人造目标识别方法[J]. 自动化学报, 2002, 28(1): 56-62.
            [14] 文成林, 周东华, 潘泉, 张洪才. 多尺度动态模型单传感器动态系统分布式信息融合[J]. 自动化学报, 2001, 27(2): 158-165.
            [15] 姜太文, 何小荣, 陈丙珍, 卢宪茂, 田澎. 常减压装置不可测被控变量的在线预测[J]. 自动化学报, 2000, 26(增刊B): 182-186.
            [16] 荆晓远, 杨静宇. 基于相关性和有效互补性分析的多分类器组合方法[J]. 自动化学报, 2000, 26(6): 741-747.
            [17] 文成林, 潘泉, 张洪才, 戴冠中. 多传感器多模型动态系统多尺度分布式融合估计算法[J]. 自动化学报, 2000, 26(增刊B): 66-70.
            [18] 叶昊, 王桂增, 方崇智, 张永光, 刘志军. 一种基于小波变换的导弹运输车辆故障诊断方法[J]. 自动化学报, 1998, 24(3): 301-306.
            [19] 倪林, 边肇祺, 王文渊. 一类新的知识型指纹图像非线性滤波方法[J]. 自动化学报, 1997, 23(5): 628-635.
            [20] 叶昊, 王桂增, 方崇智. 小波变换在故障检测中的应用[J]. 自动化学报, 1997, 23(6): 736-741.
          • 加载中
          图(16) / 表(5)
          计量
          • 文章访问数:  50
          • HTML全文浏览量:  25
          • PDF下载量:  22
          • 被引次数: 0
          出版历程
          • 收稿日期:  2018-12-22
          • 录用日期:  2019-03-08
          • 刊出日期:  2020-11-01

          基于WTFMC算法的递归模糊神经网络结构设计

          doi: 10.16383/j.aas.c180847
            基金项目:

            国家自然科学基金 61533002

            国家自然科学基金 61603009

            北京市自然科学基金 4182007

            北京市教委科技一般项目 KM201910005023

            北京工业大学日新人计划 2017-RX(1)-04

            作者简介:

            丁海旭??北京工业大学信息学部硕士研究生.主要研究方向为神经网络结构设计与优化, 污水处理过程特征建模. E-mail: dinghaixu@emails.bjut.edu.cn

            李文静??北京工业大学信息学部副教授. 2013年于中国科学院自动化研究所获得博士学位.主要研究方向为神经计算, 污水处理过程智能建模. E-mail: wenjing.li@bjut.edu.cn

            通讯作者: 乔俊飞  北京工业大学信息学部教授.主要研究方向为污水处理过程智能控制, 神经网络结构设计与优化.本文通信作者. E-mail: junfeq@bjut.edu.cn
          • 本文责任编委??刘艳军

          摘要: 针对递归模糊神经网络(Recurrent fuzzy neural network, RFNN)的递归量难以自适应的问题, 提出一种基于小波变换–模糊马尔科夫链(Wavelet transform fuzzy Markov chain, WTFMC)算法的RFNN模型.首先, 在时间维度上记录隐含层神经元的模糊隶属度, 并采用小波变换将该时间序列进行分解, 通过模糊马尔科夫链对子序列的未来时段进行预测, 之后将各预测量合并后代入递归函数中得到具有自适应性的递归量.其次, 利用梯度下降算法更新RFNN的参数来保证神经网络的精度.最后, 通过非线性系统建模中几个基准问题和实际污水处理中关键水质参数的预测实验, 证明了该神经网络模型的可行性和有效性.

          本文责任编委??刘艳军

          English Abstract

          乔俊飞, 丁海旭, 李文静. 基于 WTFMC 算法的递归模糊神经网络结构设计. 自动化学报, 2020, 46(11): 2367?2378. doi: 10.16383/j.aas.c180847
          引用本文: 乔俊飞, 丁海旭, 李文静. 基于 WTFMC 算法的递归模糊神经网络结构设计. 自动化学报, 2020, 46(11): 2367?2378. doi: 10.16383/j.aas.c180847
          Qiao Jun-Fei, Ding Hai-Xu, Li Wen-Jing. Structure design for recurrent fuzzy neural network based on wavelet transform fuzzy Markov chain. Acta Automatica Sinica, 2020, 46(11): 2367?2378. doi: 10.16383/j.aas.c180847
          Citation: Qiao Jun-Fei, Ding Hai-Xu, Li Wen-Jing. Structure design for recurrent fuzzy neural network based on wavelet transform fuzzy Markov chain. Acta Automatica Sinica, 2020, 46(11): 2367?2378. doi: 10.16383/j.aas.c180847
          • 模糊神经网络(Fuzzy neural network, FNN)是模糊理论[1]同神经网络[2]相结合的产物, 具有模糊系统的模糊推理能力, 该模型不仅能自动更新, 而且能不断修正模糊子集的隶属函数[3].但是FNN作为一种前馈网络对非线性系统建模的能力有限, 并且无法适应较复杂的动态环境[4-5].为了解决这个问题, 一些专家学者在FNN的基础上, 通过构建反馈通道建立了递归模糊神经网络(Recurrent fuzzy neural network, RFNN) [6-11]. RFNN兼具模糊系统的模糊推理能力与状态反馈的动力学特性, 可以良好地解决大时变、过拟合等问题, 从而增强了网络描述非线性动态系统的能力.因此, 对RFNN的深入研究具有重要的意义.

            RFNN的研究重点之一是递归通道的构建. Juang等[12]设计了一种局部递归模糊神经网络(Locally recurrent fuzzy neural network, LRFNN), 该网络在规则层上建立了自反馈连接, 将每个模糊规则的激活强度代入到下一次网络计算中, 实验表明其有效地解决了网络在无噪声和有噪声情况下的动态系统预测和辨识问题. Wai等[13]在FNN的隶属函数层构建了递归通道, 增加了网络的动态控制性能和稳态交互作用, 减少了不确定边界选择引起的抖振现象. Lin等[14]通过在输出层和输入层之间建立反馈连接, 将网络上一时刻的输出代入到当前的输入, 增强了网络的鲁棒性. Wu等[15]提出了一种改进的可辨识RFNN, 将模糊神经网络的反馈拓扑完全连接起来以处理时态模式行为, 实验表明该RFNN在噪声环境下具有良好的分类性能.尽管以上构建的RFNN能够记忆历史信息以适应较复杂的动态环境[16-17], 但是, 仅采用前一时刻的历史信息用于指导当前时刻的网络变化具有一定的局限性, 在处理强非线性问题时可能会因为极值或异常值的输入, 引起网络的波动.网络的递归量无法根据神经元的变化趋势及时调整, 对数据的学习缺乏自适应性.因此, 构建一种能够指导递归量变化的自适应RFNN具有重要的意义.

            鉴于以上存在的问题, 对于历史信息的存储不应局限于一个时刻, 但同样也不能简单地将多个时刻数据进行递归, 这样不利于样本非线性特征的表现, 违背了递归的本质也会增加网络的计算负担. Zhang等[18]设计了一种卷积长短期记忆(Long short-term memory, LSTM)网络用于多模态的手势识别, 该网络能够更好地学习手势的长期特征, 提高了模型的识别准确率, 与传统递归神经网络不同, LSTM网络能够较好地预测时间序列中间隔和延迟相对较长的事件, 然而其训练复杂度较高、解码延时长, 无法良好地适用于低维度、非线性强的小样本序列.因此, 若立足于RFNN本身采用合适的自适应递归算法既可增强网络的逼近能力也可减小网络设计的复杂程度. RFNN的输入通常是按照时间顺序进行的, 因而网络内部的变化也呈现一定的时间规律.若将规则层在连续时间的变化记录下来, 通过挖掘时间序列的内部规律以探知样本空间, 将加快网络初期的收敛速度, 进而减小网络计算的复杂度, 因此, 构建分析时间序列的方法对于增强递归量的自适应性尤为关键. Kam等[19]采用了一种自回归综合滑动平均法用于时间序列的分析, 该算法可以有效地用于在短期波动中的预测.虽然滑动平均法能较好地反映序列发展变化的规律, 但是后期会在序列的尾部产生一定的滞后误差, 无法完全描述序列中包含的函数关系. Joo等[20]采用一种小波变换的算法将原始时间序列分解为趋势部分和变异部分, 并对每个部分分别建立预测模型, 小波变换分解对于分析瞬时时变信号具有明显的优势, 它能有效地从时间序列中提取信息, 通过伸缩和平移等运算功能对时间序列进行多尺度细化分析, 通过对子序列分析能够更好地挖掘在原始序列中较难分析出的特点.仿真结果表明, 通过小波变换的时间序列可以更好地反映时间序列的变化趋势并能减小滞后误差, 但是各个子序列的预测模型仍需要简洁并实用的算法支撑以减少计算负荷. Sun等[21]在小波变换的基础上又提出了一种灰色马尔科夫链算法, 该算法引入了模糊理论和新陈代谢原理, 即渐进转移概率矩阵, 既减小了计算负担也保证了预测精度.

            根据以上分析, 本文构建了一种基于小波变换-模糊马尔科夫链算法的递归模糊神经网络(Wavelet transform fuzzy Markov chain RFNN, WTFMC-RFNN).该网络以模糊推理性强的T-S型FNN为基础, 在规则层后建立自反馈通道以增加网络的动态性能, 采用小波变换并结合模糊马尔科夫链以引导递归量的自适应调整, 使用梯度下降算法以保证网络的收敛精度.实验选取了几个基准问题和污水处理的关键参数进行预测, 验证了该神经网络的有效性.

            • RFNN由输入层、隶属函数层、规则层、递归层、后件层和输出层共6层组成, 其中, 递归层的递归量由WTFMC算法计算得出. RFNN的结构如图 1所示:

              图  1  WTFMC-RFNN预测模型

              Figure 1.  WTFMC-RFNN prediction model

              输入层:该层共有$ n $个神经元, 每个节点代表一个输入变量, 目的是将输入值直接传送到下一层.

              $$ \begin{align} &{ x}_i(t), \ i = 1, 2, \cdots, n \end{align} $$ (1)

              隶属函数层:该层共有$ m $个神经元, 每个节点代表一个隶属度函数, 采用高斯型隶属度函数.

              $$ \begin{align} &{ u}_{ij}(t) = \exp\left[-\frac{({ x}_i(t)-{ c}_{ij}(t))^{\rm 2}}{{\sigma}_{ij}(t)}\right], \ j = 1, 2, \cdots, m \end{align} $$ (2)

              其中, $ c_{ij}(t) $与$ \sigma_{ij}(t) $分别为隶属度函数的中心和宽度.

              规则层:该层共有$ m $个神经元, 每个节点代表一个模糊逻辑规则, 采用模糊算子为连乘算子.

              $$ \begin{align} &{ w}_j(t) = \prod\limits_{i = 1}^n{ u}_{ij}(t) \end{align} $$ (3)

              递归层:该层在规则层后建立反馈连接, 将经过WTFMC算法得到的递归量$ w^*_j(t) $代入到当前网络的计算中.

              $$ \begin{align} &{ o}_j(t) = (1-\lambda_j(t))w_j(t)+\lambda_j(t)w^*_j(t) \end{align} $$ (4)

              其中, $ \lambda_j(t) $为递归权值.

              后件层:该层的每个节点执行T-S型模糊规则的线性求和, 该层的作用是计算每条规则的后件参数.即: $ p_{0j}(t)+p_{1j}(t)x_{1}(t)+\cdots+p_{nj}(t)x_{n}(t) $.其中, 输入向量为[1, $ x_{1}(t) $, $ \cdots $, $ x_{n}(t) $], 可调模糊系统参数向量为[$ p_{0j}(t) $, $ p_{1j}(t) $, $ \cdots $, $ p_{nj}(t) $].

              $$ \begin{align} &{ \theta}_j(t) = o_j(t)(p_{0j}(t)+p_{1j}(t)x_1(t)+\cdots+\\ &\quad \quad \quad \quad p_{nj}(t)x_n(t)) \end{align} $$ (5)

              输出层:该层有一个输出节点, 对其输入量进行求和实现去模糊化.

              $$ \begin{align} &{ y}(t) = \frac{\sum\limits_{j = 1}^m\theta_j(t)}{\sum\limits_{j = 1}^mo_j(t)} \end{align} $$ (6)
            • 本文提出的WTFMC-RFNN利用小波变换(Wavelet transform, WT)将记录的规则层时间序列分解成子序列, 以此挖掘序列的内部信息; 之后采用模糊马尔科夫链(Fuzzy Markov chain, FMC)预测出下一时刻各个子序列的变化趋势, 以此保证时间序列的预测精度; 最后将各子序列预测值求和得到递归量, 并将递归量代入到递归层进行计算, 有效地解决了RFNN的递归量难以自适应的问题.本节详细介绍WTFMC-RFNN的递归机制设计.

            • 小波变换[22]是一种变换分析方法, 它继承和发展了短时傅立叶变换局部化的思想, 同时又克服了窗口大小不随频率变化等缺点, 能够提供一个随频率改变的"时间–频率"窗口, 是进行时频分析和处理的理想工具.它的主要特点是通过变换能够充分突出问题某些方面的特征, 能对时间频率的局部化分析, 通过伸缩平移运算对序列逐步进行多尺度细化, 最终达到高频处时间细分, 低频处频率细分, 能自动适应时频分析的要求, 从而可聚焦到信号的任意细节.

              首先, 将前$ k $时刻至当前时刻的模糊规则记为序列$ {\pmb W_j(T)} $, $ k $为样本总数的0.5$ \% $ $ \sim $ 2 $ \% $.

              $$ \begin{align} { \pmb W}_j(T) = &[w_j(t-k), w_j(t-k+1), \cdots, \\&w_j(t-1), w_j(t)] \end{align} $$ (7)

              对时间序列$ {\pmb W_j(T)} $进行多尺度一维离散小波变换, 之后对其进行单支重构得到1个近似部分序列$ {\pmb A_j(T)} $与$ r $个细节部分序列$ {\pmb D1_j(T)} $, $ {\pmb D2_j(T)}, \cdots, $ $ {\pmb Dr_j(T)} $.

              $$ \begin{align} { \pmb W}_j(T) = & \pmb A_j(T)+\pmb D1_j(T)+\\&\pmb D2_j(T)+\cdots+\pmb Dr_j(T) \end{align} $$ (8)
            • 模糊马尔科夫链是在马尔科夫链(Markov chain, MC)分析预测方法基础上提出来的一种能够更好地适应实际工程中状态划分模糊特点的分析方法[23]. MC针对系统状态转移规律, 分析随机事件未来发展变化趋势及可能结果, 为决策者提供决策信息的分析方法[23-24].

              $$ \begin{equation} \mu^s(a_j(z)) = \begin{cases} 0, \quad{a_j(z)<\min(A^s_j(T))}&\\ \frac{a_j(z)-\min(A^s_j(T))} {\overline{A^s_j(T)}-\min(A^s_j(T))}, &\\ \qquad {\min(A^s_j(T))\le a_j(z)\le \overline{A^s_j(T)}}\\ \frac{\max(A^s_j(T))-a_j(z)} {\max(A^s_j(T))-\overline{A^s_j(T)}}, &\\ \qquad{\overline{A^s_j(T)} < a_j(z)\le \max(A^s_j(T))}\\ 0, \quad {a_j(z)>\max(A^s_j(T))}& \end{cases} \end{equation} $$ (9)
              $$ \begin{align} &M^{t-1}_{t-k}(A^s_j(T)) = \sum\limits_{z = t-k}^{t-1}(A^s_j(T)) \end{align} $$ (10)
              $$ \begin{align} &M^t_{t-k}(A^{s1}_j(T) \rightarrow A^{s2}_j(T)) = \\&\quad\sum\limits_{z = t-k}^{t-1}(\mu^{s1} (a_j(z))\mu^{s2}(a_j(z+1))) \end{align} $$ (11)
              $$ \begin{align} &g^t_{t-k}(A^{s1}_j(T) \rightarrow A^{s2}_j(T)) = \\&\quad\frac{M^t_{t-k}(A^{s1}_j(T) \rightarrow A^{s2}_j(T))}{M^{t-1}_{t-k}(A^{s1}_j(T))} \end{align} $$ (12)
              $$ \begin{align} &G^t_{t-k}(\pmb A_j(T)) = \\&\quad\begin{subarray}{l}\begin{bmatrix} g^t_{t-k}(A^1_j(T) \rightarrow A^1_j(T)) & \cdots & g^t_{t-k}(A^1_j(T) \rightarrow A^h_j(T))\\ \vdots & \ddots & \vdots\\ g^t_{t-k}(A^h_j(T) \rightarrow A^1_j(T)) & \cdots & g^t_{t-k}(A^h_j(T) \rightarrow A^h_j(T)) \end{bmatrix} \end{subarray} \end{align} $$ (13)

              将小波变换后的近似部分序列$ {\pmb A_j(T)} $的各项记为$ a_j(z), z = t-k, t-k+1, \cdots, t-1, t $, 根据$ {\pmb A_j(T)} $的值域, 将其各划分为h个模糊状态, 即$ {A^s_j(T)}, s = 1, $ $ 2, \cdots, h $, hk的20 $ \% $ $ \sim $ 25 $ \% $, 采用三角形隶属函数定义序列$ {\pmb A_j(T)} $各项对应的模糊状态的隶属函数为$ \mu^s(a_j(z)), s = 1, 2, \cdots, h, z = t-k, t-k+1, \cdots, t-1, t $, 其隶属函数的计算方法如式(9)所示, 其中$ \min({A^s_j(T)}) $、$ \overline{{A^s_j(T)}} $、$ \max({A^s_j(T)}) $分别为模糊状态$ {A^s_j(T)}, s = 1, 2, \cdots, h $的最小值、平均值和最大值.

              构建状态转移矩阵, 定义序列$ {\pmb A_j(T)} $中从$ {t}-{k} $时刻至$ {t}-1 $时刻的序列$ a_j(z) $, $ z = t-k, t-k+1, \cdots, t-1 $落入状态$ {A^s_j(T)} $中的"个数"为$ M^{t-1}_{t-k}({A^s_j(T)}) $, 由式(10)得出.

              定义序列$ {\pmb A_j(T)} $从模糊状态$ {A^{s1}_j(T)}, s1 = 1, 2, $ $ \cdots, h $转移到模糊状态$ {A^{s2}_j(T)}, s2 = 1, 2, \cdots, h $的"个数"为$ M^{t}_{t-k}({A^{s1}_j(T)} $$ \rightarrow $$ {A^{s2}_j(T)}) $, 由式(11)得出, 其中, $ \mu^{s1}(a_j(z)), \mu^{s2}(a_j(z+1)), z = t-k, t-k+1, \cdots, t-1 $为模糊状态$ {A^{s1}_j(T)} $与模糊状态$ {A^{s2}_j(T)} $的隶属函数.

              由式(10) $ \sim $ (11), 定义序列$ {\pmb A_j(T)} $从模糊状态$ {A^{s1}_j(T)} $到$ {A^{s2}_j(T)} $的转移概率为: $ g^t_{t-k}({A^{s1}_j(T)} $$ \rightarrow $$ {A^{s2}_j(T)}) $, 概率转移矩阵如式(12)所示.

              因此, 由式(12)定义序列$ {\pmb A_j(T)} $的一阶马尔科夫状态转移概率矩阵$ G^t_{t-k}(\pmb A_j(T)) $如式(13)所示.其中, $ h1 = 1, 2, \cdots, h, h2 = 1, 2, \cdots, h $, 为模糊状态$ {A^{h1}_j(T)} $到$ {A^{h2}_j(T)} $的状态转移概率.

              时刻$ t $时的序列点为$ a_j(t) $, 由式(9)可以计算出该时刻点对于各状态的隶属度分别为$ \mu^s(a_j(t)) $, $ s = 1, 2, \cdots, h $, 将其表示为向量$ {\pmb \mu}(a_j(t)) $, 则:

              $$ \begin{align} &{{\pmb \mu}}(a_j(t)) = [{\mu}^1(a_j(t)), {\mu}^2(a_j(t)), \cdots, {\mu}^h(a_j(t))] \end{align} $$ (14)

              则时间序列在t+1时刻的状态向量$ {\pmb \mu}(a_j(t+1)) $为:

              $$ \begin{align} &{{\pmb \mu}}(a_j(t+1)) = {\pmb \mu}(a_j(t))G^t_{t-k}(\pmb A_j(T)) \end{align} $$ (15)

              其中$ {\pmb \mu}(a_j(t+1)) $可记为$ \mu^s(a_j(t+1)) $, $ s = 1, 2, $ $ \cdots, h $.

              采用权重均值法, 对得到的模糊状态向量进行去模糊化, 进而得到预测值$ a^*_j(t+1) $:

              $$ \begin{align} &{ a}^*_j(t+1) = \frac{\sum\limits_{s = 1}^h(\mu^s(a_j(t+1))\hat{a}^s_j(T))}{\sum\limits_{s = 1}^h\mu^s(a_j(t+1))} \end{align} $$ (16)

              其中, $ \hat{a}^s_j(T) $为模糊状态$ {A^s_j(T)} $对应的特征值, 即该序列中具有最大隶属度的值.

              同理, 可得到细节部分序列$ ({\pmb D1_j} $、$ {\pmb D2_j} $、$ \cdots $、$ {\pmb Dr_j)} $的预测值$ (d1^*_j(t+1) $、$ d2^*_j(t+1) $、$ \cdots $、$ dr^*_j(t+1)) $.

              重构序列后, 得到模糊规则$ w_j $在第t+1时刻的预测值为:

              $$ \begin{align} w^*_j(t+1) = &a^*_j(t+1)+d1^*_j(t+1)+\\&d2^*_j(t+1)+\cdots+dr^*_j(t+1) \end{align} $$ (17)

              将WTFMC算法得到的递归量$ w^*_j(t) $代入到式(4)中, 完成递归层的计算.

            • WTFMC-RFNN采用梯度下降算法并结合自适应学习率来调节网络参数, 梯度下降算法是一种常用的经典学习算法, 具有通用性强、泛化能力好、计算复杂度低和相对稳定等特点.本文将其与一种自适应学习率相结合, 利于节省快速寻优的时间, 进一步保证了网络的稳定性.该算法利于控制变量, 更便于与其他同类网络进行对比试验.式(19) $ \sim $ (21)正是利用梯度下降算法定义的, 由于梯度方向是函数值变大的最快的方向, 因此负梯度方向则是函数值变小的最快的方向.沿着负梯度方向一步一步迭代, 便能快速地收敛到函数最小值.相关算法定义如下.

              误差计算:

              $$ \begin{align} &{ e}(t) = \frac{1}{2}(y_d(t)-y_c(t))^2 \end{align} $$ (18)

              其中, $ y_d(t) $是网络在t时刻的期望输出, $ y_c(t) $是网络在t时刻的实际输出, $ e(t) $表示期望输出与实际输出的误差.

              模糊系统参数修正算法:

              $$ \begin{align} &{ p}_{ij}(t) = p_{ij}(t-1)-\eta\frac{\partial e(t)}{\partial p_{ij}(t)} \end{align} $$ (19)

              因为非线性系统辨识具有强非线性的特点, 本文采用时变隶属度函数, 其可以根据不同时刻的输入数据更改其中心与宽度以适应不同时刻的预测, 从而达到更好的全局逼近效果.中心、宽度修正算法如下:

              $$ \begin{align} &{ c}_{ij}(t) = c_{ij}(t-1)-\eta\frac{\partial e(t)}{\partial c_{ij}(t)} \end{align} $$ (20)
              $$ \begin{align} &{ \sigma}_{ij}(t) = \sigma_{ij}(t-1)-\eta\frac{\partial e(t)}{\partial \sigma_{ij}(t)} \end{align} $$ (21)

              递归权值修正:

              $$ \begin{align} &{ \lambda}_j(t) = \lambda_j(t-1)-\eta\frac{\partial e(t)}{\partial \lambda_j(t)} \end{align} $$ (22)

              为了更好地提高收敛精度, 本文使用了一种自适应学习率[25].

              $$ \begin{align} &{ \eta} = \eta_{\max}-\frac{d(\eta_{\max}-\eta_{\min})}{D} \end{align} $$ (23)

              其中, $ \eta $为网络学习率, $ \eta_{\max} $和$ \eta_{\min} $分别是最大学习速率和最小学习速率, $ d $是当前的迭代次数, $ D $是迭代总数. $ \eta_{\max} $和$ \eta_{\min} $是根据专家经验设定的, 学习率过大可能会使网络的每次修正量过大, 导致不规则跳跃甚至不收敛.学习率过小将会导致学习时间过长, 却能保证其收敛于某个极小值.我们根据专家经验与实际实验得到, $ \eta $通常在0.1 $ \sim $ 0.5之间选择较为合适, 因而本文中的$ \eta_{\max} $选取为0.5, $ \eta_{\min} $选取为0.1, 随着训练步数的增加, 学习率逐渐降低.训练初期参数调整步长大, 适合快速收敛, 训练后期, 步长变小, 从而防止神经网络的不稳定.

              WTFMC-RFNN的学习过程如下:

              创建初始FNN, 初始化中心、宽度、模糊系统参数和递归权重.

              for $ d = 1:D $

              for $ t = 1:T $

              计算隶属函数层的输出; ???????????? %式(2)

              计算规则层的输出; ????????????%式(3)

              记录规则层的输出; ????????????%式(7)

              if $ t\ge k $

              采用小波变换算法将记录的规则层输出进行变换, 将其分解成子序列; ??????? %式(8)

              用模糊马尔科夫链算法对变换后的子序列进行预测; ???????%式(9)$ \sim $(16)

              通过合并所有子序列预测规则层的当前输出; ??????? %式(17)

              end

              将经过WTFMC算法得到的递归量引入到当前网络的计算中; ???????%式(4)

              计算后件参数并将其代入到输出层; ??????? %式(5)

              通过解模糊化计算输出; ??????? %式(6)

              计算误差; ??????? %式(18)

              采用自适应学习速率结合梯度下降算法更新中心、宽度、模糊系统参数和递归权重; ??????? %式(19)$ \sim $(23)

              ???????end

              end

            • 本文提出的WTFMC-RFNN能够根据研究对象的数据关联程度自适应地调整网络的递归量, 增强网络的泛化性能, 提高模型的逼近精度.利用WTFMC-RFNN对Henon混沌系统辨识、动态系统辨识、Mackey-Glass时间序列预测、非线性系统辨识和污水处理过程中关键水质参数进行动态建模, 证明该结构设计方法的有效性.采用均方根误差(Root mean squared error, RMSE)评估预测模型的结果, 如式(24)所示.

              $$ \begin{align} &{\rm RMSE}(t) = \sqrt{\frac{\sum\limits_{t = 1}^N(y_d(t)-y_c(t))^2}{N}} \end{align} $$ (24)
            • 本实验中, 通过对Henon混沌系统时间序列预测来验证WTFMC-RFNN的有效性, 其表达式如下:

              $$ \begin{align} &{ y}(t+1) = -Hy^2(t)+Qy(t-1)+1.0 \end{align} $$ (25)

              式中$ H = 1.4 $, $ Q = 0.3 $, $ y $的初始值为$ [y(1), y(0)] $ = $ [0.4, 0.4 $].选取样本2 000组, 其中1 000组用来训练, 剩余1 000组用来测试.神经网络的输入层神经元个数为2, 隶属度函数层神经元个数为2×3个, 规则层、递归层与后件层神经元个数为3, 输出层神经元为1.

              WTFMC-RFNN对Henon混沌系统时间序列的训练RMSE如图 2所示, 在采用相同的结构时, WTFMC-RFNN因为计算了数据集的关联程度, 因而比RFNN具有更快的初期收敛速度.对测试样本的预测效果及误差如图 3图 4所示.

              图  2  Henon混沌系统训练样本RMSE

              Figure 2.  RMSE values in the training process of the Henon chaotic system

              图  3  Henon混沌系统测试样本拟合效果

              Figure 3.  Desired and predicted outputs of the Henon chaotic system

              图  4  Henon混沌系统测试样本的预测误差

              Figure 4.  Prediction error in the testing process of the Henon chaotic system

              为了测试该网络模型的有效性, 对比实验选取了交互式递归自进化模糊神经网络(Interactively recurrent self-evolving fuzzy neural network, IRSFNN) [26]、局部递归自进化模糊神经网络(Recurrent self-evolving FNN with local feedback, RSEFNN-LF) [27]、有监督学习的TSK型递归模糊网络(TSK-type recurrent fuzzy network with supervised learning, TRFN-S) [28]、小波变换递归模糊神经网络(Wavelet-based recurrent fuzzy neural network, WRFNN) [29]和RFNN进行比较, 从表 1可以看出WTFMC-RFNN具有最少的隐含层神经元个数(3)和最小的训练RMSE (0.0030)和测试RMSE (0.0057).因此, 与以上几种方法对比, WTFMC-RFNN更适合于Henon混沌时间序列的非线性系统建模.

              表 1  不同网络对Henon混沌时间序列的预测结果

              Table 1.  Prediction results of Henon chaotic time series with different networks

              网络 规则数 训练RMSE 测试RMSE
              WTFMC-RFNN 3 0.0030 0.0057
              IRSFNN(Ful) [26] 3 0.0160 0.0140
              IRSFNN(TSK) [26] 4 0.0170 0.0150
              RSEFNN-LF [27] 9 0.0320 0.0230
              TRFN-S [28] 6 0.0280 0.0270
              WRFNN [29] 7 0.1910 0.1880
              RFNN 3 0.0088 0.0136
            • 本实验中, 通过对带有时滞的动态系统辨识来验证WTFMC-RFNN的有效性, 其表达式如下:

              $$ \begin{align} y(t+1) = &0.72y(t)+0.025y(t-1)u_1(t-1)+\\ &0.01u^2_1(t-2)+0.2u_1(t-3) \end{align} $$ (26)

              其中, $ y $的初始值为$ y(1) = y(2) = y(3) = y(4) = 0, $ $ u(t) = 1.05{\rm sin}({t}/45) $.选取样本2 000组, 其中1 000组用来训练, 剩余1 000组用来测试.其中测试样本的$ u(t) $表达式如下:

              $$ \begin{equation} \begin{split} u(t) = \begin{cases} \sin\left(\frac{\pi t}{25}\right), &{t<250}\\ 1.0, &{250 \le t< 500}\\ -1.0, &{500 \le t< 750}\\ 0.3\sin\left(\frac{\pi t}{25}\right)+0.1\left(\frac{\pi t}{32}\right)+&\\ \quad 0.6\left(\frac{\pi t}{10}\right), &{750 \le t\le 1 000}\\ \end{cases} \end{split} \end{equation} $$ (27)

              神经网络的输入层神经元个数为5, 隶属度函数层神经元个数为5×4个, 规则层、递归层与后件层神经元个数为4, 输出层神经元为1.

              WTFMC-RFNN与RFNN对动态辨识系统的训练RMSE如图 5所示, 在采用相同的结构时, WTFMC-RFNN因为计算了数据集的关联程度, 因而比RFNN具有更快的初期收敛速度.对测试样本的预测效果及误差如图 6图 7所示.

              图  5  动态系统训练样本RMSE

              Figure 5.  RMSE values in the training process of the dynamic system

              图  6  动态系统样本拟合效果

              Figure 6.  Sample fitting effect of dynamic system

              图  7  动态系统测试样本的预测误差

              Figure 7.  Prediction error in the testing process of dynamic system

              为了测试该网络模型的有效性, 对比实验选取了IRSFNN [26]、RSEFNN-LF [27]、TRFN-S [28]、WRFNN [29]、递归自组织模糊推理神经网络(Recurrent self-organizing neural fuzzy inference network, RSONFIN) [30]、高阶递归神经模糊系统(High-order recurrent neuro-fuzzy system, HO-RNFS) [31]和RFNN进行了比较, 根据表 2可以看出WTFMC-RFNN具有最小的训练RMSE (0.0021)和最小的测试RMSE (0.011).因此, 与以上几种方法对比, WTFMC-RFNN更适合于动态系统的建模.

              表 2  不同网络对动态系统的预测结果

              Table 2.  Prediction results of dynamic network with different networks

              网络 规则数 训练RMSE 测试RMSE
              WTFMC-RFNN 4 0.0021 0.011
              IRSFNN(Ful) [26] 3 0.011 0.031
              IRSFNN(TSK) [26] 3 0.015 0.036
              RSEFNN-LF [27] 4 0.020 0.040
              TRFN-S [28] 3 0.032 0.047
              WRFNN [29] 5 0.064 0.098
              RSONFIN [30] 4 0.025 0.078
              HO-RNFS [31] 3 0.054 0.082
              RFNN 4 0.0047 0.025
            • 本实验中, 通过对Mackey-Glass时间序列预测来验证WTFMC-RFNN的有效性, 其表达式如下:

              $$ \begin{align} &{ x}(t+1) = (1-a)x(t)+\frac{bx(t-\tau)}{1+x^{10}(t-\tau)} \end{align} $$ (28)

              式中, a = 0.1, b = 0.2, $ \tau = 17, $ x(0) = 1.2.预测模型由式(29)所示, 其中, $ \Delta t = 6 $.

              $$ \begin{align} &{x}(t+\Delta t) = \\& \qquad f[x(t), x(t-\Delta t), x(t-2\Delta t), x(t-3\Delta t)] \end{align} $$ (29)

              选取样本1 000组, 其中500组用来训练, 剩余500组用来测试.神经网络的输入层神经元个数为4, 隶属度函数层神经元个数为4×6个, 规则层、递归层与后件层神经元个数为6, 输出层神经元为1.

              WTFMC-RFNN对Mackey-Glass时间序列的训练RMSE如图 8所示, 可看出在采用相同的结构时, WTFMC-RFNN因为计算了数据集的关联程度, 因而比RFNN具有更快的初期收敛速度.对测试样本的预测效果及误差如图 9图 10所示.为了测试该网络模型的有效性, 对比实验选取了TRFN-S [28]、动态模糊神经网络(Dynamic fuzzy neural network, D-FNN) [32]、基于支持向量回归的局部递归模糊神经网络(Locally recurrent fuzzy neural network with support vector regression, LRFNN-SVR) [12]、基于功能链接的文化协同粒子群模糊神经网络(Functional-link-based neural fuzzy network with cultural cooperative particle swarm optimization, FLNFN-CCPSO) [33]、快速在线自组织简约模糊神经网络(Fast and accurate online self-organizing scheme for parsimonious fuzzy neural networks, FAOS-PFNN) [34]和RFNN进行了比较, 从表 3可以看出WTFMC-RFNN具有最小的训练RMSE (0.0070)和测试RMSE (0.0079).因此, 与以上几种方法对比, WTFMC-RFNN更适合于Mackey-Glass时间序列的建模.

              图  8  Mackey-Glass时间序列训练样本RMSE

              Figure 8.  RMSE values in the training process of Mackey-Glass time series

              图  9  Mackey-Glass时间序列拟合效果

              Figure 9.  Sample fitting effect of Mackey-Glass time series

              图  10  Mackey-Glass时间序列测试样本的预测误差

              Figure 10.  Prediction error in the testing process of Mackey-Glass time series

              表 3  不同网络对Mackey-Glass时间序列的预测结果

              Table 3.  Prediction results of Mackey-Glass time series with different networks

              网络 规则数 训练RMSE 测试RMSE
              WTFMC-RFNN 6 0.0070 0.0079
              TRFN-S [28] 5 0.0124
              D-FNN [32] 10 0.0082
              LRFNN-SVR [12] 3 0.0407 0.0550
              FLNFN-CCPSO [33] 0.0083 0.0084
              FAOS-PFNN [34] 11 0.0073 0.0127
              RFNN 6 0.0098 0.0171
            • 本实验中, 通过对典型非线性系统预测来验证WTFMC-RFNN的有效性, 其表达式如下:

              $$ \begin{align} &{ y}(t+1) = \frac{y(t)y(t-1)[y(t)+2.5]}{1+y^2(t)+y^2(t-1)}+u(t) \end{align} $$ (30)

              式中, $ u(t) = \sin(2\pi/25), t\in[1, 600]; y(0) = y(1) = 0. $由式(30)可知, 该模型由3个输入$ y(t), y(t-1), u(t) $和1个输出$ y(t+1) $组成.选取样本600组, 其中500组用来训练, 剩余100组用来测试.神经网络的输入层神经元个数为3, 隶属度函数层神经元个数为3×6个, 规则层、递归层与后件层神经元个数为6, 输出层神经元为1.

              WTFMC-RFNN与RFNN对非线性系统的训练RMSE如图 11所示, 在采用相同的结构时, WTFMC-RFNN因为计算了数据集的关联程度, 因而比RFNN具有更快的初期收敛速度.对测试样本的预测效果及误差如图 12图 13所示.

              图  11  非线性系统训练样本RMSE

              Figure 11.  RMSE values in the training process of nonlinear systems

              图  12  非线性系统拟合效果

              Figure 12.  Sample fitting effect of nonlinear system

              图  13  非线性系统测试样本的预测误差

              Figure 13.  Prediction error in the testing process of nonlinear system

              为了测试该网络模型的有效性, 对比实验选取了IRSFNN (TSK)、RSEFNN-LF、TRFN-S、WRFNN、HO-RNFS、FAOS-PFNN [34]、动态模糊神经网络(Dynamic fuzzy neural networks, DFNN) [35]、广义动态模糊神经网络(Generalized dynamic fuzzy neural networks, G-DFNN) [36]和RFNN进行比较实验, 从表 4可以看出WTFMC-RFNN具有最小的训练RMSE (0.0023)和最小的测试RMSE (0.0048).因此, 与以上几种方法对比, WTFMC-RFNN更适合于非线性系统辨识的建模.

              表 4  不同网络对非线性系统的预测结果

              Table 4.  Prediction results of nonlinear system identification with different networks

              网络 规则数 训练RMSE 测试RMSE
              WTFMC-RFNN 6 0.0023 0.0048
              IRSFNN(TSK) 8 0.0065 0.0131
              RSEFNN-LF 7 0.0077 0.0125
              TRFN-S 6 0.0048 0.0104
              WRFNN 10 0.0059 0.0146
              HO-RNFS 6 0.0051 0.0097
              FAOS-PFNN [34] 5 0.0252
              DFNN [35] 6 0.0283
              GDFNN [36] 8 0.0108
              RFNN 6 0.0087 0.0167
            • 出水氨氮(NH$ _4 $-N)是污水处理中评价水质的重要指标之一, 具有高度的非线性、大时变的特征, 导致很难及时准确地预测其浓度.本文利用WTFMC-RFNN对污水处理过程中出水氨氮进行建模, 选取出水总氮(Total nitrogen, TN)、硝态氮(NO$ _3 $-N)、亚硝态氮(NO$ _2 $-N)、有机氮、总磷(Total phosphorus, TP)、混合液悬浮固体浓度(Mixed liquid susp-ended solids, MLSS)以及曝气池污泥沉降比(Settling velocity, SV)作为WTFMC-RFNN的输入变量, WTFMC-RFNN的输出变量为出水氨氮.选取北京市某污水厂全年的数据进行仿真, 共得到300组数据按照时间顺序进行排列, 选取前200组作为训练样本, 剩余的100组作为测试样本.神经网络的输入层神经元个数为7, 隶属度函数层神经元个数为7×12个, 规则层、递归层与后件层神经元个数为12, 输出层神经元为1.

              WTFMC-RFNN对出水氨氮的训练RMSE如图 14所示, 在采用相同的结构时, WTFMC-RFNN因为计算了数据集的关联程度, 因而比RFNN具有更快的初期收敛速度.对测试样本的预测效果及误差如图 15图 16所示.为了测试该网络模型的有效性, 对比实验选取了TRFN-S、WR-FNN、HO-RNFS和RFNN进行比较, IRSFNN (TSK)、RSEFNN-LF、从表 5可以看出WTFMC-RFNN具有最少的隐含层神经元个数(12)、最小的训练RMSE (0.0041)和最小的测试RMSE (0.0351).因此, 与以上几种方法对比, WTFMC-RFNN更适合于污水处理中预测出水氨氮的建模.

              图  14  出水氨氮训练样本RMSE

              Figure 14.  RMSE values in the training process of effluent NH$_4$-N

              图  15  出水氨氮拟合效果

              Figure 15.  Sample fitting effect of effluent NH$_4$-N

              图  16  出水氨氮测试样本的预测误差

              Figure 16.  Prediction error in the testing process of effluent NH$_4$-N

              表 5  不同网络对出水氨氮的预测结果

              Table 5.  Prediction results of effluent NH$_4$-N with different networks with different networks

              网络 规则数 训练RMSE 测试RMSE
              WTFMC-RFNN 12 0.0041 0.0351
              IRSFNN (TSK) 16 0.0052 0.0468
              RSEFNN-LF 12 0.0048 0.0404
              TRFN-S 14 0.0045 0.0394
              WRFNN 15 0.0053 0.0529
              HO-RNFS 15 0.0047 0.0458
              RFNN 12 0.0041 0.0437
            • 针对递归模糊神经网络的递归量难以自适应调整的问题, 提出了一种基于WTFMC的递归模糊神经网络的预测模型, 具有以下特点.

              通过挖掘神经网络在时序数据输入过程中内部的变化规律, 实现了网络的快速收敛; 与传统递归神经网络对比, 该模型分析了网络在多个连续时刻的变化趋势, 具有更强的处理动态信息的能力; 通过对基准时间序列和污水处理关键水质参数的预测, 证明了网络的有效性.

          参考文献 (36)

          目录

            /

            返回文章
            返回