<sub id="bz1nl"></sub><sub id="bz1nl"></sub>
        <sub id="bz1nl"></sub>

        <sub id="bz1nl"></sub><sub id="bz1nl"></sub>

          2.793

          2018影响因子

          (CJCR)

          • 中文核心
          • EI
          • 中国科技核心
          • Scopus
          • CSCD
          • 英国科学文摘

          留言板

          尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

          姓名
          邮箱
          手机号码
          标题
          留言内容
          验证码

          深度神经模糊系统算法及其回归应用

          赵文迪 陈德旺 卓永强 黄允浒

          赵文迪, 陈德旺, 卓永强, 黄允浒. 深度神经模糊系统算法及其回归应用. 自动化学报, 2020, 46(11): 2350?2358. doi: 10.16383/j.aas.c200100
          引用本文: 赵文迪, 陈德旺, 卓永强, 黄允浒. 深度神经模糊系统算法及其回归应用. 自动化学报, 2020, 46(11): 2350?2358. doi: 10.16383/j.aas.c200100
          Zhao Wen-Di, Chen De-Wang, Zhuo Yong-Qiang, Huang Yun-Hu. Deep neural fuzzy system algorithm and its regression application. Acta Automatica Sinica, 2020, 46(11): 2350?2358. doi: 10.16383/j.aas.c200100
          Citation: Zhao Wen-Di, Chen De-Wang, Zhuo Yong-Qiang, Huang Yun-Hu. Deep neural fuzzy system algorithm and its regression application. Acta Automatica Sinica, 2020, 46(11): 2350?2358. doi: 10.16383/j.aas.c200100

          深度神经模糊系统算法及其回归应用


          DOI: 10.16383/j.aas.c200100
          详细信息
            作者简介:

            福州大学数学与计算机科学学院, 智慧地铁福建省高校重点实验室科研助理. 主要研究方向为深度学习, 模糊系统.E-mail: wdzhao@aliyun.com

            福建省“闽江学者”特聘教授, 福州大学数学与计算机学院教授. 主要研究方向为深度学习, 模糊系统和智能交通系统. 本文通信作者.E-mail: dwchen@fzu.edu.cn

            广州海航学院海运学院教授. 主要研究方向为船舶运动智能控制, 海上交通系统工程和模糊系统.E-mail: zhuoyq@aliyun.com

            福州大学数学与计算机科学学院博士研究生. 主要研究方向为机器学习, 模糊系统与智能交通系统.E-mail: N190310001@fzu.edu.cn

          • 基金项目:  国家自然科学基金面上项目(61976055), 智慧地铁福建省高校重点实验室(53001703, 50013203)资助

          Deep Neural Fuzzy System Algorithm and Its Regression Application

          More Information
          • Fund Project:  Supported by General Program of National Natural Science Foundation of China (61976055), Key laboratory of Intelligent Metro of Universities in Fujian Province (53001703, 50013203)
          • 摘要: 深度神经网络是人工智能的热点, 可以很好处理高维大数据, 却有可解释性差的不足. 通过IF-THEN规则构建的模糊系统, 具有可解释性强的优点, 但在处理高维大数据时会遇到“维数灾难”问题. 本文提出一种基于ANFIS (Adaptive network based fuzzy inference system)的深度神经模糊系统(Deep neural fuzzy system, DNFS)及两种基于分块和分层的启发式实现算法: DNFS1和DNFS2. 通过四个面向回归应用的数据集的测试, 我们发现: 1)采用分块、分层学习的DNFS在准确度与可解释性上优于BP、RBF、GRNN等传统浅层神经网络算法, 也优于LSTM和DBN等深度神经网络算法; 2)在低维问题中, DNFS1具有一定优势; 3)在面对高维问题时, DNFS2表现更为突出. 本文的研究结果表明DNFS是一种新型深度学习方法, 不仅可解释性好, 而且能有效解决处理高维数据时模糊规则数目爆炸的问题, 具有很好的发展前景.
          • 图  1  DNFS1基本结构

            Fig.  1  Basic structure of DNFS1

            图  2  DNFS2基本结构

            Fig.  2  Basic structure of DNFS2

            图  3  DNFS算法流程

            Fig.  3  DNFS algorithm flow

            图  4  SMW数据集深度结构

            Fig.  4  The deep structure of SMW data set

            图  5  SMW测试集预测效果

            Fig.  5  Prediction effect of SMW test set

            图  6  ONP数据集深度结构

            Fig.  6  The deep structure of ONP data set

            图  7  ONP测试集预测效果

            Fig.  7  Prediction effect of ONP test set

            图  8  SUP数据集深度结构

            Fig.  8  The deep structure of SUP data set

            图  9  SUP测试集预测效果

            Fig.  9  Prediction effect of SUP test set

            图  10  BF测试集预测效果

            Fig.  10  Prediction effect of BF test set

            表  1  实验数据集

            Table  1  Experimental data set

            项目编号数据集输入维度输出维度样本数DNFS1总层数DNFS2总层数
            1Smartwatch_sens (SMW)121120001530
            2Online News Popularity (ONP)5912000025145
            3Superconductivty (SUP)8111000030200
            4BlogFeedback (BF)27111500040675
            下载: 导出CSV

            表  2  SMW测试集评价指标

            Table  2  Evaluation index of SMW test set

            BPRBFGRNNLSTMDBNANFISDNFS1DNFS2
            STD0.0388690.0385100.0384410.0393850.0385960.0393980.037643 0.040971
            RMSE0.0388650.0385060.0384370.0402190.0385920.0393970.037640 0.040970
            MAE0.0177890.0183550.0170810.0209280.0170880.0179650.016639 0.016834
            SMAPE3.5849 %3.7368 %3.4864 %4.2653 %3.4872 %3.6510 %3.3553 %3.5535 %
            Score161627721113214
            下载: 导出CSV

            表  3  ONP测试集评价指标

            Table  3  Evaluation index of ONP test set

            BPRBFGRNNLSTMDBNANFISDNFS1DNFS2
            STD0.0401480.0175650.0169410.0163210.0162170.2345850.0250120.016195
            RMSE0.0401730.0175670.0169410.0188270.0162160.2639660.0250110.016195
            MAE0.0058240.0053470.0040600.0116390.0041530.1236090.0044000.003975
            SMAPE83.1325 %110.4412 %77.8989 %136.6059 %88.0204 %106.8444 %78.3964 %79.4094 %
            Score121526132461830
            下载: 导出CSV

            表  4  SUP测试集评价指标

            Table  4  Evaluation index of SUP test set

            BPRBFGRNNLSTMDBNANFISDNFS1DNFS2
            STD0.123850.130380.174930.159970.210740.168660.134150.12293
            RMSE0.123840.130380.175270.160040.210760.169720.134180.12293
            MAE0.087860.100380.149560.129580.182450.126570.101650.08735
            SMAPE30.1760 %32.4668 %43.0296 %38.5752 %51.2832 %37.7120 %31.2728 %28.7900 %
            Score28238144142132
            下载: 导出CSV

            表  5  BF测试集评价指标

            Table  5  Evaluation index of BF test set

            BPRBFGRNNLSTMDBNANFISDNFS1DNFS2
            STD0.109000.042170.043220.033550.044570.096830.044650.03155
            RMSE0.109730.042590.043240.033980.044570.339220.044660.03156
            MAE0.023040.011120.011200.014090.016070.326300.010280.00859
            SMAPE54.675 %76.842 %81.804 %96.684 %102.462 %142.341 %64.263 %54.162 %
            Score122319211351932
            下载: 导出CSV
            七星彩规则
          • [1] Mcclloch W S, Pitts W. A logical calculus of the ideas immanent in nervous activity. Bulletin of Mathematical Biology, 1943, 10(5): 115?133
            [2] Rosenblatt, F. The perceptron: A probabilistic model for information storage and organization in the brain. Psychological Review, 1958, 65: 386?408 doi:  10.1037/h0042519
            [3] Minsky M L, Papert S A. Perceptrons. American Journal of Psychology, 1969, 84(3): 449?452
            [4] Hopfield J J. Neural networks and physical systems with emergent collective computational abilities. Proceedings of the National Academy of Sciences of the United States of America, 1982, 79(8): 2554?2558 doi:  10.1073/pnas.79.8.2554
            [5] Lv Y S, Chen Y Y, Zhang X Q, Duan Y J, Li N Q. Social media based transportation research: The state of the work and the networking. IEEE/CAA Journal of Automatica Sinica, 2017, 4(1): 19?26 doi:  10.1109/JAS.2017.7510316
            [6] Rumelhart, David E, Hinton, Geoffrey E, Williams, Ronald J. Learning representations by back-propagating errors. Nature, 1986, 323(6088): 533?536 doi:  10.1038/323533a0
            [7] Cortes C, Vapnik V. Support-vector networks. Machine Learning, 1995, 20(3): 273?297
            [8] Hinton, G. E. Reducing the dimensionality of data with neural networks. Science, 2006, 313(5786): 504?507 doi:  10.1126/science.1127647
            [9] Lecun Y, Bengio Y, Hinton G. Deep learning. Nature, 2015, 521(7553): 436?444 doi:  10.1038/nature14539
            [10] Sabour S, Frosst N, Hinton G E. Dynamic routing between capsules. In: Proceedings of the 31st Conference on Neural Information Processing Systems (NIPS 2017), Long Beach, CA, USA. 2017. 1?11
            [11] Guha A, Ghosh S, Roy A, Chatterjee S. Epileptic seizure recognition using deep neural network. Emerging Technology in Modelling and Graphics. Springer, Singapore, 2020. 21?28
            [12] Kantz E D, Tiwari S, Watrous J D, Cheng S. Deep neural networks for classification of lc-ms spectral peaks. Analytical Chemistry, 2019, 91(19): 12407?12413. DOI:  10.1021/acs.analchem.9b02983
            [13] Liu B S, Chen X M, Han Y H, Li J J, Xu H B, Li X W. Accelerating DNN-based 3D point cloud processing for mobile computing. Science China. Information Sciences, 2019, 32(11): 36?46
            [14] Mercedes E. Paoletti. Deep pyramidal residual networks for spectral–spatial hyperspectral image classification. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(2): 740?754 doi:  10.1109/TGRS.2018.2860125
            [15] Yang H, Luo L, Chueng L P, Ling D, Chin F. Deep learning and its applications to natural language processing. Deep Learning: Fundamentals, Theory and Applications. Springer, Cham, 2019. 89?109
            [16] Zadeh, L.A. Fuzzy sets. Information & Control, 1965, 8(3): 338?353
            [17] Mamdani E H, Baaklini N. Prescriptive method for deriving control policy in a fuzzy-logic controller. Electronics Letters, 1975, 11(25): 625?626
            [18] Wang L X. Fuzzy systems are universal approximators. In: Proceedings of the 1992 IEEE International Conference on Fuzzy Systems. San Diego, CA, USA: IEEE, 1992.1163?1170
            [19] Wang L X, Mendel J M. Generating fuzzy rules by learning from examples. IEEE Transactions on Systems, Man and Cybernetics, 1992, 22(6): 1414?1427 doi:  10.1109/21.199466
            [20] Jang J S R. ANFIS: Adaptive-network-based fuzzy inference system. IEEE Transactions on Systems Man and Cybernetics, 1993, 23(3): 665?685
            [21] Sun B X, Gao K, Jiang J C, Luo M, He T T, Zheng F D, Guo H Y. Research on discharge peak power prediction of battery based on ANFIS and subtraction clustering. Transactions of China Electrotechnical Society, 2015, 30(4): 272?280
            [22] 陈伟宏, 安吉尧, 李仁发, 李万里. 深度学习认知计算综述. 自动化学报, 2017, 43(11): 1886?1897

            Chen Wei-Hong, An Ji-Yao, Li Ren-Fa, Li Wan-Li. Review on deep-learning-based cognitive computing. Acta Automatica Sinica, 2017, 43(11): 1886?1897
          • [1] 乔俊飞, 丁海旭, 李文静. 基于WTFMC算法的递归模糊神经网络结构设计[J]. 自动化学报, 2020, 46(11): 2367-2378. doi: 10.16383/j.aas.c180847
            [2] 韩中, 程林, 熊金泉, 刘满君. 大数据结构化与数据驱动的复杂系统维修决策[J]. 自动化学报, 2020, 46(2): 385-396. doi: 10.16383/j.aas.c170638
            [3] 周志杰, 曹友, 胡昌华, 唐帅文, 张春潮, 王杰. 基于规则的建模方法的可解释性及其发展[J]. 自动化学报, 2020, 45(): 1-16. doi: 10.16383/j.aas.c200402
            [4] 董胤蓬, 苏航, 朱军. 面向对抗样本的深度神经网络可解释性分析[J]. 自动化学报, 2020, 45(): 1-12. doi: 10.16383/j.aas.c200317
            [5] 张宇献, 郭佳强, 钱小毅, 王建辉. 有混合数据输入的自适应模糊神经推理系统[J]. 自动化学报, 2019, 45(9): 1743-1755. doi: 10.16383/j.aas.2018.c170698
            [6] 郑治豪, 吴文兵, 陈鑫, 胡荣鑫, 柳鑫, 王璞. 基于社交媒体大数据的交通感知分析系统[J]. 自动化学报, 2018, 44(4): 656-666. doi: 10.16383/j.aas.2017.c160537
            [7] 余伟伟, 谢承旺, 闭应洲, 夏学文, 李雄, 任柯燕, 赵怀瑞, 王少锋. 一种基于自适应模糊支配的高维多目标粒子群算法[J]. 自动化学报, 2018, 44(12): 2278-2289. doi: 10.16383/j.aas.2018.c170573
            [8] 李靖, 李俊民, 陈为胜. 随机非线性严格反馈系统的自适应神经网络输出反馈镇定[J]. 自动化学报, 2010, 36(3): 450-453. doi: 10.3724/SP.J.1004.2010.00450
            [9] 陈杰, 李志平, 张国柱. 变结构神经网络自适应鲁棒控制[J]. 自动化学报, 2010, 36(1): 174-178. doi: 10.3724/SP.J.1004.2010.00174
            [10] 唐成龙, 王石刚. 基于数据间内在关联性的自适应模糊聚类模型[J]. 自动化学报, 2010, 36(11): 1544-1556. doi: 10.3724/SP.J.1004.2010.01544
            [11] 张立权, 邵诚. 利用数据产生模糊推理系统的自适应学习方法[J]. 自动化学报, 2008, 34(1): 80-84. doi: 10.3724/SP.J.1004.2008.00080
            [12] 俞建成, 张艾群, 王晓辉, 苏立娟. 基于模糊神经网络水下机器人直接自适应控制[J]. 自动化学报, 2007, 33(8): 840-846. doi: 10.1360/aas-007-0840
            [13] 李佳宁, 易建强, 赵冬斌, 西广成. 一种新的基于神经模糊推理网络的复杂系统模糊辨识方法[J]. 自动化学报, 2006, 32(5): 695-703.
            [14] 陈为胜, 李俊民. 未知输出反馈非线性时滞系统自适应神经网络跟踪控制[J]. 自动化学报, 2005, 31(5): 799-803.
            [15] 邢宗义, 贾利民, 张永, 胡维礼, 秦勇. 一类基于数据的解释性模糊建模方法的研究[J]. 自动化学报, 2005, 31(6): 815-824.
            [16] 余有灵, 徐立鸿, 吴启迪. 广义模糊神经网络[J]. 自动化学报, 2003, 29(6): 867-875.
            [17] 佟绍成, 李庆国, 柴天佑. 基于神经网络的一类非线性系统自适应输出跟踪[J]. 自动化学报, 2000, 26(3): 296-302.
            [18] 刘向杰, 柴天佑, 张焕水. 三维模糊控制器的结构研究[J]. 自动化学报, 1998, 24(2): 230-235.
            [19] 张乃尧, 栾天. 基于模糊神经网络的模型参考自适应控制[J]. 自动化学报, 1996, 22(4): 476-480.
            [20] 王永骥, 陈捷, 徐桂英, 涂健. 水轮机组调速系统的自适应神经元控制[J]. 自动化学报, 1994, 20(1): 117-120.
          • 加载中
          图(10) / 表(5)
          计量
          • 文章访问数:  126
          • HTML全文浏览量:  41
          • PDF下载量:  42
          • 被引次数: 0
          出版历程
          • 收稿日期:  2020-03-02
          • 录用日期:  2020-06-28
          • 刊出日期:  2020-11-20

          深度神经模糊系统算法及其回归应用

          doi: 10.16383/j.aas.c200100
            基金项目:  国家自然科学基金面上项目(61976055), 智慧地铁福建省高校重点实验室(53001703, 50013203)资助
            作者简介:

            福州大学数学与计算机科学学院, 智慧地铁福建省高校重点实验室科研助理. 主要研究方向为深度学习, 模糊系统.E-mail: wdzhao@aliyun.com

            福建省“闽江学者”特聘教授, 福州大学数学与计算机学院教授. 主要研究方向为深度学习, 模糊系统和智能交通系统. 本文通信作者.E-mail: dwchen@fzu.edu.cn

            广州海航学院海运学院教授. 主要研究方向为船舶运动智能控制, 海上交通系统工程和模糊系统.E-mail: zhuoyq@aliyun.com

            福州大学数学与计算机科学学院博士研究生. 主要研究方向为机器学习, 模糊系统与智能交通系统.E-mail: N190310001@fzu.edu.cn

          摘要: 深度神经网络是人工智能的热点, 可以很好处理高维大数据, 却有可解释性差的不足. 通过IF-THEN规则构建的模糊系统, 具有可解释性强的优点, 但在处理高维大数据时会遇到“维数灾难”问题. 本文提出一种基于ANFIS (Adaptive network based fuzzy inference system)的深度神经模糊系统(Deep neural fuzzy system, DNFS)及两种基于分块和分层的启发式实现算法: DNFS1和DNFS2. 通过四个面向回归应用的数据集的测试, 我们发现: 1)采用分块、分层学习的DNFS在准确度与可解释性上优于BP、RBF、GRNN等传统浅层神经网络算法, 也优于LSTM和DBN等深度神经网络算法; 2)在低维问题中, DNFS1具有一定优势; 3)在面对高维问题时, DNFS2表现更为突出. 本文的研究结果表明DNFS是一种新型深度学习方法, 不仅可解释性好, 而且能有效解决处理高维数据时模糊规则数目爆炸的问题, 具有很好的发展前景.

          English Abstract

          赵文迪, 陈德旺, 卓永强, 黄允浒. 深度神经模糊系统算法及其回归应用. 自动化学报, 2020, 46(11): 2350?2358. doi: 10.16383/j.aas.c200100
          引用本文: 赵文迪, 陈德旺, 卓永强, 黄允浒. 深度神经模糊系统算法及其回归应用. 自动化学报, 2020, 46(11): 2350?2358. doi: 10.16383/j.aas.c200100
          Zhao Wen-Di, Chen De-Wang, Zhuo Yong-Qiang, Huang Yun-Hu. Deep neural fuzzy system algorithm and its regression application. Acta Automatica Sinica, 2020, 46(11): 2350?2358. doi: 10.16383/j.aas.c200100
          Citation: Zhao Wen-Di, Chen De-Wang, Zhuo Yong-Qiang, Huang Yun-Hu. Deep neural fuzzy system algorithm and its regression application. Acta Automatica Sinica, 2020, 46(11): 2350?2358. doi: 10.16383/j.aas.c200100
          • 1943年Mcclloch与Pitts首次提出人工神经元数理模型(MP模型)[1], 开启了人工神经网络的研究. 1958年, Rosenblatt提出感知器Perceptron[2], 可以自学习实现分类, 引发了第一次神经网络热潮. 1969年, Minsky和Papert出版的 Perceptrons 一书指出简单线性感知器的功能有限性, 给予人工神经元网络研究沉重打击, 使得神经网络陷入10 年低潮期[3]. 1982年Hopfiled提出Hopfiled模型理论[4], 使人工神经网络的构造和学习有了理论指导, 再次激起学者们对神经网络的研究热情[5]. 1986年, Rumelhart 等用BP算法解决了 Perceptrons 一书中关于神经网络局限性的问题[6], 此后获得了快速发展. 但是, 1995年随着SVM及统计学习的兴起[7], 神经网络再次陷入低潮期. 2006年, Hinton提出深层网络训练中梯度消失问题的解决方案, 并在Science上发表论文, 正式提出深度学习[8]. 此后随着GPU不断进步, 计算能力的不断提高, 深度神经网络的应用快速增加. 2015年, LeCun等在Nature上撰文, 总结了DNN的大量成功应用, 尽管存在可解释性差的不足[9]. 2017年, Hinton等又提出了胶囊网络(Capsule)[10], 可解释性有所提高, 并在MNIST数据集上取得更好的效果. 自此, 深度神经网络(DNN)研究[11-13]及应用进入爆发期, 在语音识别、图像处理[14]、自然语言处理[15]方面取得突破性进展, 带动巨大智能产业应用.

            目前, 虽然DNN得到广泛应用并取得良好的效果, 但存在模型计算量庞大、模型验证复杂、可解释性差等缺点. 而模糊系统通过一系列IF-THEN规则进行构建, 可解释性较强. 1965年, Zadeh教授发表了开创性论文“Fuzzy sets”[16], 标志着模糊系统理论的诞生. 1975年, Mamdani基于该理论构建了模糊控制器, 成功应用于锅炉蒸汽机控制[17]. 1992年Wang证明了模糊系统具有通用逼近性[18], 并与Mendel提出WM方法[19], 可从数据中自动产生出模糊系统, 但缺乏模型参数自学习能力, 1993年, Jang提出自适应神经模糊系统(Adaptive network-based fuzzy inference system, ANFIS)[20], 使模糊系统具有较强的学习能力, 推动了模糊系统的发展.

            模糊系统在处理低维小数据时具有较高的精度, 并得到较为广泛的应用[21], 但处理高维大数据时模糊系统往往面临 “维数灾难”问题. 为适应大数据模糊系统, 目前研究主要采用降维, 减少规则数等方式进行改进, 虽然具有一定可行性, 但模型精度明显下降, 难以真正解决高维问题.

            我们认为深度学习不仅仅包括深度神经网络, 也可以由其他系统构建而成. 目前以模糊系统为基础构建的深度系统研究还非常少, 基本处于空白阶段[22]. 结合模糊系统可解释强的特点, 我们提出了一种基于ANFIS的深度神经模糊系统(DNFS), 该系统采用自底向上的方式逐层构造, 通过分块、分层结构降低模型的运算量与复杂度, 不仅可以保持可解释性高的特点, 同时也可提高模糊系统的精度.

            • ANFIS在处理高维问题时往往面临“维数灾难”问题[18], 我们采用分层分块结构方式构建DNFS, 将变量划分为若干组分别进行计算来降低数据维度. 模型自下而上层层搭建, 以最终目标输出作为各层每个子模糊系统目标输出. 本文提出了两种深度神经模糊系统DNFS1, DNFS2, 其基本结构分别如图1图2所示.

              图  1  DNFS1基本结构

              Figure 1.  Basic structure of DNFS1

              图  2  DNFS2基本结构

              Figure 2.  Basic structure of DNFS2

              DNFS1基本结构如图1所示, 系统输入为$\left( {x_1^0,x_2^0, \cdot \cdot \cdot ,x_n^0} \right)$, DNFS1每一层中每3组输入构成该层中一子模糊系统, 相邻两子模糊系统共享一个输入, 保证每个子模糊系统有$2\sim 3 $个输入, 第k层则由${n_k}$个子模糊系统$NF$组成. 在第1层神经模糊系统设计完毕后, 使用ANFIS方法进行训练(ANFIS方法具体详见文献[20]), 其输出构成第2层神经模糊系统的输入空间, 第2层输出作为第3层输入, 以此类推自底向上搭建, 直至整个DNFS1构造完成, 系统输出即顶层子系统$NF_1^L$输出$x_1^L$(该结构设计基于专家经验).

              DNFS2的结构如图2所示. 首先, 从输入空间$\left( {x_1^0,x_2^0, \cdot \cdot \cdot ,x_n^0} \right)$中顺序选择3组数据$x_1^0,x_2^0,x_3^0$构成DNFS2第1层的输入; 通过ANFIS方法训练第1层的$NF_1^1$后, 得到的新的数据$x_1^1$, 基于新的数据与顺序选择的两组尚未进行运算的输入$x_4^0,x_5^0$构成第2层子模糊系统$NF_1^2$的输入; 第3层从尚未进行运算的系统总输入中再顺序选择两组$x_6^0,x_7^0$, 与第2层模糊子系统输出$x_1^2$共同构成第3层子模糊系统$NF_1^3$输入, 按此方式, 自底向上逐层搭建. 中间第k层, 输入则为上一层子系统$NF_1^{k - 1}$输出$x_1^{k - 1}$$x_{2k}^0,x_{2k + 1}^0$构成. 直至第L层子模糊系统$NF_1^L$完成, 整个DNFS2构造完成, 系统输出即为子模糊系统$NF_1^L$输出$x_1^L$(DNFS2偏重降低计算量, 快速运算).

            • 神经网络从信息处理角度对人脑神经元进行抽象, 运算模型由大量神经元相互联接构成, 通过神经元间参数传递、更新完成输入–输出间映射关系. 以ANFIS为代表的模糊系统, 从数据中提取规则、完善规则构造输入–输出间映射, 模拟人类推理过程. 由于IF-THEN规则便于理解, 使得模糊系统相较神经网络具有更好的可解释性. 而以ANFIS为基础的DNFS, 从划分子系统、分块计算角度切入构造深度结构, 局部入手整合规则再推演至整体, 大幅度降低了计算复杂度, 又保证了可解释性.

              DNFS算法应用考虑到 ANFIS用于定义隶属函数和模糊规则的方法不同, 在DNFS不同子系统中的适用差异, 我们采用试算方式为子系统指定ANFIS聚类方法. 本文算法流程如图3所示.

              图  3  DNFS算法流程

              Figure 3.  DNFS algorithm flow

              步骤 1. 数据归一化, 并划分为训练集和测试集.

              步骤 2. 确定每层子系统输入大小.

              步骤 3. 依照DNFS基础结构, 设计第1层(下一层)神经模糊系统$NF_i^1\left( {i = 1,2, \cdot \cdot \cdot ,{n_1}} \right)$.

              步骤 4. 根据ANFIS的网格划分、减法聚类、模糊C均值三种聚类方法, 按照顺序对每个子模糊系统进行训练, 依据训练效果为子模糊系统确定ANFIS设置方案(选取参考下文模型打分体系), 通过训练得到子系统模型.

              步骤 5. 重复步骤 2 ~ 4, 层层构造, 以向上的方向计算DNFS来获得第k–1层的输出.

              步骤 6. 假定DNFS的第1层至第k–1层都已设计完毕, 接下来设计第k$NF_i^{\rm{k}}$.

              步骤 7. 令k = k + 1, 重复步骤 5~6, 直到第L层子系统$NF_1^L$设计完成, 输出$x_1^L$为DNFS系统输出.

            • 为对提出的DNFS算法进行评价, 我们引入经典浅层神经网络算法BP (Back propagation)、RBF (Radial basis function)、GRNN (General regression neural network), 常用的深度神经网络算法LSTM (Long short-term memory)、DBN (Deep belief networks), 以及ANFIS进行比较. 同时, 选择标准差(STD), 均方根误差(RMSE), 平均绝对误差(MAE)和对称平均绝对百分比误差(SMAPE)四个性能指标进行评估.

              $$STD = \sqrt {\frac{1}{{n - 1}}\sum\limits_{i = 1}^n {{{\left| {{{\hat y}_i} - \bar y} \right|}^2}} } $$ (1)
              $$RMSE = \sqrt {\frac{1}{n}\sum\limits_{i = 1}^n {{{\left( {{{\hat y}_i} - {y_i}} \right)}^2}} } $$ (2)
              $$MAE = \frac{1}{n}\sum\limits_{i = 1}^n {\left| {{{\hat y}_i} - {y_i}} \right|} $$ (3)
              $$SMAPE = \frac{1}{n}\sum\limits_{i = 1}^n {\frac{{2\left| {{{\hat y}_i} - {y_i}} \right|}}{{\left( {\left| {{{\hat y}_i}} \right| + \left| {{y_i}} \right|} \right)}}}\times {100\% }$$ (4)

              其中$n$为样本个数. $\hat y = \{ {\hat y_1},{\hat y_2},\cdots,{\hat y_n}\} $ 为预测值, $y = \{ {y_1},{y_2},\cdots,{y_n}\} $为真实值.

              表1简要描述了用于实验的4个数据集的属性(原始数据集由UCI机器学习库获得http://archive.ics.uci.edu/ml/datasets.php), 以及各自在DNFS1与DNFS2结构下的深度系统总层数(包含ANFIS模块内部5层结构). 其中, SMW数据集包含智能手机检索数据及传感器智能手表检索数据. ONP数据集总结了两年期间Mashable发表的文章的一系列异质特征, 预测社交网络分享数量(流行度). SUP数据集关于10000个超导体及其相关特性, 通过从超导体中提取的81个特征, 来预测临界温度. BF数据集包含从博客文章中提取的280个数字特征, 来预测帖子将收到多少评论, 本文截取了部分来训练模型.

              表 1  实验数据集

              Table 1.  Experimental data set

              项目编号数据集输入维度输出维度样本数DNFS1总层数DNFS2总层数
              1Smartwatch_sens (SMW)121120001530
              2Online News Popularity (ONP)5912000025145
              3Superconductivty (SUP)8111000030200
              4BlogFeedback (BF)27111500040675

              数据集中60 %数据用于训练, 篇幅限制, 我们着重展示测试集效果. 同时, 为便于模型间综合效果评价, 我们定义一个评价体系: 对每项指标进行排序, 以1分为底、以1分为间隔从劣到优进行打分, 模型最终得分为各指标得分之和, 得分越高综合性能越好.

            • 图4展示了SMW数据集下相应的DNFS深度结构(层数不包含子系统ANFIS模块5层结构, 下同), 图5展示了各算法在测试集中预测效果, 其中横轴表示样本标号, 纵轴表示算法给出的对应预测输出(下同). 表2展示了SMW测试数据集中各算法、各项评价指标及综合得分情况.

              图  4  SMW数据集深度结构

              Figure 4.  The deep structure of SMW data set

              图  5  SMW测试集预测效果

              Figure 5.  Prediction effect of SMW test set

              表 2  SMW测试集评价指标

              Table 2.  Evaluation index of SMW test set

              BPRBFGRNNLSTMDBNANFISDNFS1DNFS2
              STD0.0388690.0385100.0384410.0393850.0385960.0393980.037643 0.040971
              RMSE0.0388650.0385060.0384370.0402190.0385920.0393970.037640 0.040970
              MAE0.0177890.0183550.0170810.0209280.0170880.0179650.016639 0.016834
              SMAPE3.5849 %3.7368 %3.4864 %4.2653 %3.4872 %3.6510 %3.3553 %3.5535 %
              Score161627721113214

              图5上看, 各算法总体表现良好. 从表2中STD与RMSE指标上看, GRNN与DNFS1差距较小, 模型预测值与真实值间的误差起伏波动不大, 相对较为稳定. MAE指标上, DNFS2与DNFS1较为靠近, 预测误差较小, 而在SMAPE上, DBN与GRNN算法也是具有竞争力的预测模型. 但总体而言, 低维度问题中DNFS1更具优势.

            • 图6展示了ONP数据集下相应的DNFS深度结构, 图7为各算法在测试集中的预测效果, 表3展示了ONP测试数据集中各算法各项指标及综合得分情况.

              图  6  ONP数据集深度结构

              Figure 6.  The deep structure of ONP data set

              图  7  ONP测试集预测效果

              Figure 7.  Prediction effect of ONP test set

              表 3  ONP测试集评价指标

              Table 3.  Evaluation index of ONP test set

              BPRBFGRNNLSTMDBNANFISDNFS1DNFS2
              STD0.0401480.0175650.0169410.0163210.0162170.2345850.0250120.016195
              RMSE0.0401730.0175670.0169410.0188270.0162160.2639660.0250110.016195
              MAE0.0058240.0053470.0040600.0116390.0041530.1236090.0044000.003975
              SMAPE83.1325 %110.4412 %77.8989 %136.6059 %88.0204 %106.8444 %78.3964 %79.4094 %
              Score121526132461830

              图7上看, 测试过程中BP、ANFIS、DNFS1出现了明显异常值, 以ANFIS最为明显, 侧面说明了以牺牲模型准确度为代价降低模型复杂度的ANFIS不利于处理高维问题. 在STD与RMSE上, DBN与DNFS2较小, 模型预测误差波动小, 较为稳定. 从MAE上看, GRNN与DNFS2差距较小, 而SAMPE上看, GRNN相对较优. 总体上看, 随着维度的升高, DNFS1预测性能在下降, 而DNFS2则有所上升.

            • 图8展示了SUP数据集下相应的DNFS深度结构, 图9展示了各算法在SUP测试集中的预测效果, 表4展示了SUP测试数据集中各算法各项指标及综合得分情况.

              图  8  SUP数据集深度结构

              Figure 8.  The deep structure of SUP data set

              图  9  SUP测试集预测效果

              Figure 9.  Prediction effect of SUP test set

              表 4  SUP测试集评价指标

              Table 4.  Evaluation index of SUP test set

              BPRBFGRNNLSTMDBNANFISDNFS1DNFS2
              STD0.123850.130380.174930.159970.210740.168660.134150.12293
              RMSE0.123840.130380.175270.160040.210760.169720.134180.12293
              MAE0.087860.100380.149560.129580.182450.126570.101650.08735
              SMAPE30.1760 %32.4668 %43.0296 %38.5752 %51.2832 %37.7120 %31.2728 %28.7900 %
              Score28238144142132

              图9上看, ANFIS出现了明显异常值, 而DBN则出现了在某一区间内波动的异常情况, 不适合用于解决该数据问题. 从表4综合评价分值上看, DNFS2占据了主要优势为该问题理想模型, 其次为BP算法. 在STD与RMSE指标上, BP与DNFS2较为接近, 模型误差总体上波动不大. 从MAE与SAMPE上看, BP与DNFS2也具有优势, 预测模型精确度较好. 随着维度的进一步增加, DNFS2优势逐渐显现, 不仅在精度上能够超越经典的BP算法, 而且预测模型稳定性上也表现良好.

            • 由于BF数据集输入维度较高, 相应DNFS深度结构图图线密集, 故不再进行展示.图10展示了各算法在BF测试集中的预测效果, 表5展示了BF测试数据集中各算法各项指标及综合得分情况. 从图10上看, 测试过程中BP、ANFIS出现了相当数量的异常值, 其中以ANFIS最为明显. 普通模糊系统在处理高维问题过程中, 往往存在模糊规则数量暴增、模型复杂度指数级增长的问题. 为处理高维度问题, 实验中ANFIS通常以减少模糊规则数量的方式简化模型, 但随之带来模型准确度大幅下降、模型预测异常的问题.

              图  10  BF测试集预测效果

              Figure 10.  Prediction effect of BF test set

              表 5  BF测试集评价指标

              Table 5.  Evaluation index of BF test set

              BPRBFGRNNLSTMDBNANFISDNFS1DNFS2
              STD0.109000.042170.043220.033550.044570.096830.044650.03155
              RMSE0.109730.042590.043240.033980.044570.339220.044660.03156
              MAE0.023040.011120.011200.014090.016070.326300.010280.00859
              SMAPE54.675 %76.842 %81.804 %96.684 %102.462 %142.341 %64.263 %54.162 %
              Score122319211351932

              表5上看, 总体DNFS2优势明显. 从STD、RMSE指标上看, 由于BP、ANFIS预测过程中的异常波动, 指标数值相对偏高. ANFIS预测模型的大量异常预测, 在MAE与SMAPE指标上也得到了体现. 随着维度的增加, DNFS2优势显现, 与以BP算法为代表的算法存在过拟合情况不同, 以IF-THEN规则为基础支撑的DNFS2在保障预测模型精度、稳定性的同时, 还能发挥模糊系统可解释性强的特点, 对处理高维大数据建模问题, 理解模型的输入输出映射关系具有参考价值.

            • 通过实验可以看出, DNFS处理高维问题具有一定可行性. 与经典的算法相比, DNFS具有以下优势:

              1)DNFS以ANFIS作为基础, 从数据中学习模糊规则, 通过IF-THEN规则完成输入与输出间的映射, 便于理解, 克服了DNN可解释性差的问题. 一旦输出有错误, DNFS可以根据IF-THEN规则溯源, 快速找到错误的规则通过调整进行更正.

              2)基于分层分块思想, DNFS为模糊系统解决高维大数据问题开辟了新道路, 相比于传统模糊系统直接对整个数据集进行处理, 模型复杂度大为降低, 精度得到了明显提高, 适合用于处理大数据, 是一种具有潜力的新型深度学习算法.

              目前DNFS的研究处于初级阶段, 系统的结构与参数有待进一步优化. 在今后的工作中, 我们将从优化DNFS基本结构、对系统分块组合方式进行深入研究, 以进一步提高系统性能. 此外, 我们还将结合卷积运算, 形成DCNFS (Deep convolution neural fuzzy system)以处理图像等计算机视觉问题.

          参考文献 (22)

          目录

            /

            返回文章
            返回