比较检验:
选择合适的评估方法和响应的性能度量,计算出性能度量后直接比较。
统计假设检验:事先对总体的参数或者分布做一个假设,然后基于已有的样本数据去判断这个假设是否合理。即样本和总体假设之间的不同是纯属机会变异,还是两者的确不同。通常的假设检验方法有t-检验法、X2检验法(卡方检验)、F-检验法等。
比较检验:
选择合适的评估方法和响应的性能度量,计算出性能度量后直接比较。
统计假设检验:事先对总体的参数或者分布做一个假设,然后基于已有的样本数据去判断这个假设是否合理。即样本和总体假设之间的不同是纯属机会变异,还是两者的确不同。通常的假设检验方法有t-检验法、X2检验法(卡方检验)、F-检验法等。
测试集和训练集经可能互斥
模式指的是稳定状态,又称吸引子。
吸引子的数量代表联想网络的记忆容量。是指网络在一定的联想出错概率容许下,存储互不干扰的吸引子的数量。
吸引子的数量与吸引域有关,吸引域大的网络联想能力强,容错性好,但吸引子的数量就受到限制。
规模?
DHNN反馈网络实质上能存储若干个预先设置的稳定状态的网络,运行时外界提供一个输入作为初始网络状态,网络将该输入对应的输出反馈回来作为下次的输入,经过多次循环迭代后,在某些条件下,网络会最终稳定在某一个预先设定好的稳定点,稳定使得DHNN具有联想记忆功能。
能量函数是借鉴了热能上的一个公式。能量函数公式没看懂???老师说太复杂
利用网络的能量函数可实现最优化求解。
网络的能量函数在网络状态按一定规则变化时,能自动趋向能量的极小点。如果能把一个待求解问题的目标函数以网络能量函数的形式表达出来,当能量函数区域最小时,对应的网络状态就是问题的最优解。
网络的初态可视为问题的初始解,而网络从初始状态向稳定的收敛过程便是优化过程,这种寻优搜索是在网络演变过程中自动完成的,,,是自动完成的。。。。。。
网络达到稳定时的状态X称为网络的吸引子。若把需记忆的样本信息存储于网络的不同吸引子,当输入含有部分记忆信息的样本时,网络的演变过程就是便是从部分信息寻找全部信息,即联想回忆的过程。
反馈神经网络,有称为递归网络、回归网络。
相比前馈神经网络,反馈神经网络更适合应用在联想记忆和优化计算等领域,
前馈神经网络主要采用误差修正法(如BP算法),计算过程一般较慢,收敛速度也比较慢;反馈神经网络采用Hebb学习规则,一般情况计算的收敛速度很快。
Hebb学习规则是一个无监督学习规则,这种学习的结果是使网络能够提取训练集的统计特性,从而把输入信息按照它们的相似性程度划分为若干类。这一点与人类观察和认识世界的过程非常吻合,人类观察和认识世界在相当程度上就是在根据事物的统计特征进行分类。Hebb学习规则只根据神经元连接间的激活水平改变权值,因此这种方法又称为相关学习或并联学习。
Hopfield网根据激活函数不同:
1、DHNN,离散Hopfield网,主要用于联想记忆,输入部分信息即可联想到完整的输出,即具有容错性。
2、CHNN,连续Hopfield网,主要用于优化计算,如旅行商TSP、调度等。
学习目标:
了解模型选择的原则
交叉验证法评估模型
常见模型的性能指标
了解模型评估的误差和方差