HiCFD基础培训之一：可信度与V&V

周华

本次“航空高可信度CFD开放式专题活动”是国内第一次把可信度问题大规模引入CFD数值模拟工作。作为这次活动的一个模块，我们在论坛里将逐一讨论与可信度相关的话题。由于个人水平所限，理解错误和表达错误的地方在所难免，所以在讨论的过程中希望大家多提意见！

可信度（Credibility）一词来源于产品质量控制，中文也可以翻译成可靠性或确定性，主要描述产品实际性能指标与预期指标之间的差异，因而是对产品总体质量稳定性进行评估的一个重要指标。在CFD数值模拟工作中，可信度要回答的问题就是CFD的数值结果在多大程度上是可靠的，而这个问题恰好是众多质疑CFD的声音中最大的一个问题，因此如果能够通过一定的流程设计确保CFD数值模拟的结果是可信的，那无疑为CFD进入工程设计领域打开一扇大门——现实的情况是CFD结果在很多情况下还必须接受实验的检验。对于普通工业产品来说，在中试过程中制作试验样品用于验证CFD计算结果还是可行的，对于航空航天产品来说则很难进行这样的中试。比如美国的“哥伦比亚”号航天飞机的首次飞行其实就是一次飞行试验，而其中重返大气层阶段的地面试验实际上无法进行，于是数值模拟结果必须用飞行试验来检验，检验的结果就是发现实际飞行中纵向力矩配平存在较大误差，进一步的分析将这个误差归因于“真实气体效应”问题，并随后在这个方向上展开了很多研究工作。从这个例子课可以看出“可信度”对于CFD数值模拟有多重要，如果能确定一种飞行状态的计算结果是可信的，则相应地会在飞行器设计阶段节约大量的经费并缩短研制周期，所降低的研制成本是非常可观的。这也就是为什么要开展可信度研究的主要推动力。对于中国来说，由于我们国家整体上还处于工业化的过程中，很多工业化的观念需要逐步建立，特别是CFD数值模拟是传统的学术领域，大多数人还是认为CFD是学术的而非工程的，这种情况下在国内开展CFD可信度研究无疑还具有另外的一层意义，即把学术和工程相结合的意义，所以业内各相关单位均非常重视。由于这次活动仿照NASA的阻力预测活动（DPW）设计成开放式研究活动，所以也欢迎广大网友积极参与这次活动，也希望有高手涌现出来。

产品的可信度需要一定的质量控制体系来保证，CFD模拟结果的可信度也不例外，而这个控制体系主要由验证（Verification）和确认（Validation）两个环节构成。详细的讨论请参考邓小刚的文章。一般认为，验证（Verification）即主要看相关模型是否正确实施，或者说在计算报告中提到的数值模型是否在计算过程中正确使用，确认（Validation）则是看计算结果与真实值之间有多大差距。由于这个原因，白文曾经提出是否把前者称为“精度研究”，后者称为“准度研究”。用大白话讲，前者是要看模型实现对不对，后者是看结果准不准。（待续）

白文

原帖由 周华 于 2012-8-13 15:10 发表

                               
登录/注册后可看大图

本次“航空高可信度CFD开放式专题活动”是国内第一次正式把可信度问题引入CFD数值模拟工作。...

1. AIAA, AIAA Journal, Vol. 36, No. 5, May 1998, pp. 665-764. This issue contains 12 papers in a special section entitled Credible Computational Fluid Dynamics Simulations.
2. 白文，飞机构型多块网格生成和Euler流动数值模拟的可信度，航空工业总公司第六三一研究所博士学位论文，1999年4月。

周华

原帖由 白文 于 2012-8-13 16:23 发表

                               
登录/注册后可看大图

1. AIAA, AIAA Journal, Vol. 36, No. 5, May 1998, pp. 665-764. This issue contains 12 papers in a special section entitled Credible Computational Fluid Dynamics Simulations.
2. 白文，飞机构型多块网格 ...

原来你博士论文就是做这个的，我说怎么这么清楚呢。

周华

再补充几句：验证（Verification）与确认（Validation）各自的分工不同，因此在实际操作中，验证（Verification）一般是通过将数值模拟结果与解析解对比来验证算法模型实现得如何，确认（Validation）则是与实验结果相对比，看看算的准不准。前者的例子如一些讨论高分辨率格式的文章中，多数作者都会拿自己的格式计算激波管问题，然后再与激波管问题的精确解相对比，以说明和验证自己格式的好坏。这里提到“精确解”就再多说几句，所谓“精确解”实际上有两种，一种是解析解，还有一种是大家认可的足够准确的解，比如用高密度网格、高阶格式等算出的解。高分辨率格式的精度可以用数值比对，但也常用可视化方法直观进行比对，比如我们在交流过程中经常会听到“激波被限制在几个网格点以内”这样的说法，意思就是指激波解的空间分辨率到底有多高。后者的例子太多了，大多是与相关的实验结果相对比，看看算的准不准。但是这里也存在一个问题，即实验到底有多准的问题。众所周知的是，风洞试验大多只取一个相似参数，并且存在洞壁、支架干扰，并且在试验过程中会使用强制转捩等技术手段，测试仪器也各有自己的误差，并不是大家想象的那么准确。成熟风洞中的数据往往有成熟的修正方法，以保证其可信度，不成熟的风洞，或者说试验数据库累积不够的风洞，往往并没有可靠的修正方法，这样反而导致风洞数据的可信度评估问题。所以也并不是所有风洞数据都可以拿来做确认（Validation）的。

周华

当然，由于风洞技术发展的时间长，总体上看相对要成熟一些，特别是一些成熟风洞中的数据还是相当可靠的。但是在实际工作中，往往是随便拿个风洞中的数据做确认，这样做从逻辑上看其实并不能起到确认的作用。只是从发论文的角度看，只要编辑没意见，大家也就马虎过去算了，否则每个环节都认真的话，可能永远都发不出一篇论文，但是从学科本身的发展来看，还真是需要象NASA那样做系统的研究，不然的话大家的工作互相之间不能形成累积，学科发展就根本谈不上。

shirazbj

学习了。

从wiki上看到一段话：

It is sometimes said that validation can be expressed by the query "Are you building the right thing?"[1] and verification by "Are you building it right?".[1] "Building the right thing" refers back to the user's needs, while "building it right" checks that the specifications are correctly implemented by the system. In some contexts, it is required to have written requirements for both as well as formal procedures or protocols for determining compliance.

uesoft

我1993年在湖南省电力勘测设计院工作时，全国模仿日本推广全面质量管理TQC，后来又搞质量保证体系ISO9000，对质量控制过程比较熟悉，从这个论坛里看到V&V，一些航空航天相关的书也涉及到这V&V，这2个词没接触过。周老师的解释比较明确了，上面这段英文也看了一下。
我有如下建议：
1，周老师的V&V解释对于软件开发Verification和软件应用validation 是合适的。
2，对于那些软件Fluent、Matlab、ANSYS本身很成熟的情况下，纯软件应用公司，或者那些只做产品如飞机或直升机或随便一个空调器或MCHP的公司，肯定需要质保体系的控制。但V&V的解释可以改变一下，特别是verification可以解释成：验证计算过程是否按照软件的模型正确的设置和操作。因为如果不这样解释，每次都要对解析解，是很麻烦的，而且也不一定准。这样解释verification，好处很多，一是要求只能采用市场流行的软件如Fluent，其他都可能不可靠；二是只要检查数据是否按软件手册设置了；三是对于软件没有考虑的情况或确实存在的软件BUG，反馈给软件公司即可。这时validation 仍然可以按周老师的解释做。

以上仅是我个人思考，不当之处请批评指正。