业务虚拟机网络不通，例如：租户的2台虚拟机之间网络不通、绑定EIP的虚拟机无法访问外部，已配置VPN的租户虚拟机无法Ping通对端，南北向租户虚拟机EIP存在Ping包现象、南北向租户虚拟机VPN存在Ping包现象。

处理流程：

1. 向管理员获取登录方式及登录账户、密码。

   涉及以下内容：

   • 租户Console登录方式，租户的用户名、密码（如果租户不方便提供，需租户配合执行）
   • FusionNetDoctor工具登录地址（ServiceTool 02虚拟机的IP地址）
   • OperationCenter（SSOServer）的用户名、密码，请确保工具已配置SSO登录白名单，具体请参见《FusionCloud V100R006C10 软件安装指南》中的“部署指导（Region安装 + 管理存储IPSAN） > 安装后操作 > 安装工具任务完成后手工操作 > 云管理层手工操作 > ServiceTool > 配置单点登录”。
2. 获取需要检测的虚拟机IP或虚拟机名称，对端IP，请参考《FusionNetDoctor工具指导书》中的“参数获取流程”章节。
3. 运维人员使用Web浏览器打开FusionNetDoctor工具链接（https://ServiceTool 02虚拟机的IP:8443），并使用SSO账户登录，虚拟机相关信息一键式采集：根据虚拟机IP或名称一键获取虚拟机相关信息，帮助运维人员迅速获取运维中所需要的信息，如图1所示。
   图1 界面
   
4. 工具检测流量准备：
   • 东西向场景：2台虚拟机的VM ID或者Network ID，2台虚拟机的IP。保持背景流量是指：待检测的两个虚拟机之间，至少一方有持续发给对方的流量；
   • 南北向场景：虚拟机ID，租户的计算机IP。保持背景流量是指：从虚拟机有持续发给租户计算机或VPN对端的流量；
   • Ping包检测：租户的虚拟机ID，租户的虚拟机IP，外部网络计算机IP和报文数量。
5. FusionNetDoctor工具Web页面打开后，在页面选择东西向、南北向EIP或南北向VPN断流检测，设置参数，点击查询按钮，工具开始进行流量检测。在页面选择VPN或FIP Ping包检测，并输入参数，点击查询按钮，工具开始进行Ping包检测；

   FusionNetDoctor工具的输出结果中显示的是网络报文经过各个Linux Bridge、OVS以及端口的路径和流量。私有设备有流量为绿色，公共设备有流量为黄色，设备无流量为红色。

云服务发放失败类故障处理流程如图2所示。

图2 故障定界通用流程

处理流程描述如下：

1. 获取登录方式及登录帐号、密码。
   涉及以下工具：

   • OperationCenter，例如：Https://x.x.x.x:31943，用户名：admin，密码自行获取。
   • ELK，获取两个ElasticServer的IP地址，登录方式如：Https://ElasticServer的IP:5601，用户名密码与OperationCenter相同。
   • FusionCare，获取ServiceTool 01的虚拟机IP，登录方式如：Https://ServiceTool 01的虚拟机IP:8803，用户名密码与OperationCenter相同。

     请确保已配置SSO单点登录，具体请参考《FusionCloud V100R006C10 软件安装指南》中的“部署指导（Region安装 + 管理存储IPSAN） > 安装后操作 > 安装工具任务完成后手工操作 > 云管理层手工操作 > ServiceTool > 配置单点登录”。

   • 调用链（G-ray）：获取ServiceTool 02的虚拟机IP，登录方式如：Https://ServiceTool 02的虚拟机IP:9999/Trace，用户名密码与OperationCenter相同。

     请确保已配置SSO单点登录，具体请参考《FusionCloud V100R006C10 软件安装指南》中的“部署指导（Region安装 + 管理存储IPSAN） > 安装后操作 > 安装工具任务完成后手工操作 > 云管理层手工操作 > ServiceTool > 配置单点登录”。

   • ServiceOM，例如：Https://x.x.x.x:553，用户名：admin，密码自行获取。
2. 接到用户报障后，运维人员向租户收集以下信息：租户名称、操作时间、操作类型（根据云服务类型决定）。
3. 登录OperationCenter，具体参考1，进入“业务监控 > 集中告警 > 当前告警”，查看云服务组件异常告警（进程状态、连通性、主备倒换、CPU/内存超过阈值、硬件设备不可用等），如图3所示，如果存在告警，点击告警左侧箭头，按告警帮助进行自助处理（请确保本地已配置HelpCenter的相关域名，例如：x.x.x.x docs.type1.domainname.com。），如图4所示，处理完成检查云服务或系统状态是否恢复正常？
   • 否，执行4。
   • 是，任务结束。
     图3 异常告警
     
     
     图4 帮助中心
     
4. 是否为可以在ServiceOM上处理的故障？
   • 否，执行8。
   • 是，执行5。

     支持在ServiceOM上处理的故障请参见《FusionCloud V100R006C10 用户指南》中的“支持的服务”。

5. 登录ServiceOM界面，具体参考1，进入“服务列表 > Service OM 集中运维 > 业务操作日志”，通过“租户名称、操作时间、操作类型”信息查询到对应的操作日志，点击操作日志详情，查看错误信息，在操作日志的消息中查阅错误码；查到错误码后，按错误码处理指导进行自助处理，ECS、EVS、VPC错误码如图5、图6、图7所示，处理完后检查下云服务是否已恢复正常？
   • 否，执行6。
   • 是，任务结束。
     图5 ECS错误码
     
     图6 EVS错误码
     
     图7 VPC错误码
     
6. 是否为ECS/EVS/VPC（VPC、Subnet、VFW、EIP、VPN、VPC Peering、SEG）故障？
   • 是，执行7。
   • 否，执行8。
7. 单击错误日志所在行的“Trace ID”，界面自动跳转到调用链界面，单击右上角的“帮助 > 使用”，参考联机帮助中的“使用指南”进行异常分析，如图8所示。

   异常分析是否能够指出问题跟因？

   • 是，任务结束。
   • 否，获取异常分析中的节点IP，requestid，执行8。
     图8 调用链操作
     

      

8. 日志查询与导出
   1. 服务层及OpenStack管理节点日志：

      1）登录ELK，具体登录方式参考1。

      2）进入“Ops Logging”界面，通过requestid及节点IP将相关的日志集中查询出来并导出来，如图9所示。

      图9 Ops Logging
      
   2. 计算节点日志：登录FusionCare，在运维工程师的指导下，根据具体错误，按场景、日志、级别选择相应的节点将日志收集并导出，与从ELK导出的日志一起整理起来。
      图10 FusionCare
      
9. 根据收集的日志，运维工程师进行故障定界定位分析，并制订故障恢复处理方案，解决问题。
   • 问题解决，执行10。
   • 问题未解决，执行8~9。
10. 业务或系统恢复正常。

    流程结束。