尧图网站设计 尧图网站设计YAOTU DESIGN
ARTICLE DETAIL

资讯详情

深耕网站设计与一线实操的经验洞察。

大华云存储部署全链路:直存/转存判断、双网段组网与PTS调优

大华云存储部署全链路:直存/转存判断、双网段组网与PTS调优 简介这是一份面向IT考试备考者与安防运维人员的大华监控云存储部署速查PDF聚焦云存储系统组成、组网方式、设备IP配置三大环节专门解决直存/转存设备识别难、双网段接线易混淆、IP规划不清晰等典型问题。内容从产品形态入手涵盖元数据服务器、云转存节点、云直存节点的型号确认与网口判断并展开标准组网、链路聚合、双网段与同网段部署场景。资源包仅含1个PDF文件压缩后大小286KB轻量紧凑便于考前突击或交付前快速翻阅。已有729人浏览学习适合作为考试冲刺和现场排错的浓缩参考。内容还给出Web界面、IP安装工具、串口终端等多种IP修改方法以及云直存与EVS直存区别、转发性能限制等FAQ解答能帮助读者快速建立大华云存储部署的全局认知。1. 这不是普通NVR一套大华云存储上线的完整链路很多第一次接触大华云存储的人都以为它就是把几台 NVR 的盘位堆一起设备到了接上交换机就能用。实际上线才发现这套系统的组网方式、网口绑定逻辑和 IP 规划跟传统录像存储完全是两个物种。我拆过这份《大华监控云存储部署方法》PDF它把云存储的整个部署链路讲得很完整从产品形态、直存/转存判断、双网段组网到三种改 IP 的方式、存储用户与配额分配、平台对接、PTS 调优、网闸映射、云浓缩一体机接入几乎覆盖了项目交付全流程。适合做视频监控项目集成、需要独立完成云存储上线的运维和工程人员也适合在准备相关认证考试的同行。放心下面讲到的每一处配置都是可以直接照做的。2. 组网与设备识别三个判断标准区分直存和转存2.1 从标签和网口数量判断设备类型云存储系统里有两类核心硬件元数据服务器和云存储数据节点。元数据服务器最常见的型号是 DH-CSS9064X数据节点最常见的是 DH-CSS7024S-ERD长相和 EVS、NVR 差不多。拿到设备后第一件事不是急着插网线而是确认这台数据节点是直存还是转存因为组网方式完全不同。判断方法有两条。先看设备标签型号最后一位是“D”结尾的就是直存设备比如 DH-CSS7124S-ERD、DH-CSS7124S-10GERD、DH-CSS7124S-ESD 这一串都支持直存。再看网口数量直存设备一般有 9 个网口其中一个标注为 WEB 口带万兆光口的存储节点有 7 个网卡也包含一个 WEB 口。如果一台设备只有 5 个网卡那不用想一定是转存设备。这两个判断标准同时用基本不会认错。直存和转存的本质区别在于转存节点只负责把数据写进存储池需要另外配流媒体服务器做转发直存节点在提供存储功能之外集成了流媒体转发能力相当于“云转存 流媒体服务器”合体。直存节省了一台流媒体服务器转发性能也能到 700Mb。所以现场如果转发性能够用直存和转存节点完全可以混合部署这在大项目里很常见。2.2 三条组网链路怎么接组网是整个部署里最容易被搞乱的部分。先把三类设备的网口职责理清楚。元数据服务器最新的机器正常情况下 3、4 两个网口作为心跳口两台元数据服务器之间用两根网线直连1、2 两个网口接到存储段交换机交换机上对应端口需要做链路聚合。心跳口网线直连这个动作别漏了漏了主备同步会出问题。如果是早期的元数据服务器心跳口可能是 1、2 网口需要根据设备实际情况判断后面我会专门说到这个坑。云转存节点4 个网口全部插满接到存储交换机交换机上对应的 4 个端口做链路聚合WEB 口不插网线。这里没有业务网段的概念转存节点只需要和存储网络通信。云直存节点Ex1、Ex2、Ex3、Ex4 四个网口绑成一组一般做存储网段四个网口插满接存储交换机交换机对应 4 个端口做链路聚合1、2、3、4 四个网口绑成一组作为业务网段和存储网段不在同一个子网其中任意两个接到业务段交换机交换机对应 2 个端口做链路聚合。WEB 口同样不插网线。这里有个容易混淆的点直存节点有两组绑定网卡业务段必须至少插两根线存储段必须四根插满。我见过有人只给业务段插一根线结果链路聚合协商不上平台侧一会通一会断。2.3 双网段与同网段选哪个云存储为什么要双网段部署官方 FAQ 说得很直白云存储数据恢复的速度能达到 TB/小时级别如果存储网络和业务网络不分开数据节点之间大量数据交互会直接挤占正常业务带宽。所以标准部署一定是存储网段一个 VLAN、业务网段一个 VLAN中间通过三层交换机路由互通。但有一种情况例外云存储搭配实战平台和公安平台使用时为避免公安网应用限制可以采用同网段部署不区分业务和存储网段。为什么会有这种特例因为公安平台的客户端云下载和实战客户端都要访问 SDK 接口做上传下载如果存储节点配置了双网卡默认网关是业务段的客户端就没法访问存储段的 IP。与其费劲调路由不如直接一个子网省事。部署方式适用场景网段规划注意点双网段常规视频监控项目、平台无特殊访问限制存储 VLAN、业务 VLAN 分开流媒体服务器必须双网段同网段公安平台、实战平台接入存储和业务同一子网避免客户端无法访问存储段 IP双网段模式下元数据服务器必须能访问到平台存储交换机存储交换机保持独立。流媒体服务器要配两个网段一个和前端业务通信一个用于云存储内部通信。直存节点也一样存储网段负责内部数据交互业务网段负责对外提供服务。3. IP 配置与系统初始化三种改 IP 方式和 EFS 首次配置3.1 直存节点的 Web 改 IP 流程设备到位后提前规划好 IP 表是第一步。以直存为例一般要规划出元数据服务器 1、元数据服务器 2、虚拟 IP、目录 IP、若干存储节点、流媒体服务器的存储网段和业务网段地址。规划的原则是存储网段用一段连续地址业务网段用另一段虚拟 IP 单独留出来千万别和物理 IP 冲突。2015 年 12 月之后生产的直存存储节点集成了 dss 模块可以通过网线直连 1 号网口注意不是 Ex1 网口在 IE 浏览器输入 192.config 打开配置界面。进去之后会看到两个绑定网卡的配置项绑定网卡 1 填业务 IP绑定网卡 2 填存储 IP。这里有个细节很多人会卡住——保存时系统会提示输入 eth1 的 IP 地址这个地址不参与实际业务链路随意配置一个不冲突的地址就行不用纠结。这套 Web 界面适合单台设备快速配置。如果现场有十几台存储节点一台台浏览器登录改太慢我一般直接用下面讲的 ipinstall 工具。3.2 ipinstall 批量修改ipinstall 是大华常用的设备 IP 配置工具。使用流程是先安装 ipinstall然后笔记本直连元数据服务器的第一个网口如果搜索不到设备就换一个网口再试。打开工具后双击需要修改 IP 的设备填入对应的 IP、子网掩码、网关输入密码12 个 8点击修改即可。这个工具最实用的场景是批量初始化把设备通电、笔记本接到交换机管理口工具扫一遍就能看到所有设备逐个双击改 IP 就行。如果提示修改失败点右上角刷新页面重新扫描。注意用户名和密码按设备初始化文档走默认密码一般是 12 个 8。如果 ipinstall 无论如何都搜不到设备那就只能用串口手动改了这是最原始但也最可靠的兜底方案。3.3 串口手动改 bond 配置手动修改适用于元数据服务器和早期设备。通过串口登录或者网线直连存储节点的 1 号网口走默认 IP 登录用 CRT 或 Xshell 连上去用户名 admin 或 root 根据设备类型区分。存储节点手动改 IP 的完整流程如下# 串口登录或网线直连1号网口 # 用户名 root密码 dahuacloud vi /etc/network/interfaces按 i 进入编辑模式修改 bond0 和 bond1 的 IP、子网掩码、网关。这里 bond0 是业务 IPbond1 是数据 IP别写反了。改完按 esc 退出编辑模式输入冒号再敲 wq 保存退出。# 保存配置到 dom 盘这一步很重要 xconf -s /etc/network/interfaces # 重启网卡使配置生效 /etc/init.d/networking restart # 确认 IP 是否生效 ifconfig最后一步 xconf 是云存储节点特有的作用是把网卡配置固化到 dom 盘。只改文件不执行 xconf重启后配置会丢这个我踩过。元数据服务器的手动修改方式类似但配置文件路径不同vi /etc/sysconfig/network-scripts/ifcfg-bond0改完重启网卡用/etc/init.d/network restart不需要 xconf。IP 全部配置完毕后按照前面说的组网方式把设备用网线和交换机互联。到这里物理层面的工作就算完成了。3.4 EFS 系统初始化与添加存储节点物理链路通了之后进入系统配置阶段。在 Chrome 浏览器输入元数据服务器 1 的 IP 加 /EFS/Install.html打开部署初始化页面。需要填的参数有本地 IP元数据服务器 1 的实际 IP、对端 IP元数据服务器 2 的实际 IP、MDS 虚拟 IP、CS 虚拟 IP。填完点确定配置需要一分钟左右耐心等待。配置完成后就可以通过 CS 虚拟 IP 加 /EFS 登录运维界面。第一次登录运维因为还没有添加存储节点对外 SDK 端口显示是关闭的所以看到红叉是正常现象不用慌。在运维界面里添加云存储数据节点的 IP输入节点 IP 后点击“添加”即可。这里有个很省心的设计根本不需要做 RAID 之类的操作动态扩容就是添加 IP 这么简单。存储节点添加完毕后系统容量会自动识别出来。# 登录运维界面后确认容量是否自动识别 # 在容量管理页面查看总容量和节点容量之和 # 正常情况格式化后的可用容量会自动汇总容量识别后就要创建存储用户了。存储用户这个概念很像个人网盘一套云存储可以对接多个平台比如 DSS-C、DSS-T、实战平台一个平台对应一个存储用户。用户名示例是 dss-c默认存储用户 root 不可删除。权限有私有、可读、可读写三种私有是其他用户不可见可读是其他存储用户可以搜索到本用户的 bucket可读写是其他用户可以把数据写到本用户。Bucket 数上限配置 1000000 就行不够再加。容量上限由管理员分配根据数据量规格来定。4. 存储用户、配额与平台对接一个平台一个用户网盘怎么建4.1 存储用户权限的三个档位存储用户配置是平台对接的前置条件。每个平台一个存储用户权限按实际需要选。比如 DSS-C 平台和公安实战平台对接时如果只需要读取录像做云下载配成可读就够了如果多个平台需要往同一个 bucket 写数据才用可读写。权限含义典型场景私有其他用户不可见单个平台独占存储空间可读其他用户可搜索到 bucket多平台只读共享录像可读写其他用户可写入数据多平台共同写入图片/录像密码和昵称按项目规范填写昵称例如“公安平台”。这里记住一个原则root 用户是系统内置的不要删除后面 PTS 配置和云浓缩对接都要用它。4.2 配额上限计算公式与参数含义配额设置是整个部署里最容易被低估的环节。官方给出的计算公式是这样的用户可配容量上限 总容量 × 0.8 × 0.9 × 1024。拆开看总容量是磁盘格式化后的可用容量0.8 是系统利用率因为云存储本身有元数据开销和写放大系统利用率不可能 100%0.9 是云存储需要预留 10% 容量作为系统恢复空间数据恢复速度达到 TB/小时级别没有这 10% 空间恢复任务会直接失败1024 是容量单位转换系数把 TB 转成 GB。还有个隐含参数存储节点容量之和。如果节点没全部加进系统容量 1 会小于容量 2。我一般会在运维界面的容量管理页把这几个值都截图留档作为交付验收的原始依据。4.3 平台对接操作顺序与端口参数平台对接以大华 DSS-C 为例。登录 DSS-C 管理端下载配置工具打开 DSS 系统配置工具进入云存储配置页面。关键参数如下IP 地址云存储 CS 虚拟 IP端口38100这是云存储对外 SDK 的标准端口用户名前面创建的存储用户密码对应存储用户的密码数据冗余模式41PTS 配置项基本配置同上配置完成后还要添加虚拟盘符。虚拟盘符相当于每个卡口对应多个 bucket可以增加图片写入并发量对卡口图片写入性能有明显提升。一个虚拟盘符对应一个 bucketbucket 数量多并发就上去了。4.4 录像计划与配额限制必须同时启用最后一步是配置录像计划和磁盘配额限制。在系统设置-参数配置里能看到普通配额和配额限制两个配置项。这里有一个硬性要求配置限制必须启用否则即使录像计划设了也不会录像。这是平台侧的一个设计逻辑配额限制相当于总开关开关不开录像任务不会下发到云存储。录像计划按通道设置普通配额按存储用户维度设置。实际操作时我习惯先把所有存储用户的配额都配上再设置录像计划最后逐个通道验证录像状态。如果发现某几个通道不录像排查顺序永远是先看配额限制是否启用、再看 PTS 配置、最后查网络链路。到这里DSS-C 平台对接云存储已经完成其他平台对接操作方法类似核心参数不变换汤不换药。5. 避坑与常见问题排查部署期五个高频翻车点5.1 实战客户端云下载失败现象公安平台客户端做云下载或者实战客户端调取录像时一直提示连接失败但平台侧看设备状态是正常的。原因存储节点配置了双网卡后默认网关是业务段的而实战客户端和云下载功能需要访问存储段 IP 才能调用 SDK 接口上传及下载。客户端在业务网段访问不到存储段地址接口调用自然失败。解决最省事的办法是采用同网段部署不区分业务和存储网段如果必须双网段就在存储节点上配置网闸映射把存储段的关键端口映射到业务侧可访问的地址。5.2 录像计划配了却一直不录像现象平台侧录像计划已经下发通道状态也正常但云存储里始终查不到录像文件。原因磁盘配额限制没有启用。这是平台侧的一个隐藏逻辑配额相当于录像任务的总开关只配录像计划、不启用配额录像任务根本不会执行。解决进入系统设置-参数配置把普通配额限制和配额限制都启用重新下发一次录像计划再等待几分钟验证录像文件生成。5.3 视频服务器和图片服务器只能启用一个现象分布式流媒体配置里视频转发和图片转发同时开了结果其中一个功能失灵卡口图片传不上来或视频调不出来。原因云直存节点硬件上做了集成转发性能虽然能达到 700Mb但视频服务器和图片服务器这两个服务只能启用一个不能同时工作。解决根据现场业务类型选择。卡口项目优先启用图片服务器普通监控项目启用视频服务器如果两种业务都要就得增加直存节点或转存节点来分担。5.4 心跳口按新设备接法却不同步现象两台元数据服务器之间心跳网线直连后主备状态始终不正常心跳告警频繁。原因最新的元数据服务器心跳口是 3、4 网口但早期设备的心跳口是 1、2 网口按新设备的接法插到早期设备上心跳自然不通。解决接心跳线之前先确认设备批次和网口定义通过设备标签或 Web 界面确认哪两个口是心跳口再决定直连方案不要默认所有机器都是 3、4 口。5.5 网闸配置后外网仍然不通现象云存储部署在两个子网按文档配置了网闸映射MDS VIP 的 80、38080、CS VIP 的 38180、各数据节点的 60010 都映射了但外网访问还是失败。原因配置网闸信息后CS 服务没有重启映射关系没有真正生效或者 cloudview 登录时端口用错。解决配置完网闸后主备节点都要执行/etc/init.d/csdriver restart。cloudview 登录时 IP 使用 CS 目录 IP 或对应外网 IPPort 使用映射后的端口默认是 38180。注意 38100 是对内 SDK 端口38180 是网闸映射后的对外访问端口两者别混。6. PTS 配置与云浓缩部署直存调优和接口验证技巧6.1 PTS.xml 关键配置项卡口采用云存储模式时PTS 配置是绕不开的一步。配置文件在/opt/dss/PTS/PTS.xml修改前先备份原文件。核心配置项如下!-- 云存储服务环境配置addrremode 为数据冗余模式 -- EFSPortal addrremode41 / !-- 云存储 Bucket 名称配置可复用原存储路径 -- StoragePaths StoragePath TruePathd IsWrite1 ForSpecialUse0bucketName1/StoragePath StoragePath TruePathe IsWrite1 ForSpecialUse0bucketName2/StoragePath /StoragePaths !-- DiskWriteMode: 0NTFS/ext4, 2CQFS, 3EFS -- DiskWriteMode3/DiskWriteMode !-- 写超时重试次数 -- EFSRetryCount1000/EFSRetryCount !-- 每次写超时休眠时间单位 ms建议不超过 10ms -- EFSSleepTime2/EFSSleepTime !-- 图片删除配置5 为云存储删除CQFS 不用 -- ClearMode5/ClearMode !-- 图片保留天数 -- MaxReserveDay360/MaxReserveDay这里重点说三个容易配错的地方。第一StoragePaths 里的 TruePath 必须有且保持唯一bucketName 只支持 1-63 字节不能出现\ : * ? | /这些字符。第二StoragePath 的配置个数表示写云线程数数据量大时多配几个各个 bucketName 不要一样读写性能才会上去。第三DiskWriteMode 必须配成 3这是 EFS 云存储模式如果保留默认的 0写入会走本地文件系统数据根本进不了云存储池。改完配置保存执行/opt/restartAll.sh重启 DSS 服务。注意重启后要确认 PTS 进程正常起来服务异常时卡口图片上传会静默失败不会报错。6.2 云浓缩一体机部署与接口验证云浓缩是另一个模块硬件是大华云计算一体机 DH-CCS7100X-LA / MA / HA 系列由四个节点组成每个节点左上角是 IPMA 网口可选配。实际使用时把每个节点的第一个网口 NIC1 接到存储交换机需要四根网线配置前提前准备好 5 个 IP四个实 IP 加一个虚拟 IP。前三步可能涉及研发支持但核心流程我可以照文档走。上传安装包到 A 节点并解压然后执行# 拷贝运维安装脚本到根目录 cp /home/hadoop/Installation/scripts/envset.sh / # 编辑脚本修改所有节点的 IP vi /envset.sh # 添加可执行权限并安装 chmod x /envset.sh sh /envset.sh install提示输入 yes 开始安装。装完后用 Chrome 打开 A 节点 IP 加 8067 端口登录运维界面用户名和密码都是 admin。需要填的配置项包括各节点 IP、云浓缩虚拟 IP、EFS 云存储 CS 地址、EFS 端口默认 38100、EFS 用户名 root、对应密码 123456、EFS Bucket默认 dsa、EFS NM Mode。混合安装默认两个存储节点选 11 即可。EFS Version 根据云存储版本选择时间配置手动设系统时间并填入 -C 平台的 IP 地址作为 System Channel WSDL用于通道浓缩。对接实战平台时云计算服务地址是浓缩虚拟 IP 加 /hummer-api/。验证接口是否正常的技巧直接在浏览器输入浓缩虚拟 IP 加 /hummer-api例如http://浓缩虚拟ip/hummer-api如果接口正常会弹出 “hello world”。这一步非常关键能快速确认云浓缩服务是否真的可用而不是等到实战平台配置完才发现问题。6.3 校时与最终验收云存储校时是一个经常被忽略的细节但时间不同步会导致录像时间戳错乱。配置方式登录云存储运维界面NTP IP 填中心平台 IP。先在中心平台终端确认 NTP 服务正常/etc/init.d/ntpd status # 状态显示 running 说明 ntp 服务正常 # 在元数据服务器端检查校时结果 ntpq -p # 只要 delay、offset、jitter 这几项不为 0说明校时正常如果校时异常检查中心平台/etc/ntp.conf确认有以下配置没有就手动添加然后重启中心平台和元数据服务器的 NTP 服务# 本地时钟配置 server 127.127.1.0 fudge 127.127.1.0 stratum 10最后做一次完整的验收动作用 cloudview 客户端验证IP 用 CS 目录 IP 或对应外网 IP端口用 38180登录正常后验证上传和下载功能。从那以后我每次做完一套云存储都强制走一遍 cloudview 上传下载加 ntpq -p 检查没通过不交付。这套组合验证能挡住大多数隐蔽问题希望帮到你。本文还有配套的精品资源点击获取
返回列表