一、磁盘阵列RAID技术在地震解释工作中的应用(论文文献综述)
何天宇[1](2020)在《基于SATA端口多路器芯片的固件研究和实现》文中指出随着科技的进步,当今社会已进入飞速发展时代,人们对于数据存储的需求日益剧增。面对庞大又复杂的数据传输和存储问题,急需研究一款芯片可以实现大数据量的存储需求。对于一款芯片来说,固件尤其重要。固件(Firmware,FW)是写入可擦写可编程只读存储器(EPROM)或电可擦可编程只读存储器(EEPROM)中的程序。固件就是硬件设备的灵魂,一些硬件设备除了固件以外没有其它软件,因此固件决定了硬件设备的性能。本文在基于SATA端口多路器(Port Multiplier,PM)芯片的基础上提出了一种固件设计。本文首先从存储设备接口的历史背景和发展现状入手,选择了最成熟的SATA技术作为研究重点。接着对SATA接口以及协议进行了介绍和分析,还介绍了RAID(Redundant Arrays of Independent Disks)技术和Jbod模式。充分了解SATA技术之后,对芯片的固件设计有了初步的思路,并草拟了固件的工作流程,也简单介绍了SATA端口多路器硬件模块部分。之后对芯片进行固件实现,从SATAD(SATA Device)模块、数据缓冲区(Mubffer)模块、自动命令传输(Auto Command Transport,ACT)模块、命令界面(Command Interface,CI)模块、SATAH(SATA Host)模块的寄存器进行相应功能的配置,通过SPU和SMU两个CPU处理器,协调各硬件模块之间命令的传递和数据的传输,保证其可靠性。完成固件设计后,烧录到芯片,进行板上调试。最终测试的结果表明,SATA端口多路器芯片在命令功能的实现、读写速度以及可靠性等性能方面都达到预期。本文的固件设计基于SATA端口多路器芯片,固件作为芯片的灵魂,起到了至关重要的作用,它是命令和数据在各模块之间的桥梁。本文结合芯片中SATAD和SATAH模块用于接收和发送命令和数据的特性,使用SPU(Systerm Process Unit)和SMU(Systerm Memory Unit)两个处理器进行管理,保证命令请求顺利传递给设备,大大提高了执行速度。对于数据的传输,利用RAID0(Redundant Arrays of Independent Disks 0)、RAID1(Redundant Arrays of Independent Disks 1)、Jbod(Just a Bunch Of Disks)三种模式,不仅可以有效提高了存储数据的容量,而且还实现了一次性大数据量的数据存储,存放数据的地模块还设置了安全保密方式,对数据进行加密,确保数据的安全。从软件功能测试结果表明,该设计方法可以是实现命令和数据的传递,而且在速度测试结果分析,可以达到行业的标准水平,具有一定的实际应用价值。
左右[2](2015)在《高性能计算机的内存和I/O特性分析及性能优化》文中提出随着计算机异构系统结构和高性能CPU等技术的飞速发展,以“天河二号”为代表的超级计算机的峰值计算性能已经达到54.9PFlops,正在向EFlops规模发展。CPU、内存、互连网络和外部设备是构成超级计算机的主要部件,前三者是光电类型器件,而作为主要外部设备之一的存储设备是机、电、磁一体的设备,它们之间的发展速度有很大差距。通常访存和通信带宽约为每秒几GB,延迟约为几纳秒,但是以磁盘为主体的存储设备的带宽约为每秒几十到几百MB,访问延迟为几毫秒。计算、仿存和通信性能与I/O性能的严重不均衡,极大的影响了应用程序的执行性能。为此,需要对高性能计算应用程序使用的计算、内存和I/O资源进行分析,以便了解应用程序的运行特性以及系统在访存和I/O方面存在的性能问题,研究解决问题的方法。本文围绕对高性能计算应用程序的特性分析主要展开了以下研究工作:(1)分析了当前超级计算机的组成结构与发展现状,研究了超级计算机的存储系统以及高性能计算应用程序对内存和I/O的需求。(2)分析了TH-1A上高性能计算应用程序对内存的使用情况,发现其中存在着内存使用不充分而带来的内存浪费问题。研究了优化内存结构的技术方法。(3)提出了一种基于NBD机制使用远程结点内存构建Page Swap区的内存优化技术。该技术利用了超级计算机中通过网络访问远地内存性能优于访问本地磁盘性能的特点,采用了远程内存交换盘技术,使得本地结点在内存紧张时可将页面交换到远地结点的物理内存上,可以有效提高TH-1A上的内存使用率。(4)研究对高性能计算应用程序进行I/O特性分析的技术方法,设计一个能在TH-1A上高效运行的I/O Trace收集和分析工具。(5)利用该工具首先对benchmark程序MADbench2和beffio的I/O行为进行监测,然后对TH-1A上典型的数据密集型应用石油地震勘探中的抽道集程序进行I/O特性分析,了解了这些程序的I/O特点,可以帮助我们有针对性的优化应用程序,缓解系统的I/O瓶颈问题。
潘昌森[3](2015)在《地震数据存储系统研究》文中研究说明近年来,得益于人类社会对石油的需求,石油勘探技术也在飞速发展。地震勘探是进行石油勘探的主要的方法,随着地震勘探技术在地震数据采集、资料处理和资料解释方面不断创新,地震勘探所产生的数据也在海量增长。目前,人们针对这些海量的数据计算发展了高性能计算,使得地震数据处理速度越来越快,但是地震数据处理过程中数据读取的I0瓶颈严重阻碍了数据的处理速度。因此,如何提高地震数据的读取速度成了一个亟待解决的问题。目前针对地震数据10瓶颈的问题,做法多是采用分布式文件系统作为存储系统。每种分布式文件系统的存储特点是不一样的,如HDFS适合大文件的存储,并且对大文件读取进行了优化,又如Fast DFS适合小文件的存储。而地震数据的读取特点是块小量大,即读取的粒度小但读取量大。目前的分布式系统并没有与地震数据读取特点相吻合的读取模式,因而地震数据读取的10瓶颈问题仍存在。本文通过研究地震数据处理的主要数据格式SEGY的格式特点以及一般地震数据的处理流程,分析出目前地震数据处理遇到10瓶颈的原因,实现了一种基于Fast DFS的地震数据存储系统即SDFS(Seismic Data File System)系统。该系统实现了解决地震数据读取10瓶颈的方案。该方案为:首先,通过将地震数据文件以道为单位的分块存储,提高了数据的读取效率;其次,通过将文件宏块再分块,并使用并行磁盘读取技术来提高了地震数据的读取速度;最后还提出了针对系统数据储可靠性的研究,即通过完整备份的方式增加系统可靠性。为了证明该方案的有效性,本文实现了 SDFS系统并对系统的主要功能进行了设计,然后进行了两组地震数据读取的实验。实验一测试了并行磁盘读取技术的有效性,实验结果显示,当每个节点硬盘数据量增加时系统的读取性能增加,速度几乎与磁盘数量成正比;当数据块大小增加时,对顺序读有利而减小则对随机读有利。实验二则用对比实验的方式进行了系统的读取性能测试,对比的系统为Fast DFS,测试结果为SDFS系统的顺序读和随机读性能都要明显优于Fast DFS。综合两次实验结果可知,本文提出的SDFS系统能够帮助改善地震数据读取的10性能。
董晓雷[4](2014)在《地震数据存储设备的性能及应用》文中研究指明随着地震勘探技术的进步和勘探要求的提高,地震勘探的采集道数越来越多,随之带来地震采集数据的海量增加。目前地震勘探三维施工每天采集的数据量多数约为15-30GB,数据量大的在40GB以上;二维施工每天采集的数据量约为3-10GB,多的在10GB以上。今后,地震队每天记录的地震数据量还会大幅增长。因此,对数据存储技术、数据安全、以及数据录入技术提出了更高的要求作为地震勘探仪器技术的重要组成部分,地震数据存储技术随着地震勘探技术、计算机技术、工艺材料技术、信息存储技术的不断发展变化,野外施工采集的数据记录设备从最早的模拟光点记录仪到磁带机,再发展到网络磁盘,经历了快速的发展。随着地震勘探技术的进步和勘探要求的提高,地震勘探的采集道数越来越多,随之带来地震采集数据的海量增加。目前地震勘探施工中常用的记录设备:磁带机主要是富士通的3490E磁带机,IBM的3592磁带机;磁盘主要有虚拟磁带机、SERCEL NAS磁盘等。在地震仪器数据存储设备选型时,既要考虑数据存储设备对数据记录速度、数据容量的要求、存储设备之间备份的要求,又要考虑其对野外恶劣施工环境的适应性。因此本文对存储设备、存储数据安全和存储设备之间备份,进行了分析,并介绍一种新的数据存储软件Copy+。
黄修伟[5](2014)在《磁盘阵列在地震勘探仪器中的应用及研究》文中研究说明随着计算机技术的快速发展,地震勘探任务中产生和需要处理的数据s激增,由于采集数据的价值已经远远超过了软硬件的价值,意外的宕机或数据损坏都会给企业带来巨大的经济损失,因此对数据的存储和处理提出了更高的要求。磁盘阵列通过并行技术和兀余机制大大提商了磁盘存统的可用性(可II性和性能),NAS网络磁盘和磁盘阵列卡都是以磁盘阵列为基础的存储设备,在地藤勘探中得到了广泛的应用《因此,我们就要了解什么是磁盘阵列,它的原理、样式、规范,以及如何在地震勘探中存储数据。在本文中,进行了Sercel428x1地藤勘探仪器使用的存储设备与Scorpion地藤勘探仪器使用的存储设备特点比较,即Nas与磁盘阵列Raid的特点比较?以此来实现对Mas网络磁盘阵列的构成、原理及在Sercel428x1地藤勘探仪器中的操作应用进行系统的总结,和对3ware9550SX-12SATAII RAID控制器在Scorpion地藤勘探仪器中的应用的探讨。
蒋海波[6](2013)在《海量数据存储系统的高可靠性关键技术研究与应用》文中进行了进一步梳理随着信息技术的不断发展,数据日益成为人们日常生活中重要资源。据统计,2010年全球创建、存储和复制的数字信息总量已达到1.2ZB,2011年的数据量达到里程碑式的1.8ZB,而且这种增长还在加速,预计2015年将达到近8ZB。爆炸式增长的数据必然带来存储设备的持续增加。目前,海量数据存储环境下的现代数据中心的存储节点规模少则几万多则几十万,但在规模巨大的存储环境系统中,磁盘损毁或者存储节点失效已成为一种常态行为;与此同时,因网络连接设备或者存储节点其它元器件造成的数据不可访问或者丢失现象也时有发生。为了满足日益扩展的数据存储需求,人们对数据存储的可靠性,可用性等相关特性提出了更高的要求,传统的常规技术手段根本无法应对当前的形式,如何实现海量数据的低冗余度高可靠性存储已经成为业界面临的一个巨大挑战。因而,本文针对构建低冗余度高可靠性海量数据存储系统的关键问题,在总结了当今数据可靠性增强理论和海量数据存储系统基本架构的基础上,对高性能数据容删数据布局算法以及高可靠性存储架构等方面进行了深入的研究,取得了一定的进展,具体如下:1.针对已在数据存储系统中有广泛应用的RAID技术,提出了一种新的基于异或运算的水平阵列纠删码:EX-ENOD码。该码能够容许任意三列的随机删除错,并具有极大距离可分性质。根据该码的几何构造特点,提出了一种具有低计算复杂度的译码方法,该方法的计算复杂度要低于目前已知的其它可纠三列随机删除错纠删码的译码方法。同时,该编码方法具有明显的通用性,可以扩展应用到STAR码、EEOD码的译码过程。2.针对海量存储系统规模不断扩大,可靠性要求不断提高的需求,本文将在{0,1}符号域上的范德蒙系统编码方法引入存储系统中来。该种编码方法继承了传统有限域上构建的范德蒙编码的参数不受存储节点规模、容错参数限制的优良特性,而且存储效率达到最高,同时该方法突破了传统有限域上构建的编码需要大量查询运算的弊端。基于该编码方法构建的存储系统,在保证其数据仍然可用的情况下,最多可容许系统内部一半的存储节点发生损毁,在该种情况下,系统仅需要与原数据相同的冗余数据量。3.针对{0,1}符号域上编码矩阵的特点,根据编码矩阵中各行向量中“1”元素的分布,提出了可降低编译码计算复杂度的优化算法。文章同时针对传统译码重构过程重构带宽较高的缺点,提出了基于校验矩阵的译码方法,并根据校验矩阵列向量的特点和存储系统所需要重构数据的数目,给出了一种低带宽重构算法。该种低带宽重构算法,可以推广到所有构建在{0,1}符号域上的编码存储系统。4.根据编码冗余策略数据布局的特点,设计了一种低冗余度高可靠性海量数据存储系统基础架构。系统将数据消冗和编码冗余可靠性增强技术纳入统一的基础架构,并针对编码冗余数据的分布特点,进行了存储节点的节能设计;针对数据使用特点提出了非均等存储及自适应读取策略;并提出了数据消冗与数据验证协同进行的运行策略。
胡明德[7](2012)在《磁盘阵列可靠性研究》文中提出随着数字信息的爆炸性增长,种类繁多的多媒体应用以及大量的用户群导致了人们对海量信息存储系统的需求。大量的数据,也给数据存储系统带来了挑战,尤其是以移动运营商和银行金融系统为首的客户,对数据存储系统有着更高的可靠性要求,在当今存储系统中,由于磁盘是构成海量存储系统不可或缺的存储介质,因此,如何尽早的发现并修复潜在扇区错误,进而构造一个高可靠、高性能的磁盘存储系统就成为了一个重要的任务。目前用于消除潜在扇区错误对磁盘数据存储系统影响的方法,主要是两大类,一类是磁盘冗余算法,代表算法有IPC和RS磁盘冗余算法,通过增加数据冗余,来降低潜在扇区错误对磁盘可靠性的影响。另一种是磁盘扫描检测算法,扫描检测算法操作最重要的作用就是通过对磁盘下发读取IO,来发现磁盘上的潜在扇区错误,进行修复,进而提高磁盘阵列可靠性。本文在全盘扫描算法和随机扫描算法的基础上提出来一种新扫描算法—交叉扫描算法,交叉扫描算法结合了全盘扫描算法和随机扫描算法的优点,能够快速的发现潜在扇区错误,提高磁盘的可靠性。大规模存储系统中,由于数据的增长,数据存储系统上的潜在扇区错误出现的概率也在增大,而IPC、RS磁盘冗余算法,以及全盘、随机以及交叉扫描算法都仅是提供预防性措施的算法,它们可以处理扫描到的单个磁盘坏道,但是在磁盘阵列重构过程中,恰巧磁盘阵列的冗余已经达到上限的情况下,在其它数据磁盘上出现一个或多个磁盘坏道,上述各种预防性的磁盘扫描算法就会失去作用,磁盘阵列就会失效,数据就会丢失。针对这种情况,本文提出了一种新技术—坏块标记技术,它可以将出现的磁盘坏道所在的分条进行标记,使失效磁盘上的其它数据通过重构恢复,磁盘阵列仍可使用,进而提高了磁盘阵列的可靠性,使用户数据的丢失和影响降低到最小。
刘军平[8](2011)在《磁盘存储系统可靠性技术研究》文中指出数字信息的爆炸性增长、大数量的用户群和种类繁多的多媒体应用导致了人们对海量信息存储系统的需求。大量的用户和数据对于数据存储系统的需求各有不同,有些用户和应用需要提供更高的数据可靠性,有些用户和应用则需要存储系统提供更快的访问时间,类似这样的需求使得存储系统面临着管理大量不同类型数据的压力,而且要求存储系统具备极高的可用性。此外,由于海量信息存储系统规模的增长,使得企业在能耗、散热管理以及机房空间管理等方面也承受了巨大的压力。在当今存储系统中,由于磁盘是构成海量存储系统不可或缺的存储介质,因此,如何构造一个高可靠、高性能、低能耗、适合不同应用的磁盘存储系统就成为了一个重要的任务。磁盘扫描检测操作最重要的作用就是尽早发现磁盘上潜在扇区错误。对磁盘的扫描检测越频繁,磁盘的可靠性越高。扫描一个磁盘需要花费一定的时间,在这个时间内,会降低磁盘的性能。从性能方面考虑,需要尽可能减少磁盘扫描频率。因此,如何选择扫描频率成了系统管理者的一个难题。提出了一种新的扫描方案来解决这个难题。在该方案中,最优的扫描频率由数据丢失代价、扫描频率、磁盘失效率、磁盘潜在扇区失效率以及RAID的修复率这几者来决定。相比每个月对磁盘进行一次扫描检测操作方案,研究结果显示,从磁盘开始运行到17520个小时时,最优磁盘扫描检测方案的最大开销降幅达到了73.3%;在各种磁盘扫描检测方案中,本方案的可靠性也最高。如今,大规模存储系统中,由于数据的增长,经常需要增加新的设备;另外,由于大量存储设备的存在,使得几乎每天都会有存储设备发生故障,因此,在采用磁盘阵列作为存储设备的存储系统中,系统扩容和数据重建比较常见。系统扩容和数据重建过程对前端应用的性能影响很大。为了保障前端应用的性能,提出了一种基于灰色预测理论的方案(Seesaw)来保障前端应用的性能。在该方案中,首先监控前端应用的I/O请求规律,然后预测前端应用在接下来的时间段内的带宽需求,在尽量满足前端应用带宽需求的前提下,利用剩余的带宽能力来服务磁盘阵列的扩容和重建请求。实验显示,所提方案对于Financiall,相比没有采取本方案时,前端应用平均请求响应时间与磁盘阵列处于重建时期相比有明显提升。随着海量数据中心规模的增加,由潜在扇区错误导致的数据丢失情况越来越常见。为了防止单盘内由潜在扇区错误导致的数据丢失,现有的做法一是采用磁盘内扫描检测技术,二是采用磁盘内扇区间编码方案。磁盘内扇区间编码方案以降低磁盘性能为代价来获得更高的可靠性。该方案并不适合于高性能高可靠性要求的应用环境。由于频繁访问的数据区域更可能会发生潜在扇区错误,提出了一种利用冗余热点数据的方法来提高磁盘的性能和可靠性方案。该方案利用副本技术来提高磁盘的可靠性,利用磁头预测定位算法来选择离磁头最近的副本数据进行访问来提高性能。理论分析结果显示,该方案大大降低了磁盘发生潜在扇区错误导致的数据丢失的概率。性能测试实验结果显示,采用该方案时,磁盘的访问时间会降低20%左右。在采用Shamir门限方案的归档存储系统中,将需要存储的数据进行分割存放,在恢复原始数据时则只需要分割后的一部分数据即可恢复。在一个(k,n)门限方案中,只需要任何k份数据即可恢复出原始数据。构建了一个节能的归档存储系统GreenArc。GreenArc利用门限方案对所存储的数据在各个存储节点之间进行分发,存储节点在获取分发的数据后,选择其中k个存储节点保持服务状态,而其他n-k个存储节点保持待机状态,使得归档存储系统最大化的节约能耗。实验表明,在同一门限方案下,系统负载越轻,采用GreenArc方案的节能效果越好。在增加门限方案中的k值时,密集型负载能获得更高的节能百分比,取得的节能效果更显着。
张琳,孙艳军,朱永恒[9](2011)在《ARIES系统中的RAID结构》文中认为本文对RAID技术的功能、结构和工作原理进行了详尽地介绍,并结合ARIES-Ⅰ与ARIES-Ⅱ系统所采用的RAID类型,对RAID 0、RAID 1、RAID 0+1等形式的数据存储方式,以及RAID阵列卡在ARIES系统中的应用进行了阐述,并分析了在RAID结构下ARIES依然存在的数据转储隐患——非常容易使硬盘产生碎片,文章对如何解决这一隐患也做了十分详细的说明。
林林[10](2011)在《RAID技术和存储技术在档案信息化建设中的选择》文中认为本文主要通过对RAID技术和磁盘存储技术的分析,结合工作的一些实践,分析探讨了RAID和存储技术在档案信息化建设时应该注意和避免的问题。
二、磁盘阵列RAID技术在地震解释工作中的应用(论文开题报告)
(1)论文研究背景及目的
此处内容要求:
首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。
写法范例:
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
(2)本文研究方法
调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。
实证研究法:依据现有的科学理论和实践的需要提出设计。
定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。
定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。
跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。
模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、磁盘阵列RAID技术在地震解释工作中的应用(论文提纲范文)
(1)基于SATA端口多路器芯片的固件研究和实现(论文提纲范文)
摘要 |
ABSTRACT |
1 绪论 |
1.1 课题研究背景 |
1.2 国内外研究现状 |
1.2.1 存储设备接口的发展 |
1.2.2 国内外研究现状概述 |
1.3 本课题的研究内容 |
1.4 本文主要结构 |
2 SATA协议分析以及相关技术介绍 |
2.1 SATA协议分析 |
2.1.1 物理层分析 |
2.1.2 链路层分析 |
2.1.3 传输层分析 |
2.1.4 应用层分析 |
2.1.5 端口多路器 |
2.2 RAID技术 |
2.2.1RAID0 |
2.2.2RAID1 |
2.3 Jbod模式 |
2.4 本章小结 |
3 芯片固件设计 |
3.1 固件设计思想 |
3.2 固件的工作流程 |
3.2.1 读操作 |
3.2.2 写操作 |
3.3 芯片硬件模块介绍 |
3.4 本章小结 |
4 芯片固件实现 |
4.1 SATAD模块实现 |
4.2 SPU固件实现 |
4.3 自动命令传输模块实现 |
4.4 命令界面模块实现 |
4.5 SATAH模块实现 |
4.5.1 物理层寄存器 |
4.5.2 传输层寄存器 |
4.6 SMU固件实现 |
4.6.1 Offline模式 |
4.6.2 Online模式 |
4.7 数据缓冲区模块的实现 |
4.8 DMA命令传输和FPDMA命令传输 |
4.8.1 DMA命令传输 |
4.8.2 FPDMA命令传输 |
4.9 RAID技术和Jbod模式实现 |
4.10 本章小结 |
5 芯片固件测试 |
5.1 实验平台介绍 |
5.1.1 硬件环境 |
5.1.2 软件环境 |
5.1.3 测试环境 |
5.2 软件功能测试 |
5.3 读写速度测试 |
5.3.1 是否连接芯片的速率对比 |
5.3.2 固件优化前后的速率对比 |
5.4 可靠性测试 |
5.5 本章小结 |
6 总结与展望 |
6.1 总结 |
6.2 展望 |
致谢 |
参考文献 |
附录 作者在读研期间发表的学术论文及参加的科研项目 |
(2)高性能计算机的内存和I/O特性分析及性能优化(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 课题研究背景 |
1.1.1 高性能计算机系统的发展与结构 |
1.1.2 高性能计算机存储系统的介绍与分析 |
1.1.3 高性能计算机系统内存介绍 |
1.1.4 高性能计算应用程序的资源需求 |
1.2 课题研究意义 |
1.3 论文的主要研究工作 |
1.4 本文组织结构 |
第二章 高性能计算应用程序特性分析及其方法研究 |
2.1 高性能计算应用程序内存使用情况分析 |
2.1.1 计算密集型应用内存使用情况分析 |
2.1.2 数据密集型应用内存使用情况分析 |
2.1.3 TH-1A上内存使用面临的问题 |
2.2 内存系统优化方法的研究 |
2.3 高性能计算应用程序I/O特性分析 |
2.3.1 I/O特性分析面临的问题 |
2.3.2 I/O特性分析方法的研究 |
2.4 本课题的优化方案及相关工作 |
2.5 本章小结 |
第三章 高性能计算应用使用内存的优化 |
3.1 内存使用优化方案的提出 |
3.2 远地内存页交换系统的基本思想 |
3.3 优化方法的实现 |
3.3.1 在远地结点创建内存盘 |
3.3.2 利用NBD机制实现结点间连接 |
3.3.3 软RAID实现多结点整合 |
3.3.4 构建Page Swap区 |
3.3.5 系统设计方法 |
3.4 THM系统模型性能测试与分析 |
3.4.1 实验环境 |
3.4.2 性能评测 |
3.5 本章小结 |
第四章 高性能计算应用程序的I/O特性分析 |
4.1 实现目标 |
4.2 FTracer的设计与实现 |
4.2.1 Fuse文件系统 |
4.2.2 I/O Trace收集工具FTracer的设计 |
4.2.3 FTracer对I/O特性的实时分析 |
4.3 I/O Trace收集工具性能测试 |
4.4 高性能计算应用的I/O特性分析 |
4.4.1 MADbench2程序 |
4.4.2 b_eff_io程序 |
4.4.3 抽道集程序的I/O特性分析 |
4.5 本章小结 |
第五章 结束语 |
5.1 工作总结 |
5.2 下一步工作展望 |
致谢 |
参考文献 |
作者在学期间取得的学术成果 |
(3)地震数据存储系统研究(论文提纲范文)
摘要 |
ABSTRACT |
第1章 绪论 |
1.1 引言 |
1.2 选题背景及意义 |
1.3 国内外研究现状 |
1.4 论文的主要工作及组织结构 |
第2章 地震勘探相关技术介绍 |
2.1 地震勘探原理 |
2.2 地震勘探数据格式 |
2.3 地震数据的存储系统 |
2.3.1 网络文件系统 |
2.3.2 分布式文件系统 |
2.4 地震勘探数据处理 |
2.4.1 地震数据抽道集 |
2.4.2 地震数据处理流程 |
2.4.3 地震勘探数据处理软件 |
2.5 地震勘探数据处理分析 |
2.6 本章小结 |
第3章 SDFS地震数据存储系统 |
3.1 地震数据的读取策略 |
3.2 系统整体介绍 |
3.2.1 FastDFS分布式文件系统 |
3.2.2 系统框架 |
3.3 并行磁盘读取技术 |
3.3.1 原理介绍 |
3.3.2 数据宏块的分块 |
3.3.3 数据的聚合 |
3.4 系统可靠性的保证 |
3.4.1 常见方式 |
3.4.2 本系统的方案 |
3.5 本章小结 |
第4章 SDFS系统的实现 |
4.1 数据写入过程 |
4.1.1 数据写入流程 |
4.1.2 数据在系统中的布局 |
4.2 数据读取过程 |
4.2.1 顺序读和随机读 |
4.2.2 并行磁盘读取技术的应用 |
4.2.3 数据的聚合 |
4.2.4 数据的分段读取 |
4.2.5 负载均衡 |
4.3 系统的通信协议 |
4.4 本章小结 |
第5章 系统测试 |
5.1 系统主要功能测试 |
5.2 系统性能测试 |
5.2.1 并行磁盘读取技术测试 |
5.2.2 系统整体性能测试 |
5.3 本章小结 |
第6章 总结与展望 |
参考文献 |
致谢 |
在读期间发表的学术论文与取得的其他研究成果 |
(4)地震数据存储设备的性能及应用(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 研究背景 |
1.2 数据存储技术国内外发展现状 |
第二章 数据存储技术发展历史 |
2.1 模拟波形感光照相纸 |
2.2 模拟波形磁带技术 |
2.3 数字磁带存储技术 |
2.4 盒式磁带存储技术 |
2.5 磁盘数据存储技术 |
2.6 基于网络的地震数据存储技术 |
2.7 本章小结 |
第三章 计算机存储技术在地震勘探中的应用 |
3.1 模拟、数字磁带存储技术 |
3.2 数字硬盘存储技术 |
3.3 光盘存储技术 |
3.4 电子盘存储技术 |
3.5 NAS 存储 |
3.6 SAN 存储 |
3.7 基于 IP 的网络存储技术 |
3.8 RAID 技术 |
3.9 RAID 技术成为设备安全的主要工具 |
3.10 本章小结 |
第四章 地震数据格式及存储特点 |
4.1 地震数据的存储特点 |
4.1.1 地震数据的来源 |
4.1.2 地震数据的类型 |
4.2 地震数据的格式 |
4.2.1 SEG 格式分析 |
4.3 本章小结 |
第五章 当代地震数据存储设备性能 |
5.1 3592 磁带机 |
5.2 3592 磁带机各项性能 |
5.2.1 存储容量 |
5.2.2 记录密度 |
5.2.3 存取时间 |
5.2.4 磁带机的记录格式 |
5.2.5 3592 磁带机的特性 |
5.2.6 磁带机参数简介 |
5.2.7 磁带机的连接 |
5.3 磁带机在实际生产中的应用 |
5.4 地震数据存储设置 |
5.5 3592 磁带驱动器盒带说明 |
5.6 磁盘阵列 |
5.6.1 磁盘阵列的额外容错功能 |
5.6.2 硬件磁盘阵列还是软件磁盘阵列 |
5.6.3 磁盘阵列卡还是磁盘阵列控制器 |
5.7 COPY+安装软件 |
5.8 COPY+ 软件应用 |
5.8.1 软件概述 |
5.8.2 安装指南 |
5.8.3 用 copy+软件复制 SEGD 文件到磁带 |
5.8.4 用 copy+软件复制 SEGD 磁带成磁盘 |
5.8.5 用 copy+软件复制磁带到磁带 |
5.8.6 使用 copy+软件转储磁带 |
5.8.7 用 copy+软件显示记录文件 |
5.8.8 设置 |
5.8.9 磁带驱动器认可 |
5.8.10 系统需求 |
第六章 结论 |
致谢 |
参考文献 |
攻读硕士学位期间所发表的论文 |
详细摘要 |
(5)磁盘阵列在地震勘探仪器中的应用及研究(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 磁盘阵列在地震勘探仪器中的应用 |
1.2 课题背景及本文主要工作 |
第二章 容灾备份 |
2.1 什么是容灾 |
2.2 容灾分类 |
2.3 容灾的关键技术 |
2.3.1 快照技术 |
2.3.2 互连技术 |
2.3.3 介质备份 |
2.3.4 集中式数据级备份 |
2.4 IT 容灾在企业的现状分析 |
第三章 磁盘阵列 |
3.1 磁盘阵列的发展起源 |
3.2 磁盘阵列的工作原理 |
3.3 磁盘阵列的组成 |
3.4 磁盘阵列的实现方式 |
3.5 磁盘阵列的规范 |
第四章 NAS 网络存储 |
4.1 网络存储结构分类 |
4.2 NAS 网络存储磁盘的构成、功能和优点 |
4.2.1 NAS 系统的优缺点全面介绍 |
4.3 DAS 存储、NAS 存储和 SAN 存储之间的对比 |
4.3.1 NAS 与 DAS 对比之数据存储与备份能力的优劣分析 |
4.3.2 NAS 与 DAS 对比之数据安全性的分析 |
4.3.3 NAS 与 DAS 对比之跨平台性能上的差异分析 |
4.3.4 NAS 与 DAS 对比之部署成本上的高低分析 |
4.3.5 NAS 与 SAN 之间的对比 |
4.3.6 SAN 的主要特点 |
4.3.7 SAN 的主要优势 |
4.4 NAS 的主要特点 |
第五章 地震勘探仪器中正在使用的磁盘阵列 |
5.1 3ware 9550SX-12 SATAII RAID 控制器在 Scorpion 勘探仪器中的应用 |
5.1.1 配置方法 |
5.1.2 Scorpion 仪器 RAID 故障 |
5.1.3 预防磁盘阵列卡掉阵列的措施 |
5.2 NAS 网络存储在 Sercel 428XL 地震勘探仪器中的应用 |
5.2.1 NAS 系统救援 |
5.3 NAS 与磁盘阵列柜对比 |
5.3.1 NAS 与磁盘阵列柜的特点比较: |
5.4 NAS 与磁盘阵列柜的适用场合 |
第六章 结论 |
致谢 |
参考文献 |
攻读硕士学位期间所发表的论文 |
详细摘要 |
(6)海量数据存储系统的高可靠性关键技术研究与应用(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 选题的依据和意义 |
1.1.1 存储系统中的数据损毁 |
1.2 海量数据存储系统数据可靠性增强策略 |
1.2.1 传统复制备份策略 |
1.2.2 复制备份策略存在的问题 |
1.2.3 低冗余高可靠的编码冗余策略 |
1.3 论文的研究动机 |
1.4 论文的研究内容与创新点 |
1.5 论文组织结构 |
第二章 数据存储系统可靠性及相关技术研究现状 |
2.1 数据存储系统及其可靠性研究总体概况 |
2.2 典型存储系统及其可靠性实现 |
2.2.1 磁盘阵列存储之 RAID5 |
2.2.2 海量数据存储系统之 HDFS |
2.2.3 海量数据存储文件系统之 WAS |
2.2.4 其它高可靠性文件系统 |
2.3 基于复制策略的可靠性增强技术 |
2.3.1 数据组织结构及放置策略 |
2.3.2 复制时机策略 |
2.4 基于编码冗余策略的可靠性增强技术 |
2.4.1 存储编码理论研究概况 |
2.4.2 存储编码的重构带宽 |
2.5 与存储系统可靠性相关的其它关键技术 |
2.5.1 重复数据删除技术 |
2.5.2 系统节能技术 |
2.6 高可靠性低冗余度海量数据存储系统的设计思考 |
2.7 本章小结 |
第三章 一种针对磁盘阵列系统容错的高性能编码技术 |
3.1 磁盘阵列存储之 RAID6 |
3.2 EX-ENOD 码 |
3.2.1 EX-ENOD 码编码方法 |
3.2.2 EX-ENOD 码的性质及证明 |
3.2.3 EX-ENOD 码的译码算法 |
3.2.4 译码算法的通用性 |
3.3 EX-ENOD 码的性能分析 |
3.3.1 EX-ENOD 码的编码复杂度 |
3.3.2 EX-ENOD 码的译码复杂度 |
3.4 本章小结 |
第四章 一种针对高可靠性存储系统的编码冗余策略及其优化 |
4.1 生成矩阵与一致校验矩阵 |
4.1.1 编码相关知识介绍 |
4.1.2 线性分组码的生成矩阵与校验矩阵的关系 |
4.2 将有限域元素规约到{0,1}符号域上的矩阵表示法 |
4.2.1 计算机存储中的有限域 |
4.2.2 有限域中的相关概念及表示方法 |
4.2.3 传统有限域表示方法在存储系统中应用的限制 |
4.2.4 有限域元素的{0,1}矩阵表示方法 |
4.3 在{0,1}符号域上的范德蒙矩阵的编码存储方法 |
4.3.1 传统范德蒙矩阵的构造方法 |
4.3.2 适用于数据存储的范德蒙矩阵的构造方法 |
4.3.3 基于{0,1}符号域编码矩阵的分布式存储方法 |
4.4 基于校验矩阵的高效重构算法 |
4.4.1 宏数据块重构算法 |
4.4.2 基于(6,3,4)范德蒙系统码的数据重构过程 |
4.4.3 利用微数据块的低带宽重构算法 |
4.5 本章小结 |
第五章 高可靠性海量数据存储系统的核心模块设计与实现 |
5.1 高可靠低冗余度数据存储系统基础架构设计 |
5.1.1 系统的体系结构总体设计 |
5.1.2 数据的组织与读取 |
5.1.3 系统的管理 |
5.2 原型系统的相关性能测试 |
5.2.1 系统数据读写性能测试 |
5.2.2 系统编译码时 CPU 利用率分析 |
5.2.3 验证机制对客户端的影响分析 |
5.2.4 系统可靠性分析 |
5.3 本章小结 |
第六章 编码冗余技术在电子选举系统数据存储中的应用 |
6.1 电子选举系统的典型需求 |
6.2 传统电子选举系统的缺陷 |
6.3 高可靠性新一代电子选举系统 |
6.3.1 CCS-VIII 型选举系统硬件平台 |
6.3.2 CCS-VIII 型选举系统执行流程 |
6.3.3 新型选举系统数据可靠性设计 |
6.3.4 新型选举系统性能及整体效用 |
6.4 本章小结 |
第七章 结论 |
7.1 本文的主要贡献 |
7.2 下一步工作的展望 |
致谢 |
参考文献 |
攻博期间取得的科研成果 |
(7)磁盘阵列可靠性研究(论文提纲范文)
中文摘要 |
ABSTRACT |
1 绪论 |
1.1 课题的研究背景和来源 |
1.1.1 课题研究背景 |
1.1.2 课题来源 |
1.2 课题的研究意义和目的 |
1.3 本文的研究内容 |
1.4 论文的组织 |
2 存储基本知识概述 |
2.1 机械式硬盘 |
2.2 SSD 固态硬盘 |
2.3 廉价磁盘阵列 |
2.3.1 RAID 级别介绍 |
2.3.2 RAID 组应用 |
2.4 条带化技术介绍 |
2.5 逻辑单元编号 |
2.6 本章小结 |
3 磁盘失效模型分析 |
3.1 磁盘失效 |
3.1.1 磁盘系统失效分析 |
3.1.2 磁盘数据丢失分析 |
3.2 存储系统可靠性评价标准 |
3.3 单个磁盘对磁盘阵列可靠性影响分析 |
3.4 本章小结 |
4 磁盘扫描算法分析 |
4.1 磁盘扫描算法概述 |
4.2 算法分析 |
4.2.1 全盘扫描算法 |
4.2.2 随机扫描算法 |
4.2.3 IPC 磁盘冗余算法 |
4.2.4 RS 磁盘冗余算法 |
4.3 交叉扫描算法设计 |
4.3.1 交叉扫描算法设计 |
4.3.2 交叉扫描算法和磁盘冗余算法对比分析 |
4.4 坏块标记技术 |
4.5 本章小结 |
5 交叉扫描算法的实现 |
5.1 技术提出背景 |
5.2 技术要解决的问题 |
5.3 实际设计 |
5.3.1 增加交叉扫描算法模块 |
5.3.2 交叉扫描算法与数据读写交互 |
5.3.3 坏块标记技术初始化 |
5.3.4 坏块标记技术与 RAID 组重构的交互 |
5.3.5 坏块标记技术与 RAID 组读写的交互 |
5.4 性能测试 |
5.5 本章小结 |
6 总结与展望 |
6.1 本文总结 |
6.2 后续工作展望 |
致谢 |
参考文献 |
附录 |
(8)磁盘存储系统可靠性技术研究(论文提纲范文)
摘要 |
Abstract |
1 绪论 |
1.1 存储系统背景介绍 |
1.2 存储系统面临的严峻挑战 |
1.3 解决目前挑战的一般方法 |
1.4 本文研究的主要内容 |
2 一种代价最小化的磁盘扫描检测策略 |
2.1 磁盘扫描检测研究背景 |
2.2 基于成本效益的磁盘扫描检测策略 |
2.3 磁盘扫描检测实现 |
2.4 基于蒙特卡洛方法的可靠性仿真 |
2.5 实验评估 |
2.6 讨论 |
2.7 本章小结 |
3 一种保证磁盘阵列重建时前端应用性能的方法 |
3.1 研究背景 |
3.2 Seesaw体系结构 |
3.3 详细设计与实现 |
3.4 可用性能评估 |
3.5 实验评估 |
3.6 本章小结 |
4 基于块级优化方案的高性能与高可靠性存储系统 |
4.1 背景介绍 |
4.2 相关工作 |
4.3 Rehod的设计与实现 |
4.4 设计细节 |
4.5 实验评估 |
4.6 讨论 |
4.7 本章小结 |
5 一种节能归档存储系统 |
5.1 背景介绍 |
5.2 相关工作 |
5.3 设计与实现 |
5.4 实验评估 |
5.5 本章小结 |
6 全文总结 |
致谢 |
参考文献 |
附录1:攻读学位期间发表的学术论文目录 |
附录2:攻读学位期间参与项目及申请的专利和软件着作权 |
(10)RAID技术和存储技术在档案信息化建设中的选择(论文提纲范文)
一、RAID技术 |
二、RAID和存储技术在档案信息化建设的选择 |
三、RAID和存储技术在我馆档案信息化建设的选择 |
四、磁盘阵列RAID技术在地震解释工作中的应用(论文参考文献)
- [1]基于SATA端口多路器芯片的固件研究和实现[D]. 何天宇. 杭州电子科技大学, 2020(04)
- [2]高性能计算机的内存和I/O特性分析及性能优化[D]. 左右. 国防科学技术大学, 2015(04)
- [3]地震数据存储系统研究[D]. 潘昌森. 中国科学技术大学, 2015(02)
- [4]地震数据存储设备的性能及应用[D]. 董晓雷. 西安石油大学, 2014(05)
- [5]磁盘阵列在地震勘探仪器中的应用及研究[D]. 黄修伟. 西安石油大学, 2014(05)
- [6]海量数据存储系统的高可靠性关键技术研究与应用[D]. 蒋海波. 电子科技大学, 2013(12)
- [7]磁盘阵列可靠性研究[D]. 胡明德. 重庆大学, 2012(03)
- [8]磁盘存储系统可靠性技术研究[D]. 刘军平. 华中科技大学, 2011(10)
- [9]ARIES系统中的RAID结构[J]. 张琳,孙艳军,朱永恒. 物探装备, 2011(02)
- [10]RAID技术和存储技术在档案信息化建设中的选择[J]. 林林. 兰台世界, 2011(08)