面向大数据的分布式系统设计关键技术研究
时间：2021-04-09 07:57:55 来源：达达文档网 本文已影响 人 
摘 要
随着互联网技术的发展，用户呈现几何规模性增长，海量数据处理技术日益重要。本文详细的分析了面向大数据应用过程中分布式系统的关键技术，包括分布式文件技术、分布式数据处理技术、分布式数据库技术等，阐述了相关技术的研究现状和发展趋势，以便促进大数据应用的发展。
【关键词】文件管理 流数据处理 数据库 大数据
1 引言
随着移动互联网、物联网、云计算技术的高速发展，促进互联网技术在政企单位、金融数据、电信数据等领域得到了广泛地应用，据互联网运营企业统计发现，全球每年产生的海量用户数据已经呈几何规模性增长。并且随着新技术、新研究方法的诞生，大大的降低了海量数据处理的存储成本、生产成本和处理成本，越来越多的数据出现在人们的工作生活中，国家政企单位、互联网运营企业均把海量数据作为行为研究、发展决策的基础，大数据处理能够创造极大的价值。不同类型的数据也增加了数据处理的复杂程度，因此，海量数据的管理、处理技术成为影响大数据应用系统的发展的关键问题。本文基于笔者多年的数据运行和管理经验，详细的分析了分布式文件管理、批处理和流处理数据方式、分布式数据库技术等，以便为海量数据应用做出贡献。
2 面向大数据的分布式系统关键技术
2.1 分布式文件管理技术
在大数据应用过程中，传统的数据存储和管理技术已经无法满足需求，因此，诸多科学工作者对其文件管理技术进行了研究。2010年，冯幼乐等人在文件管理系统中提出了CEPH动态元数据管理技术，该方法可以有效地改进异构元数据服务器和网络延迟较大时存在的问题，提高文件管理系统的使用范围和性能。方君等人详细的分析了国外分布式文件系统的研究和应用现状，开发设计了一个较好的分布式文件系统K-DFS，该系统可以解决大数据中多存储节点访问和同步的问题，实现负载均衡，避免部分数据集中于少量存储服务器中，使用冗余存储技术，保障远程文件的安全性，防止存储节点因宕机导致文件丢失，更好的提高了文件系统的高安全性，并且该系统已经在金融数据分析、电信数据分析和网络电商数据分析中得到了广泛的使用。
目前，文件系统已经在实际应用中得到了广泛的发展和进步，尤其是具有海量用户和数据存储访问的互联网企业中，比如Google提出了GFS文件管理系统，该系统集成数据文件地管理、存储和应用，并且构建过程中服务器较为廉价，同时具有极强的可扩展性，数据被存储于不同的服务器中，通过关联链接、分块存储、追加更新等技术保障文件管理系统的正常运行和传输，同时引入了缓冲层、内存加载部分元数据等新理念，提升了文件管理系统存储和读取的效率，促进大数据文件管理步入集群管理阶段，有效的提高了分布式文件管理系统的应用效能。
2.2 分布式数据处理技术
大数据应用系统中，信息处理方式包括两种，分别是批处理方式和流处理方式。批处理方式是指将待处理的逻辑事务执行存储操作之后，再对其实施业务处理操作，因此批处理方式可以使用某种分割方式，将数据分割为不同的数据块，这些数据库逻辑独立，其可以在不同的终端上操作执行，增强了大数据系统中共享服务资源的优势，淡化了数据之间的关联关系，有效的提升了数据的集群性、可调度性，目前，批处理方式应用的难点和关键是数据的分割、分发和实时处理。流处理方式将用户需要的海量数据看做是一个不间断的数据流，数据流可以实时的进入大数据应用系统中，并且能够得到快速的响应和反馈，获得数据处理的结果，该分布式数据处理方式极大的提高了系统的实时性，已经在许多金融数据挖掘、电信数据挖掘过程中得到了广泛的应用。
2.3 分布式数据库技术
传统的数据库技术通常采用关系型数据库管理系统，该数据库在大数据处理过程中存在多样性弱、规模性小、处理过程逻辑关联性强等弱点，提出在大数据应用系统中采用分布式数据库管理技术，实现大数据的易用性和易扩充性，同时增强分布式数据库管理能力。目前，分布式数据库管理技术已经得到了广泛的研究和应用，Bigtable技术在实施操作和管理过程中，将数据访问信息作为字符串进行管理，并且其不直接解释字符串的含义，使得分布式数据具有半结构化或者结构化特征，可以提高数据库存储类型，比如视频数据、图像数据、文本数据等，同样大大地简化了数据库管理系统操作方法。Dynamo技术在分布式数据库应用过程中，采用分布式哈希表、键值存储和向量时钟等关键技术，实现大数据库管理系统的高效运行和管理，推动了关系型数据库的前进和发展。随着智能技术的发展，分布式数据库引入了模式识别、机器学习、神经网络等算法，有效的促进了数据一致性、业务处理快速化。
3 结束语
随着大数据应用系统的发展，其作为海量数据的一个重要分支，是最有价值的信息处理稽核，包含了数据管理、存储和处理等，能够为数据挖掘分析提供重要的手段和工具，高效、透明处理数据。随着虚拟技术、可视技术、信号处理技术、数据库分析和挖掘技术的发展，大数据应用系统必将更加有效地帮助人们分析数据，提供决策支撑。
参考文献
[1]王珊，王会举，覃雄派，周.架构大数据：挑战、现状与展望[J].计算机学报.2011（10）.
[2]刘婷婷.面向云计算的数据安全保护关键技术研究[D].解放军信息工程大学，2013.
[3]薛志强，刘鹏，文艾，周游，许闯.分布式文件系统管理策略研究[J].电脑知识与技术，2011（01）.
[4]冯幼乐，朱六璋.CEPH动态元数据管理方法分析与改进[J].电子技术，2010（09）.
[5]方君，陈华平，宋浒，刘晓茜.分布式文件系统K-DFS的设计与实现[J].华中科技大学学报（自然科学版），2010（S1）.
[6]亓开元，赵卓峰，房俊，马强.针对高速数据流的大规模数据实时处理方法[J].计算机学报，2012（03）.
作者单位
1.69064部队 新疆维吾尔自治区巴音郭楞蒙古自治州 841000
2.四川大学计算机学院 四川省成都市 610000
