欢迎访问锦锐论文网-专业期刊发表、职称论文发表网站,电话:18810183632,咨询QQ:2604244082张编辑

论文发表

当前您在:主页 > 论文范文 > 计算机论文 > 计算机论文发表-基于实验数据处理平台对海量实验数据的研究
  
计算机论文发表-基于实验数据处理平台对海量实验数据的研究
分类:计算机论文 热度:

计算机论文发表-基于实验数据处理平台对海量实验数据的研究

摘要:在计算机数据处理中,会遇到处理海量实验数据的问题。以往处理方式大多数以提升硬件成本为主。这使得研发成本也随之提高。针对这一现象,本篇计算机论文发表利用Hadoop平台,设计并实现了实验数据处理平台。

关键词:云计算;Hadoop;实验数据计算机论文发表-基于实验数据处理平台对海量实验数据的研究

1引言

现代科学实验过程中,处理的数据量越来越大。这些数据往往都有海量、复杂等特点。云计算正是在这样的时代背景下产生的。云是指分布式计算、并行计算、效用计算等传统计算机和网络技术发展融合的产物[1]。本文针对目前海量实验数据的处理问题,选用Hadoop平台作为基础框架,充分利用云技术,设计并实现了该实验数据处理平台。

2Hadoop简介

Hadoop能够对海量数据进行分布式处理,其主要包括分布式文件系统、MapReduce编程模型及HBase分布式数据库等。该平台能为应用程序提供一组稳定、可靠的接口和数据服务。因此用户可以在不了解底层细节的情况下,开发分布式程序,充分利用集群进行高速运算和存储[2-3]。

3系统设计

3.1系统框架设计

本篇计算机论文发表所说的平台采用三层体系架构,架构模型如图1。应用层是系统与用户进行交互的上层界面,用户可以向系统发出计算请求,当系统接收到请求后,将该用户的请求信息向其他层转发,最后将计算结果反馈给用户。中间层位于应用层与系统层之间,具有承上启下的作用。系统层是系统的核心数据处理层,主要是通过MapReduce和HDFS实现分布式计算及存储。

图1系统架构模型图2系统功能模块计算机论文发表-基于实验数据处理平台对海量实验数据的研究系统框架构模型图1计算机论文发表-基于实验数据处理平台对海量实验数据的研究系统框架构模型图2

3.2系统功能模块设计

从实际业务角度考虑,设计系统功能结构如图2:

1. 用户管理:分成两个子模块,其中个人管理模块实现用户对本人信息的管理;系统管理员模块实现对用户的管理。

2. 资源管理:主要实现系统资源合理分配等功能。

3. 性能管理:主要实现对系统性能的监管。

4.系统实现

4.1Hadoop环境配置

本系统共使用四台主机A、B、C、D,操作系统均使用RedHat4.8版本、Java使用的版本是jdk1.6.0_14,Hadoop使用1.0.3版本。将主机A设置为NameNode节点,其他三台主机设置为DataNode节点。IP配置如图3:计算机论文发表-基于实验数据处理平台对海量实验数据的研究

图3IP配置示意图

配置步骤:

1. 安装JDK、配置环境变量,首先在主机A上安装JDK,其他三台主机也按照同样的方法安装。

(1)安装jdk1.6.0_14

[root@ComputerA~]#chmoda+xjdk-6u14-linux-x64.bin

[root@ComputerA~]#./jdk-6u14-linux-x64.bin

(2)将JDK目录移动到/usr/java目录下

[root@ComputerA~]#mkdir/usr/java

[root@ComputerA~]#mvjdk1.6.0_14/usr/java

(3)配置java环境变量,修改bash_profile文件

export JAVA_HOME=/usr/java/jdk1.6.0_14

export CLASSPATH=$JAVA_HOME/lib/dt.jar$JAVA_HOME/lib/tools.jar:

export PATH=$JAVA_HOME/bin:$PATH计算机论文发表-基于实验数据处理平台对海量实验数据的研究

2. Hadoop平台的安装与配置:

(1)安装

[root@ComputerA~]#tar-zxvfhadoop-1.0.3.tar.gz

[root@ComputerA~]#cp-rhadoop-1.0.3hadoop

(2)配置

①设置环境变量:修改/root/hadoop/conf目录下的hadoop-env.sh文件。

export JAVA_HOME=/usr/java/jdk1.6.0_14

②设置Master节点:修改/root/hadoop/conf目录下的masters文件。

③设置Slaves节点:修改/root/hadoop/conf目录下的slaves文件。

④设置HDFS地址、端口:修改core-site.xml文件。

⑤设置Name镜像文件存放目录:修改conf/hdfs-site.xml文件。

⑥设置数据存放目录:修改conf/mapred-site.xml文件。计算机论文发表-基于实验数据处理平台对海量实验数据的研究

当Hadoop平台在主机A上安装、配置成功后,将主机A上的Hadoop复制到其他主机上,这样四台主机上的Hadoop的目录结构都是相同的,配置文件都在/root/hadoop/conf/目录中,程序都在/root/hadoop/bin目录中。

3. 安装SSH,实现四台主机间的无密码认证。

本篇计算机论文发表实验证明:当Hadoop平台运行时,Namenode节点通过SSH来控制其他三个DataNode节点,为了在节点之间执行操作时不输入密码,故配置SSH无密码认证的方式。

(1)安装SSH,要确保四台主机的SSH服务都能正常启动。例如:

[root@ComputerA~]#sudo apt-getinstall ssh

(2)主机A生成密钥对,然后将生成的密钥对id_rsa,id_rsa.pub复制到其他主机中。例如:

[root@ComputerA~]#ssh-keygen –t rsa

[root@ComputerA~]#scp /root/.ssh/id_rsa.pub 192.168.10.201:/root/.ssh

[root@ComputerA~]#scp /root/.ssh/id_rsa 192.168.10.201:/root/.ssh

(3)将主机B、C、D上的id_rsa.pub重命名为authorized_key,例如:[root@ComputerB~]#mv /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys计算机论文发表-基于实验数据处理平台对海量实验数据的研究

4.2功能模块实现

1. 用户管理

(1)个人管理

用户首次进入系统要注册。提交后要等待管理员的审核。通过后,才能注册成功,登录系统。

(2)系统管理员

在该模块中,管理员可以给用户分配不同权限;可以审核用户身份信息及资源请求信息;并且能够按照一定条件搜索指定用户。

2. 资源管理

用户能够发出资源申请、查询所申请资源是否分配、已分配资源完成进度以及对以往完成资源的结果信息检索等功能;系统管理员对用户发出的资源申请,进行确认。如果系统资源能够满足用户的请求且请求符合实际实验情况,系统将进行合理分配,否则不予分配。

3.性能管理

用户可以查询资源状态,包括对已分配资源的完成进度和已完成资源的耗时信息;系统管理员可以查询所有的资源,其中包括新提交的资源申请、已分配的资源申请和已完成的资源申请。同时,还可以查询当前系统的状态,其中包括当前剩余的存储容量、CPU使用率等。

5.结束语

本文以Hadoop平台为基础,设计并实现了实验数据处理平台,该平台能够较好的满足计算速度、存储容量等性能要求。且能达到对海量实验数据并行处理的要求。

参考文献:

[1]张岩等.基于Hadoop的云计算试验平台搭建研究.沈阳师范大学学报

[2]陈伯龙等.云计算与OpenStack.电子工业出版社计算机论文发表-基于实验数据处理平台对海量实验数据的研究

更多职称论文发表立刻咨询锦锐论文网:

qq:2604244082张老师

上一篇:计算机信息管理论文-校园上网安全管理的几点建议和对策 下一篇:信息技术论文-大数据分析与高速数据更新
猜你喜欢
热门排行
精彩图文