欢迎访问锦锐论文网-专业期刊发表、职称论文发表网站,电话:18810183632,咨询QQ:2604244082张编辑

论文发表

当前您在:主页 > 论文范文 > 计算机论文 > 计算机论文发表-基于实验数据处理平台对海量实验数据的研究
  
计算机论文发表-基于实验数据处理平台对海量实验数据的研究
分类:计算机论文 热度:

计算机论文发表-基于实验数据处理平台对海量实验数据的研究

摘要:在计算机数据处理中,会遇到处理海量实验数据的问题。以往处理方式大多数以提升硬件成本为主。这使得研发成本也随之提高。针对这一现象,本篇计算机论文发表利用Hadoop平台,设计并实现了实验数据处理平台。
计算机论文发表-基于实验数据处理平台对海量实验数据的研究

关键词:云计算;Hadoop;实验数据
 

1引言

现代科学实验过程中,处理的数据量越来越大。这些数据往往都有海量、复杂等特点。云计算正是在这样的时代背景下产生的。云是指分布式计算、并行计算、效用计算等传统计算机和网络技术发展融合的产物[1]。本文针对目前海量实验数据的处理问题,选用Hadoop平台作为基础框架,充分利用云技术,设计并实现了该实验数据处理平台。
 

2Hadoop简介

Hadoop能够对海量数据进行分布式处理,其主要包括分布式文件系统、MapReduce编程模型及HBase分布式数据库等。该平台能为应用程序提供一组稳定、可靠的接口和数据服务。因此用户可以在不了解底层细节的情况下,开发分布式程序,充分利用集群进行高速运算和存储[2-3]。
 

3系统设计
 

3.1系统框架设计

本篇计算机论文发表所说的平台采用三层体系架构,架构模型如图1。应用层是系统与用户进行交互的上层界面,用户可以向系统发出计算请求,当系统接收到请求后,将该用户的请求信息向其他层转发,最后将计算结果反馈给用户。中间层位于应用层与系统层之间,具有承上启下的作用。系统层是系统的核心数据处理层,主要是通过MapReduce和HDFS实现分布式计算及存储。

计算机论文发表-基于实验数据处理平台对海量实验数据的研究系统框架构模型图1
 

图1系统架构模型图2系统功能模块
计算机论文发表-基于实验数据处理平台对海量实验数据的研究系统框架构模型图2

3.2系统功能模块设计

从实际业务角度考虑,设计系统功能结构如图2:

1. 用户管理:分成两个子模块,其中个人管理模块实现用户对本人信息的管理;系统管理员模块实现对用户的管理。

2. 资源管理:主要实现系统资源合理分配等功能。

3. 性能管理:主要实现对系统性能的监管。

4.系统实现

4.1Hadoop环境配置

本系统共使用四台主机A、B、C、D,操作系统均使用RedHat4.8版本、Java使用的版本是jdk1.6.0_14,Hadoop使用1.0.3版本。将主机A设置为NameNode节点,其他三台主机设置为DataNode节点。IP配置如图3:

计算机论文发表-基于实验数据处理平台对海量实验数据的研究

图3IP配置示意图
 

配置步骤:

1. 安装JDK、配置环境变量,首先在主机A上安装JDK,其他三台主机也按照同样的方法安装。

(1)安装jdk1.6.0_14

[root@ComputerA~]#chmoda+xjdk-6u14-linux-x64.bin

[root@ComputerA~]#./jdk-6u14-linux-x64.bin

(2)将JDK目录移动到/usr/java目录下

[root@ComputerA~]#mkdir/usr/java

[root@ComputerA~]#mvjdk1.6.0_14/usr/java

(3)配置java环境变量,修改bash_profile文件

export JAVA_HOME=/usr/java/jdk1.6.0_14

export CLASSPATH=$JAVA_HOME/lib/dt.jar$JAVA_HOME/lib/tools.jar:

export PATH=$JAVA_HOME/bin:$PATH
计算机论文发表-基于实验数据处理平台对海量实验数据的研究

2. Hadoop平台的安装与配置:

(1)安装

[root@ComputerA~]#tar-zxvfhadoop-1.0.3.tar.gz

[root@ComputerA~]#cp-rhadoop-1.0.3hadoop
 

(2)配置

①设置环境变量:修改/root/hadoop/conf目录下的hadoop-env.sh文件。

export JAVA_HOME=/usr/java/jdk1.6.0_14

②设置Master节点:修改/root/hadoop/conf目录下的masters文件。

③设置Slaves节点:修改/root/hadoop/conf目录下的slaves文件。

④设置HDFS地址、端口:修改core-site.xml文件。

⑤设置Name镜像文件存放目录:修改conf/hdfs-site.xml文件。

⑥设置数据存放目录:修改conf/mapred-site.xml文件。
计算机论文发表-基于实验数据处理平台对海量实验数据的研究

当Hadoop平台在主机A上安装、配置成功后,将主机A上的Hadoop复制到其他主机上,这样四台主机上的Hadoop的目录结构都是相同的,配置文件都在/root/hadoop/conf/目录中,程序都在/root/hadoop/bin目录中。

上一篇:计算机信息管理论文-校园上网安全管理的几点建议和对策 下一篇:信息技术论文-大数据分析与高速数据更新
猜你喜欢
热门排行
精彩图文