PB级集群文件系统Lustre
FlieSystem , Linux 中的文章
0 评论
曾几何时，我还记得用迅雷下个电影被告知无法保存大于4G的单个文件时的无奈…那时的文件系统是FAT32，Google一顿海查后果断改成NTFS，原来，这文件系统也有讲究。
当然，文件系统之间不仅仅是支持大容量单个文件那么简单，企业级应用对文件的I/O性能，容错能力，语言代码支持要求越来越高，其中Lustre就是一PB级集群文件系统。
一、lustre简介
Sun称Lustre是“目前全球具有最佳可扩展性的并行文件系统”，现在全球十大超级计算机中的六个以及40%的TOP100超级计算机都采用了这个系统。提高了I/O速度，可能降低企业购买存储设备的成本并改变企业购买存储的方式。
Lustre是基于Linux的文件系统，实现过程大致是这样的，安装软件包，启用带有Lustre的新内核，使用新加命令建立空间并格式化为Lustre文件系统。其实和正常磁盘管理差不多。下面说下安装过程。
二、安装过程
1、系统环境
luster必须在X64系统上部署，这里我选择的是CentOS5.5 X64
2、安装luster
在Oracle Download Center下载安装包，猛击此处。
必须先装e2fsprogs
rpm -ivh e2fsprogs-1.41.10.sun2-0redhat.rhel5.x86_64.rpm
接着安装余下软件包
rpm -ivh kernel-2.6.18-164.11.1.el5_lustre.2.0.0.1.x86_64.rpm rpm -ivh lustre-ldiskfs-3.2.0-2.6.18_164.11.1.el5_lustre.2.0.0.1.x86_64.rpm rpm -ivh lustre-client-modules-2.0.0.1-2.6.18_164.11.1.el5_lustre.2.0.0.1.x86_64.rpm rpm -ivh lustre-modules-2.0.0.1-2.6.18_164.11.1.el5_lustre.2.0.0.1.x86_64.rpm rpm -ivh lustre-client-2.0.0.1-2.6.18_164.11.1.el5_lustre.2.0.0.1.x86_64.rpm rpm -ivh lustre-2.0.0.1-2.6.18_164.11.1.el5_lustre.2.0.0.1.x86_64.rpm
注：如遇到包关联问题请添加–force –nodeps强制安装
3、系统配置
Lustre包括下面四个部分：
Management Server（MGS）
Metadata Target（MDT）
Object Storage Targets（OST）
Client
启动顺序为 MGS -> OST -> MDT -> Client
1.配置network模块
vi /etc/modprobe.conf options lnet networks=tcp1(bond0)
2.配置grub，选择新内核启动
vi /etc/grub.conf
3.创建mdt和mgs（此处需要考虑真实磁盘环境）
mkfs.lustre --fsname luster --mdt --mgs /dev/sdb1 mount -t lustre /dev/sdb1 /mdt/mds
4.创建ost
mkfs.lustre --fsname lustre --ost --mgsnode=XXX.XXX.XXX.XXX@tcp0 /dev/sdb2 mount –t luster /dev/sdb2 /mnt/test/ost
IP地址为你的mgs节点IP
5.Client挂载
mount –t luster mds@tcp0:/lustre /mnt/lustre
5.查看luster状态
cat /proc/fs/luster/devices
6.此时Client创建test，在ost亦能同步test的创建
分享本文
0 个评论
还没有评论哦，赶紧留下你的爪印吧 !
发表评论
上一篇文章
« 秒速搭建Sun Ray桌面虚拟化服务器 下一篇文章
« 秒速搭建Sun Ray桌面虚拟化服务器 下一篇文章
网站 RSS Feed
使用 E-mail 订阅
跟我一起 Twitter!
