站長資訊網一 前期準備
1.1 前置條件
- 至少有三個不同的主機運行monitor (MON)節點；
- 至少三個直接存儲(非外部SAN硬件)的OSD節點主；
- 至少兩個不同的manager (MGR)節點；
- 如果使用CephFS，則至少有兩個完全相同配置的MDS節點；
- 如果使用Ceph對象網關，則至少有兩個不同的RADOSGW節點。
- 一個部署節點，可以使用ceph-ansible包中的Ansible劇本來部署和配置集群。
1.2 準備工作
- 具備相同操作系統的集群節點，建議RHEL7；
- 配置軟件倉庫（CentOS epel源、Ubuntu apt源、RedHat使用subscription-manager命令注冊系統）；
- 所有節點配置網絡及NTP時間同步；
- 關閉selinux與防火墻，或放通所有相關流量和端口；
- 在部署節點安裝ansbile；
- 添加hosts，并確保能正確解析到所有主機；
- 配置部署節點使用Ansible任務的用戶到其他所有節點可以ssh免密登錄；
- 驗證部署節點能夠在集群節點上能正常運行ansible任務。
1.3 其他注意事項
- OSD磁盤不建議使用RAID，Ceph使用復制或糾刪碼來保護數據
- 在生產環境部署Ceph集群，為便于管理，OSD主機應盡量使用統一的硬件。盡可能配置數量、大小和名稱都相同的磁盤，有助于確保性能一致，并且簡化故障排除；
- 需要確認每個OSD主機提供的OSD的數量。密度較小的存儲集群意味著osd守護進程分布到更多的主機上，分發工作負載。密度較高的存儲意味著重平衡和數據恢復需要更高的流量
附一：組件端口說明
二 部署相關知識點
2.1 Ansible介紹
2.2 Ansible部署Ceph相關yml
2.3 yml主要相關參數
- all.yml參數
- osds.ym
2.4 客戶端相關命令
2.5 對象object相關命令
三 正式部署
3.1 部署節點配置主機名
[root@servera ~]# vi /etc/hosts 172.25.250.10 servera 172.25.250.12 serverc 172.25.250.13 serverd 172.25.250.14 servere
3.2 創建相關用戶
[root@servera ~]# useradd student
[root@servera ~]# echo student | passwd –stdin student #創建非root的管理用戶
[root@servera ~]# for i in {a..e}; do echo “====server${i}====”;ssh root@server${i} ‘useradd -d /home/student -m student; echo “student” | passwd –stdin student’; done #所有OSD server節點創建student用戶
[root@servera ~]# for i in {a..e}; do echo “====server${i}====”;ssh root@server${i} ‘useradd -d /home/ceph -m ceph; echo “redhat” | passwd –stdin ceph’; done
[root@servera ~]# for i in {a..e}; do echo “====server${i}====”;ssh root@server${i} ‘echo “student ALL = (root) NOPASSWD:ALL” > /etc/sudoers’; done
[root@servera ~]# for i in {a..e}; do echo “====server${i}====”;ssh root@server${i} ‘chmod 0440 /etc/sudoers’; done
3.3 配置部署節點免密鑰
[root@servera ~]# su - student [student@servera ~]$ ssh-keygen -f ~/.ssh/id_rsa -N '' [student@servera ~]$ for i in {a..e}; do echo "====server${i}====";ssh-copy-id student@server$i;ssh-copy-id ceph@server$i; done
3.4 配置Ansible Inventory
[student@servera ~]$ sudo vi /usr/share/ceph-ansible/ansible.cfg log_path = /tmp/ansible.log #修改日志路徑為student用戶可寫入的/tmp路徑 deprecation_warnings = False #禁用在ansible-playbook輸出結果相關必須要警告
[student@servera ~]$ sudo vi /etc/ansible/hosts
[mons]
server[c:e]
[mgrs]
server[c:e]
[student@servera ~]$ ansible mons -m ping #測試mons組節點通信
[student@servera ~]$ ansible mgrs -m ping #測試mgrs組節點通信
[student@servera ~]$ ansible mons -m command -a id #通過命令測試mons組節點
[student@servera ~]$ ansible mgrs -m command -a id #通過命令測試mgrs組節點
3.5 創建site.yml
[student@servera ~]$ cd /usr/share/ceph-ansible/
[student@servera ceph-ansible]$ sudo cp site.yml.sample site.yml
[student@servera ceph-ansible]$ sudo vi site.yml
#……
– hosts: osds
gather_facts: false
become: True
serial: 1 #在osd（80行左右）添加此行
3.6 創建all.yml
[student@servera ~]$ cd /usr/share/ceph-ansible/group_vars/
[student@servera group_vars]$ sudo cp all.yml.sample all.yml
[student@servera group_vars]$ sudo vi all.yml
—
dummy:
ntp_service_enabled: false #本實驗采用chrony進行時鐘同步
ceph_origin: repository
ceph_repository: rhcs
ceph_rhcs_version: “3”
ceph_repository_type: cdn
rbd_cache: “true” #開啟RBD回寫緩存
rbd_cache_writethrough_until_flush: “false” #在切換回寫之前，不從寫透開始。
rbd_client_directories: false #不要創建客戶機目錄(它們應該已經存在)。
monitor_interface: eth0
journal_size: 1024 #本環境存儲設備很小，OSD日志比通常建議的要小
public_network: 172.25.250.0/24
cluster_network: “{{ public_network }}”
ceph_conf_overrides:
global:
mon_osd_allow_primary_affinity: 1
mon_clock_drift_allowed: 0.5 #允許MON時鐘間隔最多0.5秒
osd_pool_default_size: 2
osd_pool_default_min_size: 1 #降低存儲池復制大小的默認設置
mon_pg_warn_min_per_osd: 0 #見提示一
mon_pg_warn_max_per_osd: 0 #見提示二
mon_pg_warn_max_object_skew: 0 #見提示三
client:
rbd_default_features: 1 #僅為以后的練習啟用一組特定的客戶機功能
3.7 正式部署Ceph集群
[student@servera ~]$ cd /usr/share/ceph-ansible/ [student@servera ceph-ansible]$ ansible-playbook site.yml
3.8 確認驗證Ceph集群
[student@servera ~]$ ssh ceph@serverc ceph -s
[student@servera ~]$ ssh ceph@serverc cat /etc/ceph/ceph.conf
[student@servera ~]$ ssh ceph@serverc ps aux | grep ceph-mon
3.9 創建osds.yml
[student@servera ~]$ cd /usr/share/ceph-ansible/group_vars/
[student@servera group_vars]$ sudo cp osds.yml.sample osds.yml
[student@servera group_vars]$ sudo vi osds.yml
—
dummy:
osd_scenario: “collocated” #OSD使用并列的OSD形式
devices:
– /dev/vdb #使用/dev/vdb作為后端存儲設備
3.10 配置Ansible Inventory
[student@servera ~]$ sudo vi /etc/ansible/hosts
[mons]
server[c:e]
[mgrs]
server[c:e]
[osds]
server[c:e] #追加osds組
3.11 正式部署OSD節點
[student@servera ~]$ cd /usr/share/ceph-ansible/ [student@servera ceph-ansible]$ ansible-playbook site.yml
3.12 確認驗證OSD節點
[student@servera ~]$ ssh ceph@serverc ceph -s
[student@servera ~]$ ssh ceph@serverc ceph -w #使用此命令監視集群事件
3.13 測試及驗證
[ceph@serverc ~]$ sudo systemctl stop ceph-mon.target #停止serverc的mon進程 [ceph@serverc ~]$ ceph -s #觀察Ceph狀態
[ceph@serverc ~]$ sudo systemctl start ceph-mon.target #重啟開啟mon進程 [ceph@serverc ~]$ sudo systemctl stop ceph-osd.target #停止serverc的osd進程 [ceph@serverc ~]$ ceph -s #觀察Ceph狀態
[ceph@serverc ~]$ ceph osd tree #查看osd情況
[ceph@serverc ~]$ sudo systemctl start ceph-osd.target #重啟開啟osd進程 [ceph@serverc ~]$ sudo systemctl stop ceph-osd@0 #停止serverc的osd id為0的進程 [ceph@serverc ~]$ ceph osd tree #查看osd情況
[ceph@serverc ~]$ sudo systemctl start ceph-osd@0 #重啟開啟osd 0進程 [ceph@serverc ~]$ ceph -s #觀察Ceph狀態
[ceph@serverc ~]$ ceph -v #查看Ceph版本
3.14 創建client.yml
[student@servera ~]$ cd /usr/share/ceph-ansible/group_vars/
[student@servera group_vars]$ sudo cp clients.yml.sample clients.yml
[student@servera group_vars]$ sudo vi clients.yml
—
dummy:
copy_admin_key: true
3.15 配置Ansible Inventory
[student@servera ~]$ sudo vi /etc/ansible/hosts
[mons]
server[c:e]
[mgrs]
server[c:e]
[osds]
server[c:e]
[clients]
servera #追加client客戶端
3.16 正式部署client節點
[student@servera ~]$ cd /usr/share/ceph-ansible/ [student@servera ceph-ansible]$ ansible-playbook site.yml
3.17 確認驗證
[kiosk@foundation0 ~]$ ssh ceph@servera #使用ceph用戶登錄servera [ceph@servera ~]$ ceph -s #查看Ceph集群
四 擴容Ceph集群
4.1 擴容前置條件
- 在不中斷服務的前提下，擴展ceph集群存儲容量
- 可通過ceph-ansible以兩種方式擴展集群中的存儲：
- 可以添加額外OSD主機到集群（scale-out）
- 可以添加額外存儲設備到現有的OSD主機（scale-up）
- 開始部署額外的OSD前，需確保集群處于HEALTH_OK狀態
- 相關主機解析已正常添加指hosts
4.2 創建相關用戶
[root@serverf ~]# useradd student
[root@serverf ~]# echo student | passwd –stdin student #創建非root的管理用戶
[root@serverf ~]# useradd -d /home/student -m student; echo “student” | passwd –stdin student’ #所有OSD server節點創建student用戶
[root@serverf ~]# useradd -d /home/ceph -m ceph; echo “redhat” | passwd –stdin ceph’
[root@serverf ~]# echo “student ALL = (root) NOPASSWD:ALL” > /etc/sudoers’
[root@serverf ~]# chmod 0440 /etc/sudoers
4.3 配置部署節點免密鑰
[root@servera ~]# su - student [student@servera ~]$ ssh-copy-id student@serverf;ssh-copy-id ceph@serverf
4.4 擴容額外的OSD主機
[student@servera ~]$ sudo vi /etc/ansible/hosts #配置Ansible Inventory
[student@servera ~]$ sudo vi /etc/ansible/hosts
[mons]
server[c:e]
[mgrs]
server[c:e]
[osds]
server[c:e]
serverf #追加serverf
[clients]
servera
4.5 添加額外OSD存儲設備
devices: - /dev/vdb - /dev/vdc - /dev/vdd #追加存儲設備
4.6 正式部署OSD節點
[student@servera ~]$ cd /usr/share/ceph-ansible/ [student@servera ceph-ansible]$ ansible-playbook site.yml
4.7 確認驗證
[ceph@servera ~]$ ceph -s
[ceph@servera ~]$ ceph osd tree
[ceph@servera ~]$ ceph osd df
