使用Fabric 批量執行服務器任務 


我們的服務器和虛擬機的環境配置都由puppet管理，但有時候需要臨時執行某些任務和操作，比如同時更換500台服務器的密碼、同時更新或者重啟500台虛擬機、在特定幾台服務器上添加或者一個用戶、上傳一個特定文件/腳本到1000台服務器等等。這些任務用Puppet可以做，但是不是最簡潔的辦法。我們需要一種工具能完成大量服務器上的批量操作，並且要簡單可編程，Fabric就是這樣一個基於Python的服務器批量管理庫/工具，Fabric使用ssh（通過paramiko庫）在多個服務器上批量執行任務，我們只需要用Python編寫這些任務腳本並指定要執行這些任務的服務器就可以了。

Fabric 依賴paramiko，所以需要安裝這兩個：

$ sudo pip install fabric
$ sudo pip install paramiko

編寫一個簡單的Fabric 例子，在1台服務器上打印系統信息（uname -s）：

$ vi fabfile.py
#!/usr/bin/python

from fabric.api import run

def host_os():
    run('uname -s')

在vpsee.com 這台主機（host）上使用root 帳戶執行上面的任務host_os：

$ fab -H root@vpsee.com host_os
[root@vpsee.com] Executing task 'host_os'
[root@vpsee.com] run: uname -s
[root@vpsee.com] Login password for 'root': 
[root@vpsee.com] out: Linux

Done.
Disconnecting from root@vpsee.com... done.

來看一個更複雜點的例子，在多個服務器（grid00, grid02, …, grid05）上更換root 密碼（假設原密碼是root），注意加上@parallel，這樣任務是並行執行的，在大量服務器上會快很多：

#!/usr/bin/python
# -*- coding: utf-8 -*-
from fabric.api import *
import string
from random import choice
import socket
import paramiko

env.user = 'root'
env.password = 'root'
env.hosts = [ 'grid00', 'grid01', 'grid02', 'grid03', 'grid04', 'grid05']

@task
@parallel
def passwd(user, passwd=False):
    with settings(hide('running', 'stdout', 'stderr'), warn_only=True):
        if isup(env.host):
            if not passwd:
                passwd = genpass()
            sudo("echo -e '%s\n%s' | passwd %s" % (passwd, passwd, user))

def genpass(length=10):
    return ''.join(choice(string.ascii_letters + string.digits) for _ in range(length))

def isup(host):
    print 'connecting host: %s' % host
    timeout = socket.getdefaulttimeout()
    socket.setdefaulttimeout(1)
    up = True
    try:
        paramiko.Transport((host, 22))
    except Exception, e:
        up = False
        print '%s down, %s' % (host, e)
    finally:
        socket.setdefaulttimeout(timeout)
        return up

使用fab -l 查看我們剛編寫的fabfile.py 裡面的可用命令，這個命令就是那個函數名def passwd(user, passwd=False)：

$ fab -l
Available commands:

    passwd

使用這個命令批量更換grid00-grid05 的root 密碼為test，passwd 傳遞參數的時候接冒號，並且用戶名和密碼參數用逗號隔開：

$ fab passwd:root,test
[grid00] Executing task 'passwd'
[grid01] Executing task 'passwd'
[grid02] Executing task 'passwd'
[grid03] Executing task 'passwd'
[grid04] Executing task 'passwd'
[grid05] Executing task 'passwd'
connecting host: grid05
connecting host: grid04
connecting host: grid02
connecting host: grid03
connecting host: grid01
connecting host: grid00

Done.

Fabric的強大之處在於可以用Python編寫各種任務（函數），這些任務可以指定到任何服務器上（通過ssh），非常適合管理大量服務器、批量處理任務。另外Fabric工作方式非常簡單容易理解，就是簡單的ssh而已，沒有內幕沒有架構，不像其他工具什麼客戶端服務器端、什麼中間代碼、什麼DSL領域專屬語言（嗯，說的就是puppet, chef） 。Fabric使用起來只需要懂點Python就可以了，不需要學命令、api、框架之類的。我們喜歡簡單 ​​、容易理解的工具。

留言

張貼留言

這個網誌中的熱門文章

Json概述以及python對json的相關操作

圖片
什麼是json： JSON(JavaScript Object Notation) 是一種輕量級的數據交換格式。易於人閱讀和編寫。同時也易於機器解析和生成。它基於JavaScript Programming Language, Standard ECMA-262 3rd Edition - December 1999的一個子集。JSON採用完全獨立於語言的文本格式，但是也使用了類似於C語言家族的習慣（包括C, C++, C#, Java, JavaScript, Perl, Python等）。這些特性使JSON成為理想的數據交換語言。 JSON建構於兩種結構： “名稱/值”對的集合（A collection of name/value pairs）。不同的語言中，它被理解為對象（object），紀錄（record），結構（struct），字典（dictionary），哈希表（hash table），有鍵列表（keyed list），或者關聯數組（associative array）。 值的有序列表（An ordered list of values）。在大部分語言中，它被理解為數組（array）。 這些都是常見的數據結構。事實上大部分現代計算機語言都以某種形式支持它們。這使得一種數據格式在同樣基於這些結構的編程語言之間交換成為可能。 jso官方說 ​​明參見：http://json.org/ Python操作json的標準api庫參考：http://docs.python.org/library/json.html 對簡單數據類型的encoding 和decoding： 使用簡單的json.dumps方法對簡單數據類型進行編碼，例如： import json obj = [[ 1 , 2 , 3 ], 123 , 123.123 , 'abc' ,{ 'key1' :( 1 , 2 , 3 ), 'key2' :( 4 , 5 , 6 )}] encodedjson = json.dumps(obj) print repr (obj) print encodedjson 輸出： [[1, 2, 3], 123, 123.123, 'abc', {'ke
閱讀完整內容

Docker容器日誌查看與清理

1. 問題 docker容器日誌導致主機磁盤空間滿了。 docker logs -f container_name 劈裡啪啦一大堆，很佔用空間，不用的日誌可以清理掉了。  2. 解決方法 2.1 找出Docker容器日誌 在linux上，容器日誌一般存放在 /var/lib/docker/containers/container_id/ 下面，查看各個日誌文件大小的腳本docker_log_size.sh，內容如下： #!/bin/sh echo "======== docker containers logs file size ========" logs=$(find /var/lib/docker/containers/ -name *-json.log) for log in $logs do ls -lh $log done # chmod +x docker_log_size.sh # ./docker_log_size.sh 2.2 清理Docker容器日誌（治標） 如果docker容器正在運行，那麼使用 rm -rf 方式刪除日誌後，通過 df -h 會發現磁盤空間並沒有釋放。 原因是在Linux或者Unix系統中，通過 rm -rf 或者文件管理器刪除文件，將會從文件系統的目錄結構上解除鏈接（unlink）。 如果文件是被打開的（有一個進程正在使用），那麼進程將仍然可以讀取該文件，磁盤空間也一直被佔用。 正確姿勢是 cat /dev/null > *-json.log ，當然你也可以通過 rm -rf 刪除後重啟docker。 接下來，提供一個日誌清理腳本 clean_docker_log.sh ，內容如下： #!/bin/sh echo "======== start clean docker containers logs ========" logs=$(find /var/lib/docker/containers/ -name *-json.log) for log in $logs d
閱讀完整內容

遠程控制管理工具ipmitool

圖片
IPMI（Intelligent Platform Management Interface）即智能平台管理接口是使硬件管理具備“智能化”的新一代通用接口標準。用戶可以利用IPMI 監視服務器的物理特徵，如溫度、電壓、電扇工作狀態、電源供應以及機箱入侵等。Ipmi 最大的優勢在於它是獨立於CPU BIOS 和OS 的，所以用戶無論在開機還是關機的狀態下，只要接通電源就可以實現對服務器的監控。 IPMI 是一種規範的標準，其中最重要的物理部件就是BMC(Baseboard Management Controller)，一種嵌入式管理微控制器，它相當於整個平台管理的“大腦”，通過它ipmi 可以監控各個傳感器的數據並記錄各種事件的日誌。 一般大廠的服務器都支持ipmi功能，比如DELL，HP，IBM。 此實驗選擇的硬件平台Dell R410 無idrac6卡，操作系統CentOS 5.6 1 .服務器啟動後，按'Ctrl + E'進入BMC管理工具界面 2 .設置'IPMI Over LAN'為On，啟用通過LAN方式的IPMI。 3 .選擇'IPMI LAN Channel'，進入設置IPMI的網絡屬性，IP Address '10.60.30.29'， Netmask '255.255.255.0' , Default Gateway '10.60.30.1'，與服務器eth0配置一致即可。 4 .選擇'User Configuration'，進入設置IPMI的訪問帳號, 'Admin account'保持'root'不變，'Enter Passwd'與'Confirm Passwd'填入'root' ipmitool命令使用 http://ipmitool.sourceforge.net/manpage.html 常用顯示本地網絡信息-I open表示接口本地 # ipmitool -I open lan print 1 Set in Progress : Set Complete Auth Type Suppo
閱讀完整內容