構建異步Net-SNMP 引擎

為Net-SNMP 異步生成Python 綁定。默認情況下，Net-SNMP 將阻塞每一個Python 調用。使用多進程庫可以非常簡單地將Net-SNMP 庫轉換為完全異步的操作。

在開始之前，需要檢查是否安裝了一些必備的內容，以便使用Python 2.6 多進程庫和Net-SNMP 綁定：

1. 下載Python 2.6並針對所使用的操作系統進行編譯：Python 2.6下載
2. 調整shell路徑，這樣在輸入python時就會啟動Python 2.6。例如，如果將Python編譯到/usr/local/bin/， 您就需要預先處理$PATH變量，從而確保它位於一個較舊的Python版本之前。
3. 下載並安裝設置工具：設置工具
4. 下載Net-SNMP，除了使用其他操作系統所需的標記（參見相應的README文件）外，另外使用一個“--with-python-modules”標記進行配置。 ./configure --with-python-modules

按如下所示編譯Net-SNMP：

-------------------------------------------------- -------
            Net-SNMP configuration summary:
-------------------------------------------------- -------

  SNMP Versions Supported: 1 2c 3
  Net-SNMP Version: 5.4.2.1
  Building for: darwin9
  Network transport support: Callback Unix TCP UDP
  SNMPv3 Security Modules: usm
  Agent MIB code: default_modules => snmpv3mibs mibII ucd_snmp notification 
notification-log-mib target agent_mibs agentx disman/event disman/schedule utilities
  Embedded Perl support: enabled
  SNMP Perl modules: building -- embeddable
  SNMP Python modules: building for /usr/local/bin//python
  Authentication support: MD5 SHA1
  Encryption support: DES AES
]]
Net-SNMP 的多進程包裝器

'''
Created on 2012/8/1

@author: 10001045
'''
#!/usr/bin/env python2.7
"""
This is a multiprocessing wrapper for Net-SNMP.
This makes a synchronous API asynchronous by combining
it with Python2.7
"""

import netsnmp
from multiprocessing import Process, Queue, current_process

class HostRecord():
    """This creates a host record"""
    def __init__(self,
                 hostname = None,
                 query = None):
        self.hostname = hostname
        self.query = query
        
class SnmpSession():
    """A SNMP Session"""
    def __init__(self,
                oid = "sysDescr",
                Version = 2,
                DestHost = "localhost",
                Community = "public",
                Verbose = True,
                ):
        self.oid = oid
        self.Version = Version
        self.DestHost = DestHost
        self.Community = Community
        self.Verbose = Verbose
        self.var = netsnmp.Varbind(oid, 0)
        self.hostrec = HostRecord()
        self.hostrec.hostname = self.DestHost
        
    def query(self):
        """ creates SNMP query
            Fills out a Host Object and returns result
        """
        
        try:
            result = netsnmp.snmpget(self.var,
                                     Version = self.Version,
                                     DestHost = self.DestHost,
                                     Community = self.Community)
            self.hostrec.query = result
        except Exception, err:
            if self.Verbose:
                print err
            self.hostrec.query = None
        finally:
            return self.hostrec

def make_query(host):
    """This does the actual snmp query
    This is a bit fancy as it accepts both instances
    of SnmpSession and host/ip addresses. This
    allows a user to customize mass queries with
    subsets of different hostnames and community strings
    """
    if isinstance(host,SnmpSession):
        return host.query()
    else:
        s = SnmpSession(DestHost=host)
        return s.query()
    
# Function run by worker processes
def worker(input, output):
    for func in iter(input.get, 'STOP'):
        result = make_query(func)
        output.put(result)
        
def main():
    """Runs everything"""
    #clients
    hosts = ["localhost", "localhost"]
    NUMBER_OF_PROCESSES = len(hosts)
    
    # Create queues
    task_queue = Queue()
    done_queue = Queue()
    
    #submit tasks
    for host in hosts:
        task_queue.put(host)
        
     #Start worker processes
    for i in range(NUMBER_OF_PROCESSES):
        Process(target=worker, args=(task_queue, done_queue)).start()
        
    # Get and print results
    print 'Unordered results:'
    for i in range(len(hosts)):
        print '\t', done_queue.get().query
        
     # Tell child processes to stop
    for i in range(NUMBER_OF_PROCESSES):
        task_queue.put('STOP')
        print "Stopping Process #%s" % i
        
if __name__ == "__main__":
    main()
這裡有兩個類，一個HostRecord 類和一個SnmpSession 類。SnmpSession 類包含一個使用Net-SNMP 的SNMP 庫實際執行查詢的方法。由於調用一般都會進行阻塞，因此需要導入多進程庫並使用Process 運行它。此外，傳入一個task_queue 和一個done_queue，這樣可以同步並保護進出進程池的數據。如果對線程比較熟悉的話，將會注意到這種方式非常類似於線程API 使用的方法。

需要特別關註一下主函數中#clients部分的主機列表。注意，可以對50或100台或更多主機運行異步SNMP查詢，具體取決於當前使用的硬件。NUMBER_OF_PROCESSES變量的設置非常簡單，只是被設置為主機列表中的主機數。最終，最後兩個部分在處理過程中從隊列獲取結果，然後將一個“STOP”消息放到隊列中，表示可以終止進程

如果在對Net-SNMP 進行監聽的OS X 機器上運行代碼，那麼將會得到如下所示的非阻塞輸出：


mac% time python multisnmp.py
Unordered results:
     ('Darwin mac.local 9.6.0 Darwin Kernel Version 9.6.0: Mon Nov 24 17:37:00 PST 2008;
root:xnu-1228.9.59~1/RELEASE_I386 i386',)
     ('Darwin mac.local 9.6.0 Darwin Kernel Version 9.6.0: Mon Nov 24 17:37:00 PST 2008;
root:xnu-1228.9.59~1/RELEASE_I386 i386',)
Stopping Process #0
Stopping Process #1
python multisnmp.py 0.18s user 0.08s system 107% cpu 0.236 total
配置O​​S X 的SNMPD
如果希望配置OS X 的SNMP Daemon 以針對本文進行測試，那麼需要執行下面的操作。首先，在shell 中使用三個命令重寫配置文件：

 $ sudo cp /etc/snmp/snmpd.conf /etc/snmp/snmpd.conf.bak.testing
 $ sudo echo "rocommunity public" > /etc/snmp/snmpd.conf 
 $ sudo snmpd

留言

張貼留言

這個網誌中的熱門文章

Json概述以及python對json的相關操作

圖片
什麼是json： JSON(JavaScript Object Notation) 是一種輕量級的數據交換格式。易於人閱讀和編寫。同時也易於機器解析和生成。它基於JavaScript Programming Language, Standard ECMA-262 3rd Edition - December 1999的一個子集。JSON採用完全獨立於語言的文本格式，但是也使用了類似於C語言家族的習慣（包括C, C++, C#, Java, JavaScript, Perl, Python等）。這些特性使JSON成為理想的數據交換語言。 JSON建構於兩種結構： “名稱/值”對的集合（A collection of name/value pairs）。不同的語言中，它被理解為對象（object），紀錄（record），結構（struct），字典（dictionary），哈希表（hash table），有鍵列表（keyed list），或者關聯數組（associative array）。 值的有序列表（An ordered list of values）。在大部分語言中，它被理解為數組（array）。 這些都是常見的數據結構。事實上大部分現代計算機語言都以某種形式支持它們。這使得一種數據格式在同樣基於這些結構的編程語言之間交換成為可能。 jso官方說 ​​明參見：http://json.org/ Python操作json的標準api庫參考：http://docs.python.org/library/json.html 對簡單數據類型的encoding 和decoding： 使用簡單的json.dumps方法對簡單數據類型進行編碼，例如： import json obj = [[ 1 , 2 , 3 ], 123 , 123.123 , 'abc' ,{ 'key1' :( 1 , 2 , 3 ), 'key2' :( 4 , 5 , 6 )}] encodedjson = json.dumps(obj) print repr (obj) print encodedjson 輸出： [[1, 2, 3], 123, 123.123, 'abc', {'ke...
閱讀完整內容

Docker容器日誌查看與清理

1. 問題 docker容器日誌導致主機磁盤空間滿了。 docker logs -f container_name 劈裡啪啦一大堆，很佔用空間，不用的日誌可以清理掉了。  2. 解決方法 2.1 找出Docker容器日誌 在linux上，容器日誌一般存放在 /var/lib/docker/containers/container_id/ 下面，查看各個日誌文件大小的腳本docker_log_size.sh，內容如下： #!/bin/sh echo "======== docker containers logs file size ========" logs=$(find /var/lib/docker/containers/ -name *-json.log) for log in $logs do ls -lh $log done # chmod +x docker_log_size.sh # ./docker_log_size.sh 2.2 清理Docker容器日誌（治標） 如果docker容器正在運行，那麼使用 rm -rf 方式刪除日誌後，通過 df -h 會發現磁盤空間並沒有釋放。 原因是在Linux或者Unix系統中，通過 rm -rf 或者文件管理器刪除文件，將會從文件系統的目錄結構上解除鏈接（unlink）。 如果文件是被打開的（有一個進程正在使用），那麼進程將仍然可以讀取該文件，磁盤空間也一直被佔用。 正確姿勢是 cat /dev/null > *-json.log ，當然你也可以通過 rm -rf 刪除後重啟docker。 接下來，提供一個日誌清理腳本 clean_docker_log.sh ，內容如下： #!/bin/sh echo "======== start clean docker containers logs ========" logs=$(find /var/lib/docker/containers/ -name *-json.log) for log in $logs d...
閱讀完整內容

利用 Keepalived 提供 VIP

Keepalived 是一種基於 VRRP 協定實現的高可靠 Web 服務方案，用於防止單點故障問題。因此一個 Web 服務運作至少會擁有兩台伺服器執行 Keepalived，一台作為 master，一台作為 backup，並提供一個虛擬 IP（VIP），master 會定期發送特定訊息給 backup 伺服器，當 backup 沒收到 master 訊息時，表示 master 已故障，這時候 backup 會接管 VIP，繼續提供服務，來確保服務的高可靠性。 VRRP VRRP（Virtual Router Redundancy Protocol，虛擬路由器備援協定），是一個提供備援路由器來解決單點故障問題的協定，該協定有兩個重要概念： * VRRP 路由器與虛擬路由器：VRRP 路由器是表示運作 VRRP 的路由器，是一個實體裝置，而虛擬路由器是指由 VRRP 建立的邏輯路由器。一組 VRRP 路由器協同運作，並一起構成一台虛擬路由器，該虛擬路由對外提供一個唯一固定的 IP 與 MAC 位址的邏輯路由器。 * 主控制路由器（master）與備援路由器（backup）：主要是在一組 VRRP 中的兩種互斥角色。一個 VRRP 群組中只能擁有一台是 master，但可以有多個 backup 路由器。 VRRP 協定使用選擇策略從路由器群組挑選一台作為 master 來負責 ARP 與轉送 IP 封包，群組中其他路由器則作為 backup 的角色處理等待狀態。當由於某種原因造成 master 故障時，backup 會在幾秒內成為 master 繼續提供服務，該階段不用改變任何 IP 與 MAC 位址。 Keepalived 節點配置 IP ADDRESS ROLE 172.16.1.101 vip 172.16.1.102 master 172.16.1.103 backup 安裝與設定 這 ubuntu 14.04 LTS Server 中已經內建了 Keepalived 可以透過 apt-get 來安裝： $ sudo apt-get install -y keepalived 也可以透過 source code 進行安裝，流程如下： $ sudo apt-get install build-essential libssl-dev $ wge...
閱讀完整內容