總網頁瀏覽量

搜尋此網誌

2011年3月23日 星期三

Share nothing架構 分散式運算

Shared nothing架構(shared nothing architecture)是一 種分佈式計算架構。這種架構中的每一個節點( node)都是獨立、自給的,而且整個系統中沒有單點競爭。有些系統需要集中保存大量的狀態信息——數據庫、應用服務器或是其他類似的單點競爭系統。
   Shared Nothing在Web 應用開發中尤其受到歡迎,究其原因是這種方案提供的scalability。Google在這個方面做了很好的示範。 在一個純Shared Nothing系統中,通過簡單地增加一些廉價的計算機做為系統的節點卻可以獲取幾乎無限的擴展。正是由於Shared Nothing架構中不存在單一瓶頸而降低系統運行速度。Google 稱之為sharding。 Shared nothing系統通常需要將他的數據分佈在多個節點的不同數據庫中(不同的計算機處理不同的用戶和查詢)或者要求每個節點通過使用某些協調協議來保留它自己的應用程序數據備份 ,這通常被成為數據庫Sharding。
   現在對一個有著多個獨立的web節點卻存在一個惟一的共享數據庫這樣的架構是否能被稱之為 Shared nothing架構還是有很多爭論的。一個狀態型的應用(通常將狀態保存到一個集中化的數據庫中)要獲得shared nothing架構就需要通過數據網格和分佈式Cache。 但即便是這種架構,數據庫依然是故障單點。

2011年3月7日 星期一

OpenStack Nova 概念 與系統需求

OpenStackCompute,一種雲計算軟體,控制您的基礎設施(IaaS)雲計算平台。 它類似於Rackspace與 Amazon EC2雲服務器。 Nova 不包括任何虛擬化軟體,您的主機上運行的作業系統所defines drivers與底層交互溝通的一種虛擬化機制,且 Nova公開API能通過 Web。


Nova is written with the following design guidelines in mind:
  • 組成的基礎架構:快速擴充運算
  • 高可用性: 支援可延展到非常重的計算工作量
  • 容錯:隔離錯誤計算,避免連鎖錯誤
  • 可恢復度: 故障應該很容易診斷,調試和糾正
  • 開放標準: 做一個可參考實現一個共同驅動的API
  • API Compatibility:致力於提供API的兼容與廣為流傳使用的系統,像Amazon的EC2Amazon EC2

關鍵概念

 












AMQP (Advanced Message Queuing Protocol) 協定

The Advanced Message Queuing Protocol (AMQP) is an open standard application layer protocol for message-oriented middleware. The defining features of AMQP are message orientation, queuing, routing (including point-to-point and publish-and-subscribe), reliability and security[1].AMQP mandates the behaviour of the messaging provider and client to the extent that implementations from different vendors are truly interoperable, in the same way as SMTP, HTTP, FTP, etc. have created interoperable systems. Previous attempts to standardise middleware have happened at the API level (e.g. JMS) and this did not create interoperability[2]. Unlike JMS, which merely defines an API, AMQP is a wire-level protocol. A wire-level protocol is a description of the format of the data that is sent across the network as a stream of octets. Consequently any tool that can create and interpret messages that conform to this data format can interoperate with any other compliant tool irrespective of implementation language.
Hardware: OpenStack components are intended to run on standard hardware.
Operating System: OpenStack currently runs on Ubuntu and the large scale deployments running OpenStack run on Ubuntu 10.04 LTS, so deployment-level considerations tend to be Ubuntu-centric. Community members are testing installations of OpenStack Compute for CentOS and RHEL and documenting their efforts on the OpenStack wiki at wiki.openstack.org. Be aware that CentOS 6 is the most viable option (not 5.5) due to nested dependencies.
Networking: 1000 Mbps are suggested. For OpenStack Compute, networking is configured on multi-node installations between the physical machines on a single subnet. For networking between virtual machine instances, three network options are available: flat, DHCP, and VLAN.
Database: For OpenStack Compute, you need access to either a PostgreSQL or MySQL database, or you can install it as part of the OpenStack Compute installation process.
Permissions: You can install OpenStack Compute either as root or as a user with sudo permissions if you configure the sudoers file to enable all the permissions.

MailArchiva OES安裝

1.環境 CentOS 5 8gb Ram 1.5TB HDDA.MailArchiva OSE  安裝步驟
OS :CentOS5.5  + Sendmail
1.下載 http://sourceforge.net/projects/openmailarchiva/files/mailarchiva/( 須選擇Linux 版本)
2.tar zxf mailarchiva_server_opensource_linux_*.tar.gz
cd mailarchiva_dist
./install.sh
chkconfig mailarchiva on
3. 安裝過程 按 Enter 忽略所有 "registration details"
4.設定設定 Sendmail
cd /etc/mail
vi sendmail.mc
INPUT_MAIL_FILTER(`mailarchiva',`S=inet:8092@MailArchiva主機IP')    
m4 sendmail.mc > sendmail.cf

(選項)預設自動辨識使用者端語系 (中文為簡體), 若要強迫使用英文介面可調整如下:
cd /usr/local/mailarchiva/server/webapps/mailarchiva/WEB-INF/classes/properties
mv application_zh.properties application_zh.properties.backup
ln -s application.properties application_zh.properties
/etc/init.d/mailarchiva restart
6 .設定 MailArchiva

7.瀏覽器連入 http://IP:8090/mailarchiva

  • User Name: admin
  • Password: admin (預設)
OSE 版 沒有的功能
Email Archiving
Attachment de-duplication

2011年2月15日 星期二

Ubuntu 10.4 KVM install + qtemu

1.sudo apt-get install qemu-kvm libvirt-bin ubuntu-vm-builder bridge-utils
2.sudo apt-get install qtemu
3.sudo aptitude install kvm-pxe

2011年2月13日 星期日

淺談OSS 推導入企業困難點

"錯誤的決策比貪污更可怕" 這句話是核四爭議時,國民黨黨團說的。雖有幾分道理但比較詞比喻不當,難道以後有貪污的人都可以拿此作為減輕罪過的冠冕堂皇理由,所以應該改為"錯誤的決策慘痛代價勝過一切"但因為決策就因為未來無從所知所以必須決策,錯誤的決策罪過是低於貪污的,因為常聽一句話不知者無罪,而貪污者是有所知而貪污,鑽漏洞行為也,所以上位者在做決策時必仔細詳考對於利益的衡量,再決定對公司利益有利的作為決策,但實際不然通常在推導一個新資訊產品時因為通常老闆會給時限可能短者一週 3天都有所以負責人可能是IT主管或部門主管最快會問信任部屬或者協力廠商,但這一定不會是最佳答案,以下淺見
1.廠商一定會推導自家有的產品(誰叫你要問他馬,有錢可能進來還不引進這個月業蹟剛好欠)
2.信任部屬可能會回答所認識市面上支援度最佳的或也是經由多加廠商介紹幾家中支援度最佳
(PS當然花錢不是我,最好有問題也找廠商來我哪那麼多美國時間學)
3.不能說得秘密
所以自由軟體要進入企業就需要有基之談
1.基本上最好很好安裝維護
2.最好有廠商支援不致找不到人解決
3.學校或補習班最好有教至少要有相關書籍

說穿了沒聽過 不懂的東西我不要,最好市場上找得到人隨時可以替換員工省得麻煩
人 利益關係 教育 習慣 商業策略 盜版 糾結一起 資訊工作者的生態調查結果
OSS  哪些是最重要的?
其實這是有有趣的議題,針對國內的學校與企業作一番調查的結果相信可以對於OSS 往後的發展作一番的調整,硬推 死推 不使用的一推,了解生態對於OSS 發展才是王道

專案一 MailArchiva Email Archiving Software OES 版安裝 for CentOS

在全世界許多地區,法律規定,公司的電子郵件保存長達七年。MailArchiva 電子郵件歸檔軟件,旨在幫助您的公司電子郵件歸檔遵守法例,MailArchiva可備份郵件伺服器內的任何進出郵件,也可自義備份策略。預設值下採用ZIP壓縮,也可在備份時進行加密。郵件搜尋功能支援MS Word、PowerPoint、RTF、PDF和ZIP檔案。MailArchiva可在Linux/Mac OS X/Windows平台上執行,而我想要完成的目的在於使用MailArchiva OES版來替sendmail與postfix 所收發的mail作一個歸檔存到後端的Storge,MailArchiva 並不是一個mailServer而是類似於小型的mail搜尋引擎,孫子兵法》的《謀攻篇》中說:「知己知彼,百戰不殆;不知彼而知己,一勝一負;不知彼,不知己,每戰必殆。」「彼」是敵方;「殆」是失敗,若以現在的企業情報這環當然是落在IT責任上最為重大,尤其在一些高智慧價值產業如IC設計,一個未來產品設計構想等..重要資訊流落到對手手中,且對手比原創更快開發出產品,將市場佔領豈不為時已晚,也因此當老闆需要某人或某年某月某日的信件紀錄時,你豈能回答沒辦法mail都已經被收走了,或某人已經離職mail與帳號都已經被砍掉了,老闆盛怒之下當然也不可能當下如戰場一般,有此情報頭子不如拖出去砍了,但印象上必定不佳,身為小報馬仔的屬下,就必須找出一個解決方案,"穩定" "符合不動原始架構" "最好不用錢",三個條件下尋找解決方案
再20106月Linuxpilot 對此軟體有徵稿http://www.linuxpilot.com/software/kiji/2010061401,希望在這個月底前能完成,雖然mailServer還不屬於我管理的範圍,現今的架構還不是很了,只了是sendmail架站有六台主機運作包含垃圾信與防毒看來還得努力一番以前學校教得mailServer早就忘光