樂多開發日誌

MongoDB的架構

根據官方所提供的圖示以及這裡的說明 :
主要分成三個部份 :
- 資料儲存的Mongod
- 與使用者互動的Mongos (可與Mongod共存)
- 設定檔 Mongod Config (可與Mongod共存)

基本上一抓下來的Mongo跑起來,上面三者就都存在了.
要將之分開需要做一點設定. 依照架構而言. 資料儲存的若需要做Shard.
則需要至少4台實體機器. 一組兩台. 圖中藍色Mongod(Shard)便是一組.
不過架構圖內是三台為一組. 實際上是能用兩台實體,配一台VM組成三台做一個Shard的.
而每次要增加一組Shard則需要同樣的機器數及配置.
換言之如果以三台實體機器做一組Shard. 那麼第一次需要六台. 下一次添購機器也是以3台為基數.
實作流程可參考 點我

關於GridFS

而GridFS則是另一個今次要簡略介紹的主題.
原則上Mongo的儲存方式是以Bson為主. 然而Bson預設的大小為4MB.
官方文件說了一堆

The GridFS spec provides a mechanism for transparently dividing a large file among multiple documents. This allows us to efficiently store large objects, and in the case of especially large files, such as videos, permits range operations

簡單講, 當儲存的東西大於4MB. 請丟到GridFS.
當然,我們也可以使用其他選擇(工具),然後只將紀錄留存這裡. 比如使用GFS(如果抓得到 :p ),或滔寶最近開源的TFS, 或 OpenSource的HDFS.
官方文件在該頁就說了 “你不需要瞭解如何運作,快去看API就可以直接使用”. 但好奇的小編還是讀了一下.
GridFS基本原理使用每個資料的meta為索引抓取檔案,這份meta會儲存在files的Collections裡.
並將每個檔案分割為約256k大小的chunks,再將不等數目的chunks儲存成一至數個chuncks的Collection裡.
而每個chunks都有會有prefix. 預設為 fs.files 及 fs.chunks
我們也可以修改成自已的prefix, 比如 video.files 及 video.chunks
我們甚至可以定義files的資料欄位內容. 基本必要的資料欄位如下 :

 {     

      "_id" : <unspecified>,            // 一定要是唯一不重複的 ID

      "length" : data_number,           // 檔案大小 (bytes)

      "chunkSize" : data_number,        // 每個chunks大小 (k)

     "uploadDate" : data_date,         // 建立日期,以第一個chunk建立的時間為基準.

     "md5" : data_string               // 回傳運行 'filmd5' 的結果.

}     

而使用者也可以定義其他資料 :

{       

      "filename" : data_string,         // 檔案名稱

      "contentType" : data_string,      // mine_type

       "aliases" : data_array of data_string,  // optional array of alias strings

       "metadata" : data_object,         // 任何其他你想加入的   

}   

而所有的chunks必需確保為單一不重覆的.
我們可以從console下輸入下列命令做確認 :

db.fs.chunks.ensureIndex({files_id:1, n:1}, {unique: true});   

至此, 已可約略窺見GridFS的實作方法.

關於MapReduce

什麼是MapReduce? 請參考我 Mongo實作MapReduce的方法類似Hadoop.
透過設定 outType 我們可以對新進來的資料作操作.
自從1.7.3之後有三種方式可供選擇 :

normal - 預設. 新資料蓋舊資料.    

merge - 合併. 新舊共存. 衝突部份新資料會蓋掉舊資料.   

reduce - 運行reduce. 將新和舊資料都丟給reduce處理後取得結果.   

map/reduce本身是透過mongo內建指令呼叫. 當有輸出時,會產生暫時的Collection並在處理完成或明確的被中斷時 清除.

我們可以透過mongo shell去下指令 :

db.collection.mapReduce(mapfunction,reducefunction[,options]); 

並定義 :

function map(void) -> void function reduce(key, value_array) -> value 

如果我們只需要對每次的請求只運行一次而非持續不斷的操作.
請將reduce 換成 finalize. Ex :

function finalize(key, value) -> final_value   

Map Reduce的部份比較複雜. 可以參考下列文件 :
MongoDB Aggregation III: Map-Reduce Basics
Aggregation
Map/reduce, geospatial indexing, and other cool features

Mongo與Ruby

說了那麼多都還沒談及Ruby / Rails的部份.
如果只想用Ruby與MongoDB連接,那是一件輕鬆簡單的事.
****
gem update —system; gem install mongo; gem install bson_ext;
然後在程式內 :

 require 'rubygems'  # not necessary for Ruby 1.9    

 require 'mongo'    

 db = Mongo::Connection.new("localhost", 27017).db("MyTestDB")    

 coll = db.collection("myTestCollection")   

即可.
官方完整教學在此

Mongo與Rails

如果使用Rails, 也喜歡ORM.
那麼MongoID是個不錯的選擇. 這裡可以看官方更多的推薦列表
安裝mongoid並啟動是很快速的一件事.
****
gem install mongoid —pre; gem install bson_ext;
並將下列貼至Gemfile :

 gem "mongoid", "2.0.0.beta.20"    

 gem "bson_ext", "1.1.2"   

在console輸入 :

rails generate mongoid:config   

並到config/application.rb將

require 'rails/all'   

替換為

require "action_controller/railtie"   

require "action_mailer/railtie"   

require "active_resource/railtie"   

並在config/initializers/mongoid.rb 新增 :

Mongoid.add_language("*")   

至此. 已可以準備啟動mongod並啟動server.

MongoDB的官方文件非常完整. 而且對Ruby(及非常多其他語言)也頗為友善.
多數本章內容官網都有了.. 只能把此篇當中文版簡介.
莫怪乎它的成長速度如此快. :)