Làm thế nào để xây dựng, bảo vệ và quản lý kho dữ liệu HD hiệu quả nhất

Ðề: Làm thế nào để xây dựng, bảo vệ và quản lý kho dữ liệu HD hiệu quả nhất

Mình đã làm theo cách của bác Thank for Sharing, 1 em case Lian Li D8000 ( Cái này phải mua tận bên Mỹ ), nhìn chung hiện giờ gắn tới 19 HDD từ 2Tb đến 4Tb, còn thêm 2 chú HDD 4Tb để Backup ( Chạy Raid ) nhưng đang chạy windows 7, cái khó bây giờ là đang dính tới Plexraid, rất sợ "thay đổi" xin hỏi bác liệu 19HDD ( đủ chủng loại ) thì liệu 2 HDD 4Tb có "gánh" nổi hay không? Mong bác sớm hồi âm,

 

Ðề: Làm thế nào để xây dựng, bảo vệ và quản lý kho dữ liệu HD hiệu quả nhất

Bạn thân mến, nếu bạn đọc kỹ phần hướng dẫn của tôi thì sẽ rõ. Trên nguyên tắc (được kiểm chứng qua thực tế) thì cứ mỗi 5 ổ hdd thì phải có 1 ổ backup. Còn vụ ổ backup 4TB nó chỉ mang ý nghĩa an toàn cho những ổ data 4TB thoi, chứ máy vẫn tính là bạn chỉ có 2 ổ backup thôi. Nếu bạn thật sự quý dữ liệu của mình và vẫn còn ráng được thi nên mua thêm 1 ổ 4TB. Còn ko thì cứ để vậy cũng chả sao

 

Ðề: Làm thế nào để xây dựng, bảo vệ và quản lý kho dữ liệu HD hiệu quả nhất

Cảm ơn bác đã chia sẻ, thôi để bắt tay vào làm thì mới biết mình "đứng" ở chỗ nào, chứ ngại thay đổi thì không làm được gì cả, thank for sharing

 

Ðề: Làm thế nào để xây dựng, bảo vệ và quản lý kho dữ liệu HD hiệu quả nhất

Chí lý. Ừa, quyết định vậy đi.

 

Bài viết của bác thật công phu, thông tin rất hay và hữu ích, cám ơn bác đã chia sẻ.

 

Ðề: Làm thế nào để xây dựng, bảo vệ và quản lý kho dữ liệu HD hiệu quả nhất

@bác Thanksforsharing:
Em mới "nhặt được tiền của bộ đội" nên cắn răng kiếm cái bản quyền của windows server 2012r2 Std rồi, không chơi key "nhái" hay key crk.
Giờ em quyết định dùng snapRAID trên cái server này kết hợp cùng Synology 1812+ mà em đang có. Tuy nhiên, để không tốn của em 1 hdd 4TB gắn trong Win để làm parity, em định dùng 1 iSCSI 4Tb lấy từ Synology làm parity disk cho snapRAID, liệu theo bác có khả thi không ạ. Sở dĩ em định làm như vậy ngoài vấn đề không bị hao tốn HDD đang có trên Win vừa đảm bảo an toàn của cái parity disk do nó được nằm trên Synology chạy SHR.
Sau một thời gian dùng thử qua vài phương án, em thấy snapRAID có lẽ là phù hợp nhất, không những nó free mà còn vì tốc độ tính toán rất nhanh, chống được bit rot và còn vài tính năng hay hay khác như có thể undeleted được.

 

Ðề: Làm thế nào để xây dựng, bảo vệ và quản lý kho dữ liệu HD hiệu quả nhất

Ừa, tôi cũng khuyến khích các bạn nếu có điều kiện nên mua bản quyền phần mếm.
Thật ra ý tưởng của bạn quả là không tồi chút nào. Và trên lý thuyết thì tôi cũng thấy nó khả thi chứ không phải là không. Chỉ có cái đáng tiếc ở đây là tôi không phải là người quyết định cuối cùng liệu nó có thành công trên thực tế hay không do một vài nguyên nhân sau đây:
Thứ nhất, không đủ dung lượng. Thật vậy, Ở trên đới này đâu có người đàn bà nào cùng lúc làm dâu cho 2 nhà chồng được. Cũng vậy, ổ 4TB của bạn khi "làm dâu" cho nhà thằng Synology thì thể nào nó cũng phải tiêu tốn mốt ít ổ trống để được "nhà chống" Synology nhận diện và chấp nhận. Nay nó lại còn bị đòi "làm dâu" cho thêm 1 bên chồng nữa là snapRaid thì làm gì còn "xí quách" đâu mà cung phụng nổi? Cụ thể là khi chạy sync, cái file parity sẽ to (do snapRaid quy định cho ổ chuẩn 4TB khi mình khai báo) trong khi khả năng của cái disk ko thể chứa nổi do đã chia phần cho Synology rùi. Trường hợp này chỉ có thể gọi là khả thi nếu và chỉ nếu trong tất cả các HDD có trong snapRaid thì em 4TB là Ổ DUY NHẤT có dung lượng lớn nhất (4TB).
Thứ hai là vấn đề tốc độ. Bạn cũng biết rồi, ổ cắm trong bao giờ cũng chạy (truyền dữ liệu) nhanh hơn ổ ngoài. Và ổ gắn ngoài thì lại còn nhanh hơn network drives. Do đó bình thường (tức xóa chép dữ liệu) thì ko sao, nhưng mỗi khi bạn gọi lệnh sync, fix, ... thì (tin tôi đi) máy sẽ chạy chậm đáng kể khi nó phải truy xuất đọc chép data qua ổ iSCSI. Đó là chưa kể trong lúc nó đang làm tác vụ này mà bên Synology cũng truy xuất dữ liệu đồng thời thì tốc độ sẽ còn rớt thê thảm. Tuy nhiên cũng có cách khắc phục là bạn cho nó chạy lúc sau nửa đêm cũng được, mặc dù vậy cầm chắc là tốc độ sẽ chậm. Ngoài ra do truyền qua mạng với dung lượng lớn, tỉ lệ đứt kết nối, hiccup, ... cũng sẽ cao.
Trên đây là một số nhận xét cá nhân của tôi. Chúc bạn vui.

 

Ðề: Làm thế nào để xây dựng, bảo vệ và quản lý kho dữ liệu HD hiệu quả nhất

Cám ơn bác đã khuyến khích. Tuy nhiên, phương án của em không phải là tách hẳn 1 hdd vật lý 4tb của synology ra làm parity disk cho snapRAID mà là tự assign 1 phân vùng 3TB - 4TB từ SHR của Synolgy ra làm 1 iSCSI rồi mount vào Windows server như 1 hdd vật lý của windows. Như vậy thì có thể tận dụng được tốc độ xử lý, truy cập của SHR trên Synology+an toàn cho parity trên snapRAID vì cái iSCSI này là 1 RAID trên Synology được bảo vệ bởi Raid5.
Đây là hình ảnh của SHR trên Synolgy DS1812+ của em, nó gồm 8HDD trong đó có 2 HDD 4TB còn lại là 6 HDD 3TB.
https://www.dropbox.com/s/59qstxrail4jgcz/Screenshot 2014-10-16 07.45.43.png?dl=0



Còn về lệnh sync của snapRAID thì dữ liệu của em chủ yếu là ảnh nên gần như không thay đổi gì nhiều, có khi cả tuần mới phải chạy sync 1 lần và em sẽ đặt để nó chạy vào đêm, khi mà không ai truy cập cả. Tốc độ truy cập TB của em cũng đạt vài chục MB/s qua LAN nên hy vọng là cũng đáp ứng được.
Cứ bắt tay vào làm đã rồi kết quả thế nào sẽ lại post lên để anh chị em cùng thảo luận.
P/S: Hôm trước đi dự hội thảo của HP thấy họ đang tập trung vào làm software defined storage hay quá. Giải pháp này cũng same same như VSAN của VM. Chắc sẽ nghiên cứu thêm món này xem như thế nào.

 

Em cũng muốn học đòi bác @Thanksforsharing dù mới chỉ có vài HDDs. Vừa rồi, em có nhờ người quen bên Taiwan mua giúp 1 cái case Lian Li PC-D8000. Case này có sẵn 20 khay cho 20 HDDs + 8 khay Coolermaster thì mới được 28 HDDs như vậy còn 12 HDDs nữa bác bố trí thế nào ? Cách gắn thêm phần khung của 1 case full tower cũ thế nào ? Phần lỗ trống của PSU không sử dụng bác che sao cho đẹp ? Nếu không phiền, bác vui lòng cho xin thêm mấy tấm hình chi tiết hoặc hướng dẫn cách mod để em học hỏi. Cảm ơn bác nhiều.

 

Ðề: Làm thế nào để xây dựng, bảo vệ và quản lý kho dữ liệu HD hiệu quả nhất

Bạn hỏi mod như thế nào thì tôi cũng cứng họng ko biết trả lời sao luôn. May mắn thì bạn kiếm được cái case full có dàn khung chứa được nhiều HDD đục mấy con ốc tán ra xong ghép vào case Lian thôi. Đến đây thì chủ yếu do óc sáng tạo và sự khéo tay thôi chứ cũng chẳng có sách vở nào chỉ được.

 

Ðề: Làm thế nào để xây dựng, bảo vệ và quản lý kho dữ liệu HD hiệu quả nhất

Hôm trước đã dựng một em EXPnology theo cách bác chủ đã chỉ. Rất ấn tượng với các phần mềm đi kèm của DiskStattion (DS photo+, DS audio,... ). Tuy nhiên tôi gặp phải vấn đề là khi play media file trên đó thì cả 10 HDD đều hoạt động (nhiệt độ cao, chóng hỏng đĩa).
Hôm nay, đọc bài này của bác cũng định chuyển sang dùng SnapRaid và chọn Pool drive các HDD với nhau.
Bác cho hỏi là với cách này thì khi sử dụng file trên HDD vật lý nào thì chỉ đĩa đó hoạt động được thôi phải ko ạ?
Với cách này thì có thể sử dụng kèm phần mềm gì để làm Streaming, DNLA server ? Phần mềm nào có các client đầy đủ có thể chạy trên Android, iOS và Winphone ? Mục tiêu là có thể dùng handphone, tablet để streaming tới các thiết bị phát (Giống tình huống bác dùng DS audio để streaming ra DENON recv. ấy ạ)

Mong bác cho thêm lời khuyên !!!

 

Ðề: Làm thế nào để xây dựng, bảo vệ và quản lý kho dữ liệu HD hiệu quả nhất

Bạn dùng Plex đi, thằng này đang được ưa chuộng đó.

 

Ðề: Làm thế nào để xây dựng, bảo vệ và quản lý kho dữ liệu HD hiệu quả nhất

hình như Plex dùng làm DLNA server thì phải, không biết có client nào để điều khiển giống như DS Audio không nhỉ?

 

Ðề: Làm thế nào để xây dựng, bảo vệ và quản lý kho dữ liệu HD hiệu quả nhất

mình đang bới giữa cái biển của bạn đây @@ thanks

 

Ðề: Làm thế nào để xây dựng, bảo vệ và quản lý kho dữ liệu HD hiệu quả nhất

@bác Thanksforsharing:
Em đang tính mua tiếp bản quyền của FlexRaid nhưng chỉ cần tính năng pooling thôi, còn phần bảo vệ dữ liệu tính dùng snapRaid, theo bác liệu có ổn không ạ? em thích tính năng của snapRaid vì nó chạy rất nhanh và tránh được bit rot.
Ngoài ra, em thấy còn có nhiều thành viên sử dụng snapRaid giới thiệu cả phần mềm StableBit DrivePool, cũng có tính năng pooling rất gọn nhẹ, trực quan, có tính năng duplicate folder để bảo vệ dữ liệ khỏi mất khi hdd hỏng, cũng hay nhưng mà dở hơn flexraid là mình phải move data từ ngoài pool vào trong pool (data vẫn nằm trên hdd chứa sẵn dữ liệu), không biết bác đã nghiên cứu phần mềm này chưa, nếu có kinh nghiệm gì rất mong bác chia xẻ cùng anh em.

 

Ðề: Làm thế nào để xây dựng, bảo vệ và quản lý kho dữ liệu HD hiệu quả nhất

Anh cho em hỏi trong phần card RAID có vấn đề flash IT MODE cho card. anh có thể nói rõ hơn về cái này được không, em lên tim̀ hiểu vẫn chưa rõ ràng lắm. Công dụng nó là gì? card nào cũng flash được? Card anh có flash không?
lâu quá mới có dịp lên NET.
Thân.

 

Ðề: Làm thế nào để xây dựng, bảo vệ và quản lý kho dữ liệu HD hiệu quả nhất

Thì tôi cũng đang dùng (chỉ) phần pooling của Flexraid kết hợp với SnapRaid gần năm nay rồi. Chạy rất tot ko thấy có vấn đề gì vừa nhanh vừa tiết kiệm tiền.
Tôi ko khuyến khích sử dụng SnapRaid với bất cứ phần mềm pooling nào khác vì sẽ rất dễ gặp về vấn đề xung đột trong quản lý files. Nếu muốn thử cũng được nhưng phải đọc cho kỹ, hỏi ở các forum những người đã kết hợp rồi và nhất là chính bản thân mình phải test trước.

 

Ðề: Làm thế nào để xây dựng, bảo vệ và quản lý kho dữ liệu HD hiệu quả nhất

Không phải sata card nào cũng phải flash trước khi sử dụng đâu bạn ơi. Flash vào trong IT mode chỉ dùng cho card Sata của IBM thôi.
Bạn nên đọc phần về hardware của tôi ở trang đầu.

 

Ðề: Làm thế nào để xây dựng, bảo vệ và quản lý kho dữ liệu HD hiệu quả nhất

Vụ này bác alo airport bác ấy giải thích rõ cho bác vì bác airport đã IT mode cai card sas ibm của bác đấy...

 

Ðề: Làm thế nào để xây dựng, bảo vệ và quản lý kho dữ liệu HD hiệu quả nhất

Thế còn công dụng nó là gì anh ?
nâng cao hiệu suầ́t hay giúp tương thích phần cứng?