Towards OAIS- Based Preservation Aware Storage White Paper IBM Haifa Labs Authors: Simona Cohen [email protected] Dalit Naor [email protected] Leeat Ramati [email protected] Petra Reshef [email protected] The need to preserve digital information has grown in recent years. Today, most existing digital preservation systems are storage agnostic and may face data loss because they do not exploit features that should be supported at the storage layer. This white paper provides an overview of digital preservation from a storage perspective. The text also addresses key generic OAIS-based preservation requirements that should be supported by storage components. November 2006 ! " # $ % & $ $ $ " $ ' $ $ ( ) ' ( ) $ # + $ , $ $ / $ 001 / $ $ - * . ! % " -$ 3 4 6 5 & 3 70 / 77 3 8 $ 3 3 # # 79 3 - 7: # # 71 $ % ! &' ;/ ! < 7= ;/ ! 75 . 7 3 9 < 1 $ > 5 ! ;/ ! ! ! $ ( a ! # )& 6 / 700+ / ; * 20 ! (?/ ) # $ - 27 < 2 (;!-) 2 2 )* 3 - ! +% # /!3/. 2> ! ,& - /! 97 @ A $ $ !. - ! (@A ) ! 9 $ ( -!) - 9 . ! .;-! (( / ,0 99 $ ,* <$ <$ <$ <$ <$ <$ <$ <$ <$ <$ 7B ;/ ! < B / 38 $ ! 2B ; * 9B . :B . 1B ; * ! >B ;!- ! =B /!3/. ! 5B - /! ! 70B !. ! 7= 0 7 & 6 2 29 2: 25 97 9: 9 8 $C $ $$ $ D $ E 3// ! C; # $ , $C $ $ % F $ F -$ $ $ $ # $ B $ $ $ $ 8 $ $ $ $ $ $ -$ $ $ ; $ / ! C # (;/ !) !; $ ;/ ! $ $ # * , , $ ;/ !C 6 $ C B $ * # ( @ ) D $ $ E $ # $ $ $ $ $ a : ! $ $ $ $$ / $ ! $ $ $ $ $ $ $ $ $ $ # , C 6 # $ $$ ! C ! $ D ;/ !C $ $ ; * ! $ , D / (?/ ) 3 6 @ $ 3 ! - ;/ ! 6 (;!-) $ (6@) * / / . ! ( /!3/.) 1 + ( G# $ * # $ $C / 6 $ @ (6@) $ * ;/ !C $ $ ! 1 G# H 1 H G# " G# * ! C# 8 ;/ ! $ ;/ ! # ;/ ! H ( G# $ $ - $ $ G# * 2 ( C# $ % ! % 3 $ * 3# $ $ # G; / ! / $ !; $ D $ > G/ $ $ 4# ' $ $ C 3/ ;/ !C $ $ /!3/. G# # $ $ $ $ $ ( G# * $ ( ) , $ ( ) = 5/ 6 -$ $ $ F $ $ $ $ / % /# D $ , 20 $ !C-;! 2 0 75=1 3 5I $ -$ C $ # $ $ -$ $ , $ $ $ $ $ $ $ $ # $ ; $ $ < 20 % 3 /# !C-;! 2 0 % 5I 20 $ # $ J , / C $ C $ < ? K7L $ ( ) $ % $ @A $ # % 20 @A 20 @A $ $ , / $ $ ' $ # % 20 5 % % 90:0 J% ?3 # 001 , $ $ , $ $ $ # $ / # % 20 C% / $ $ # $ , # J $ $ $ D E $ $ F ( 8 $ $C $ $ $ $ ! 7 C $ $ ! $ $ $$ $ # , $ E 3// ! / C; ; ! (;!E/) E $ # $ 8 $C / ?C >: ;!E/ , $ D $ 6 20 # K L , 0 92 $ K L 70 / ( 3 700 $ C $ $ :0 # $ <-/ 7 $ $ $ <. 3 77 . 7> C9 $ , # C C $ >0 K9L 8 1 70 ( / (20M 6 $ ) @ $ , # < $ $ ; C $ $ (:0M ) ! ! $ < $ . 8 (&/./) / $ & / ! / -$ -$ $ $ $ $ $ ' 77 B% 4 # , D , $ $ $ C / 9 4 -$ $ B # . $ & # $ D ( ) # , 4# $ $ C $ C B # $ $ , $ ( ) $ ! * # ( * H ) # $ # $ $ # $ N $ D C $ , $ 4% C C 4 7 7 6 $ $ $ $ $ # , ( ) $ $ $$ $ $ * $ $ $ $ $ 6 $' # , C @ . $ $ ! $ $ * * $ C 3 $ C $ 2 ! * H C $ # $ $ $ $ $ $ * # $ $ $ $ $ $ $ 6 $ $ ( D ) # 9 6 , $ # $ $$ C 72 : ! ! $ + 2 -$ 3 $ $ $ $ $ < $ : / $ 5I $ $ 8 $ $ $ ( $ $ ) # $ $ $ $ $ $ % < 20 4/ $ $ $ $ # $ ./ - $ $ * * * $ $ $ $ $ $ # $ $ N / 70 $ $ 20 $ 79 $ $ $ # D $ $ C ( ) ( ) # C $ $ ( ) # $ $ / $ $ # $ * $ $ $ $ # $ $ # $ $ $ $ $ C # $ $ $ ( # . $ $ C # $ :0 , E 2 70 $ / E : $ 70O 0O $ $ 7: K::L ; # C C $ $ $ , $ # C $ ; C # $ # @!& $ / . / 070 (&/./) K1L * 70000# 20000# 2:0000# 0 00 # $ , $ & ! , ; ( ) % $ $ J # ! ! -$ ( $ C $C # ) $ $ $ $ $ $ $ $ # $ $ $ C $ $ 71 # $ $ D $ D $ $ $ $ $ $ $ $ $ D # $ A $ $ 3 6 D $ $ $ $ $ $ ! C D $ / 6 * C $ D A$ $ * ; $ / $ 7> # ; / ! (;/ !) K> = 5L 002 ( !; 79> 7B 002 ;/ !) !; $ $ $ $ $ $ , $ ;/ ! $ # $ C $ $ $ # - % ! # $ C $ $ $C Figure 1: OAIS Functional Model 7= G. $ 3 $ / G. $ $ $C # $ $ C % $ G $ $ ;/ !H G. $ $ $ ;/ ! $ G $ , ! G. $ $ ;/ ! C C $ $ C ;/ ! # % ! # ;/ ! $ C * 7 $ G! 3 $ # $ ;/ ! G/ 3 $ # $ ;/ ! 2 G- 3 $ # $ 75 / 3 $ 3 $ / . Figure 2: AIP Logical Structure * ;/ ! , , * # $ $ $ $ * ;/ ! 3 - ( B G/ , ;/ ! ( $ G# @@ -) $ * G# * $ G/ ! $ $ $ 0 $ ( , * $ ( $ ) Figure 3: Information Object Model $ ' * * $ ! ; , $ ( # ) $ /! ( * ) 7 Figure 4: Representation Information Model ;/ ! " * J $ D $ $ $ $ $ * < $ $$ $ $ " $ $ * # $ , 6 $ , $ $ $ * # * $ * , ! # C $ # ( $ ) $ * $ & $ $ , $ $ D $ G ; P $ - , $ H . $ # !; 5110 -C.; K7070L -C.; # -C.; !; 5110 # $ /! /! /! $ # /! !; 5110 !; 5110 Figure 5: Representation Information Network Example & * $ * < /! 2 % 3-< $ /! ; $ $ $ $ * K77L # : * ; 3-< !; 5110 # * ; E , ;/ ! , $ $ # $ $ $ $ K7 LB 9 # E $ $ D $ $ * # $ * $ $ $ 3 $ C # * * H $ . $ * # $ * * H K72LB # G 4 * G * $ G * $ ( $ H $ / / 3 * $ ) G $ $ * ( $ $ $ ) $ / * G - $ H * ( $ $ ) : 6 ' * $ G $ ) ! G $ ( $ $ $ ) G $ B ( $ $ / 6 ( $ G ( $ # ) G * % 5> ( $ * $ 3-<) ! < * * $ # ! $ $$ $ $ # $ ' * < $ * 1 / , $ $ $ * C % $ $ $ $ # * $B / ( G * / ( ! G $ * ( $ ) / ! G / # G $ - ; * $ # $ # ! $ $ $ D $ # $ $ $ % $ $ $ # 3 $ $B $ ; ( ) $ $ ( $ $ $ ) D > $ * # $ (7) G C $ C $ $ , $ $ * $ ;/ ! B $ / $ / 3 ( ) G $ $ $ , $ $ & , (2) $ ! $ G $ $ $ $ * # $ $ $ * (9) G # $ $ $ * $ , $ $ - $ $ $ $ -$ $ # $ $ # / 3 * $ $ / 3 $ / C $ # $ $ $ $ . $ $ ! $ D $ C $ C $ $ $ = * * 8 ; * < $ # << $ $ $ $ $ * * $ $ * * E $ % $ * $ ( $ B # $ $ $ * ) # $ * E# 8 3-< % * % 1 0 5> 000 % % $ # $ * < B 3-< $ $ D " $ N< * " ) $$ $ * $ (E# 8 $ # $ $ $ D $ # $ 3-< $ < $ $ 5 ! ! ( /# ( . o / ; $ 6#! C $ o ?<-@ G $ $ $ * $ K79L !-! $ $ $ $ $ K7: 71L ! o 3.6 / !G $ K7>L o - G $ $ $ ( o ! ! 8;#/. G (2-) o K7=L $ /- 3- / !/<6 G ;/ ! $ $ $ ?<-@ $ * K75L $ 6!/ K 0L 20 ;/ ! , * $ , - , * 6 ; * ! $ - $ $ / (;!-) (?/ ) $ ;/ ! % ?/ K 7 7L ! / ! <= %> $ & $ / (!& /) ( ) ( $ Q9 009 6 * E / ?/ $ $ ) E3 E-! $! $ !@& $ ?! $ ?! ?! / ?! ?/ $ $ $ &' ?! < / ?! , ?! < # B G , 19 # 19 19 $ # $ $ &" # /3 ' G # 6C # < $ /3 3 ?! ! '; ! ?! 3 ? 8 C E ? 8 $ 27 6 ?! $ ' # B G " 6C ?! G ( ) C $ ?! ?! ?@ - C $ $ G D # ?/ &?? @ # / C .- !& / 700 $ $ $ K $ # LB % C $ $ 8 $ ( 8 ) $ $ N $ $ ?/ N $ - C # 1 <# ; * C ! $ - $ $ > (;!-) C $ $ $ C $ $ * ;!- $ $ C $$ !& / K 2L # $ 2 , ;!# $ D ; * ! ! ! A $ 7 009" $ D ! ! #70 ;!- /&! & #! 900C 009 K 9L / B E3 3 ! 3 $ A ( $ ! A C ) $ ! 6 * $ 5/ # / (" ) 1 % * 7 =C # 19C * @ 6 * 19C * $ $ C / $ * * $ * '. # ( $ . % * / ;!- '; ) ! 'N '; $ A * * / / - - * C/ * $ * # * R $ ! R D G J $ J/ $ * D # $ $ * G * J * J # C # C / C 22 / ( $ $ $ R $ ) - # J $ B $ $ Q $ # $ $ 3 '! $ Figure 6: Object Store Device # / * C $ # ;!- $ ! $ '3 / $ $ 29 Figure 7: OSD Security 2: -$ $ $ C / ;/ !C $ ! , B $ $ $/ 3 $ ! $ * * 6 $ $ $ * # ( @ ) D $ $ E $ # $ $ $ $ $ ! $ $ $ $$ ! / $ C C $ ! $ $ C , $ ! C 21 " 6 $ $ ! C $ ' ' $ $ / $ ! $ ( $ ) $ $ $ $ $ $ $ $ $ $ $ $ 3 C$ * ! $ C $ $ $ $ ;/ !C $ D # $ 3 3 - 6 $ ! @ 3 , D ;/ ! ?/ $ (6@) / ; ! ;!- $ * / . ! ( /!3/.) K :L # ;/ !C * $ $ $ $ /!3/. $ 6@ 2> * (@! & # K 1L / . / ) /!3/. $$ $ # /!3/. $ $ S * $ 6 # * $ $ ;/ ! S- $ S/ $ $ S- $ $ $ $ $ /!3/. ;/ ! C * $ / 3 $ $ $ /!3/. B$ $ C $ $ # $ $ 3 &/./ B C # 3/.6! K >L /!3/. - ! $ $ B 2= Figure 8: CASPAR System 3 - / 3 - $ ! D $ ! - ! < $ $ # $ 3 , / 3 - $ C # $ $ $ * C < $ / 3 / 3 $ $ / 3 $ /!3/. $ 3 - /!3/. 6 C $ * $ $ 25 / 3 3 3 - - - ! ! $ /!3/. , - . $ ! # / 3# / 3 3 / 3 $ 90 # $ - /! -! * & & $ / C- $! K =L # $ 8 ) # $ $ 000 * @A (P - P * -$ (- /!) & - /! K 5L $ $ ;/ ! $ # $ - /! $ ( ) $ ; $ ! C ( $ ) - /! $% ! $ - C # ! $ C $ $ Figure 9: DIAS System 97 3 - ! - /! D 3 - $ ! $ A B # @A ;/ ! ( <AB > K20L +, - 000 K27L # . 8 @A $ * $ $ $ # @A $ # @A $ N @A $ $ $ $ ( ) @A # $ @A ' $ . $K $ L $ $ $ $ K2 L J @A 3 - $ ! $ @A D 3 - ! $ ;/ ! < $ # * ! $ > * $ $ / . $ 9 $ $ E! C $' # $ C $ $ $ $ $ $ $ /3 < /3 ?/ ) $ $ ! # B /3 ( $ &<! C C C $ ( $ 3 - <! T !. 7>0 #! $ ! ) $ -! C $C $ ;/ !C / 3 $ $C 92 ! # $+ # " ! $# ! $ . (!. ) K22L ! - $ ! $ $ $ $ (!-! ) $ $ - $ $ $ $ # $ $ $ $ $ $ $ $ !. # C $ ; !. $ $ * * . &/./ & / / 8 $ $ &!< / $ $ !. $ $ $ / 3# # * / 3 $ !. $( /#) # !. !. C $ !. # /3 /# # !. 99 Figure 100: SRB System # !. $ )( C .;-! " C $ 9: 7 ? ! B'' ' ;!E/ C / 6 B'' 2 $ . '3 < 3 . ! 6 # - '< ' B% / /% ! U. 7> ' U3 <. 3/.# 90 9 ! '29C9955 . 6 3 4 ! B'' ' &/./ G & '.6!'77:>:1591=U=70 / . B'' > < 3 $ $ - 1 2770 3 $'%NU3 B'' : ' ! . 3-H EC2 B'' 9 . $ / ' !; 79> 7B 002 ; ! 7 !-! 1:00C C7B . / ! (;/ !) 00 ! http://public.ccsds.org/publications/archive/650x0b1.pdf = 3/./- N ! B'' 5 $ < 8 ' # ; B ' ' / N ! -3 # $ % . . 09C07 009 70 !; 5110 ! 77 - B'' N ! 3 $ 75 C 7 / -$ . / $' $ 72 ; 8 '.8N % $ C. 3 ! D3 / @ $ & $ 8 79 / @ $N B $ B 8 $C# 009 3 B/ -$ < $. @P C! / E @P 00: 3 3 $3 $ / ;/ ! ! ' !;U5110 ; * ;/ ! . < 00 @P;8& 001 91 7: ! @ - ! ? 8< - (?<-@) 71 / 009 8 ?<-@ $ $ ;/ ! 7> 3.6 3A 00: !% $N B- 00: 7= - ! 75 3 !#63 A 3/ 8 B'' $ $' $ (8;#/.)B # 00 0 !/<6 C ! / B'' 7 N 6 $ (6 / # ! $ 2 !& / C ! $ " P & / . 1 (" /( % . $ ) $ 00:. 775G7 2 T ! ! 0 T , / ' 00: $ $" /!3/. C < ; $ B# + : / $' !, - ; * N C / 1 ! $ B'' 700C+ $ & < - . ! 24. ! '!/<6' !& / C & ?/ < $ 3 B'' ' G B'' $$ > $' ' 3/.6! G 6 = 6C ! ' ' ' 3 * / B'' B'' 5 - /! C - $ : 00:' $ . ! ! ' $ . $' ' C / $! ! B'' C ' 9> 20 @A G@ A ! B'' 27 . / $' 8 /3 * 000 ! '@ UA 3 B'' $ U -$ $' $ ' - +, ' $ ' $ :C 2 32. - . . C B'' 3 )+ . * $' 6 7555 ! ' 55' '09 33. SRB – Storage Resource Broker. See B'' ' ' ' U3 $ 9=