Shop menü

AZ EMELKEDŐ HDD ÁRAK MIATT EGYRE NEHEZEBB HELYZETBE KERÜLNEK AZ INTERNETES TARTALMAK ARCHIVÁLÁSÁVAL FOGLALKOZÓ SZERVEZETEK

Működésüket nemcsak az egyre dráguló tárhely nehezíti, hanem az is, hogy az AI-láz következtében egyre nehezebb kinyerni a különböző weboldalak tartalmait, mert üzemeltetőik egyre inkább védekeznek a botok ellen.
Víg Ferenc (J.o.k.e.r)
Víg Ferenc (J.o.k.e.r)
Az emelkedő HDD árak miatt egyre nehezebb helyzetbe kerülnek az internetes tartalmak archiválásával foglalkozó szervezetek

Az AI-láz miatt nemcsak a memóriachipek szegmensében ment végbe óriási drágulás az elmúlt időszakban, hanem a merevlemezek szegmensében is, főként a kifejezetten nagy adattároló kapacitású modellek drágultak meg nagyon, amelyek elsősorban archiválási célokra készültek.

Ezeknél a termékeknél akár a háromszoros drágulás sem példa nélküli a tavaly nyár eleji szinthez képest, ami nemcsak az átlagfelhasználókat, a kisüzleti felhasználókat, illetve az adatközpontok üzemeltetőit hozza nehéz helyzetbe, hanem azokat a szervezeteket is, amelyek azon igyekeznek, hogy az internetes tartalmakat napi szinten archiválják. Ez a feladat azért is fontos, mert így visszakereshető, hogyan néztek ki az egyes weboldalak korábban, plusz a készítők szerint az sem mellékes, hogy ezáltal univerzális hozzáférést kínálnak az összes tudáshoz.

Nehéz helyzetben az egyes szervezetek és alapítványok

A 404 Media beszámolója szerint ezek a szervezetek eléggé nehezen tudnak működni az archiválásra szánt merevlemezek drasztikus drágulása közepette, hiszen például az Internet Archive szervereinek napi szinten 100 TB-nyi új adatot kell eltárolni például a Waybak Machine funkció biztosításához, ami igen-igen nagy terhet jelent az AI-láz közepette. A nagyjából 210 PB-nyi, azaz nagyjából 210 000 TB-nyi eltárolt tartalommal rendelkező szervezet számára eléggé nagy problémát okoz, hogy a mentéseket elkészítsék, hiszen ehhez nemcsak sok időre, de sok pénzre is szükség van.

A feladatra legideálisabb 28-30 TB-os merevlemezekből lényegében hiány van, ahol pedig elérhetőek, ott jellemzően nagyon drágán adják őket. A közösség támogatásával persze eddig sikerült leküzdeni a kihívások jó részét, közben pedig a nagy merevlemezgyártóktól is próbálnak adattárolókat szerezni, de mivel a vállalatok el vannak foglalva a nagy megrendelések teljesítésével, a hasonló szervezetek kiszolgálása nehézségekbe ütközik.

Galéria megnyitása

A WikiPedia anyavállalata, a Wikimedia Foundation sincs egyszerűbb helyzetben, nekik ugyanis 65 milliónál is több cikket kell tárolniuk és kezelniük, ami már alapjában véve is óvatos költségvetés-tervezést tesz szükségessé, a jelenlegi kedvezőtlen helyzet pedig még rátesz erre néhány lapáttal. Az alapítvány számára nehézséget jelent a memória és az merevlemezek beszerzése, valamint az is, hogy a szerverek megrendelését eléggé hosszú átfutási idővel tudják vállalni a cégek. Az is kihívás, hogy megfelelő kapacitást biztosítsanak a szükséges beszerzések lebonyolítására, már ami a pénzmagot illeti.

A nehézségek az olyan különleges adatmentő kezdeményezéseket is érintik, mind amilyen az End of Term Archive, ami a különböző adminisztrációk alatt elérhető kormányzati weboldalak tartalmát próbálják menteni. Ők abban reménykednek, mire a következő nagy mentésre sor kerül, valamelyest talán javul a helyzet, már ami a hardverek árainak alakulását illeti.

Egyre nehezebb a tartalmak mentése, ami szintén az AI-láz számlájára írható

Az olyan funkciók, mint amilyen a Wayback Machine, csak akkor működnek, ha sikerült kellő hatékonysággal kinyerni azokat az adatokat a különböző weboldalakról, amelyekre feltétlenül szükség van a teljes értékű mentés elkészítéséhez. Ez manapság már nem olyan egyszerű feladat, mint akár csak néhány éve volt, hiszen az üzemeltetők jellemzően egyre inkább blokkolják az efféle adatkinyerő próbálkozásokat, hiszen a különböző AI modellek tréningezéséhez is előszeretettel viszik az adatokat az egyes cégek a különböző algoritmusok alkalmazásával, többnyire nem túl legális módon, ez ellen pedig különböző korlátozásokkal próbálnak védekezni. A védelmi mechanizmusok az oktatási céllal és archiválási céllal érkező botokat is távol tartják, ami megnehezíti a mentések elkészítését.

Galéria megnyitása

A dráguló merevlemezek miatt azok a közreműködők, akik segítenek a tartalmak megőrzésében, szintén nehéz helyzetben vannak, ők most már kétszer is meggondolják,, mit érdemes menteni és mit nem, hiszen ők sem tudnak megfelelő mennyiségű tárhelyre szert tenni.

Hírlevél feliratkozás
A feliratkozással elfogadom a Felhasználási feltételeket és az Adatvédelmi nyilatkozatot.

Neked ajánljuk

    Tesztek

      Kapcsolódó cikkek

      Vissza az oldal tetejére