So erstellen Sie ein Webarchiv mit Archivebox

Archivebox ist ein benutzerfreundliches Archivierungsprogramm, mit dem Sie eine genaue Momentaufnahme jeder Website erstellen können. Dies kann für Archivare und Benutzer hilfreich sein, die Informationen online aufbewahren möchten. Nicht nur das, Archivebox ist auch unglaublich einfach und leicht zu bedienen. So können Sie das Programm beispielsweise sowohl als Kommandozeilen-Tool als auch als Web-App ausführen, auf die Sie überall zugreifen können.

Warum sollten Sie Websites archivieren?

Im Laufe der Jahre ermöglichte das World Wide Web Menschen auf der ganzen Welt, Informationen einfach auszutauschen und miteinander zu kommunizieren. Ein Problem mit dem Web ist jedoch, dass Websites im Laufe der Zeit nicht halten.

Die meisten Websites bleiben nur etwa zwei bis fünf Jahre aktiv. Danach gehen sie entweder komplett offline oder werden komplett durch eine andere Website ersetzt. Beispielsweise gibt es kaum noch Websites aus den 1990er Jahren, die heute noch online sind.

Alternativ können Sie die WayBack-Maschine auch zum Archivieren von Websites verwenden – keine Installation erforderlich.

Anforderung von Archivebox

Bevor Sie Archivebox installieren können, müssen Sie sicherstellen, dass Sie über die folgenden Ressourcen verfügen:

• Ein Computer, auf den Sie von außerhalb Ihres Heimnetzwerks zugreifen können. Dies kann entweder eine Maschine zu Hause sein, die Sie portweiterleiten können, oder ein gemieteter Remote-VPS.
• Ihre Maschine muss über ausreichend Speicherplatz verfügen. In den meisten Fällen sollte eine 1-TB-Festplatte zwischen 100.000 und 1.000.000 einzelne Webseiten speichern können.
• Das Dateisystem Ihres Computers muss entweder EXT4 oder ZFS sein, damit Archivebox ordnungsgemäß funktioniert.

Notiz: Dieses Tutorial konzentriert sich auf die Installation und Konfiguration von Archivebox auf einem lokalen Ubuntu 22.04 LTS-Rechner.

Archivebox installieren

Installieren Sie zuerst die Abhängigkeiten des Programms. Öffnen Sie ein Terminal und geben Sie den folgenden Befehl ein:

sudo apt install python3 nodejs python3-pip nginx npm npm install --no-audit --no-fund 'git+https://github.com/gildas-lormeau/SingleFile.git' npm install --no-audit -- no-fund 'git+https://github.com/ArchiveBox/readability-extractor.git' npm install --no-audit --no-fund '@postlight/mercury-parser'
Installieren Sie Archivebox über Python PIP:
pip3 install archivebox PATH=$PATH:/home/$USER/.local/bin
Erstellen Sie als Nächstes einen Ordner, in dem Archivebox alle seine Daten speichert.  In meinem Fall erstelle ich mein Verzeichnis in meinem Verzeichnis „/home/archivebox“:
mkdir /home/$USER/abox-data && cd /home/$USER/abox-data
Schließlich können Sie Ihre Archivebox-Instanz fertigstellen, indem Sie den folgenden Befehl ausführen, um alle Python-Patches herunterzuladen und zu konfigurieren, die das Programm für die Ausführung auf Ihrem Computer benötigt.
  Sie werden nach den Details des ersten Benutzers gefragt.
Überprüfen Sie, ob Sie Archivebox richtig installiert haben, indem Sie Folgendes ausführen:
Vorbereiten der Web-GUI
Während Archivebox perfekt als Befehlszeilenprogramm verwendet werden kann, ist es auch möglich, über eine Weboberfläche auf das Programm zuzugreifen.  Dies ist nützlich, wenn Sie Archivebox entweder mit anderen Benutzern teilen oder außerhalb Ihres Servers auf das Programm zugreifen möchten.
Um eine Web-GUI zu hosten, müssen Sie einen Nginx-Reverse-Proxy erstellen, um eingehenden Webverkehr an den Archivebox-Daemon umzuleiten.
Erstellen Sie eine neue Nginx-Konfigurationsdatei:
sudo nano /etc/nginx/sites-available/archivebox
Kopieren Sie den folgenden Code und fügen Sie ihn ein, wobei Sie server_name in Ihren eigenen Domänennamen ändern:
server {lauschen 80;  Hören [::]:80;  root /home/archivebox/abox-data;  Servername noch eine andere Archivbox.xyz www. eine andere Archivbox.xyz;  Standort / { Proxy_Pass http://127.0.0.1:8000;  } }
Aktivieren Sie die Archivebox-Konfiguration:
sudo ln -s /etc/nginx/sites-available/archivebox /etc/nginx/sites-enabled/
Starten Sie Nginx neu und starten Sie den Archivebox-Daemon:
sudo systemctl Neustart des Nginx-Archivbox-Servers 0.0.0.0:8000
Archivierung Ihrer ersten Website
Öffnen Sie Ihren Webbrowser und greifen Sie über Ihren Domainnamen auf die Archivebox-Instanz zu.  In meinem Fall gehe ich zu „yetanotherarchivebox.xyz“.
Klicken Sie auf die Schaltfläche „LOG IN“ in der oberen rechten Ecke der Webseite.
Geben Sie Ihre Benutzerdaten ein, um sich beim Dienstprogramm anzumelden.
Archivieren Sie Ihre erste Website, indem Sie auf die Schaltfläche „Hinzufügen“ in der oberen Seitenleiste der Seite klicken.
Dadurch wird ein großes Dialogfeld geladen, in dem Sie eine Liste mit Weblinks hinzufügen können, die Sie archivieren möchten.  In meinem Fall füge ich „https://maketecheasier.com“ hinzu.
Als Nächstes können Sie eine Vielzahl von Optionen zum Archivieren Ihrer Website auswählen.  Sie können beispielsweise eine Reihe von Tags für Ihre Links bereitstellen, um sie richtig zu sortieren.
Außerdem können Sie Archivebox anweisen, den Inhalt jedes direkten Links auf der Seite zu speichern, die Sie archivieren möchten.  Dies ist nützlich, wenn Sie den Kontext einer Website beibehalten möchten.
Klicken Sie auf die Schaltfläche „URLs hinzufügen und archivieren“, um den Archivierungsprozess zu starten.  In den meisten Fällen sollte dies nur zwischen einer und zwei Minuten dauern.
Archivieren einer Website über die Befehlszeile
Führen Sie die folgenden Befehle aus, um eine Webseite über die Befehlszeile zu archivieren:
cd /home/$USER/abox-data archivebox add --depth=1 https://maketecheasier.com
Darüber hinaus können Sie auch den Unterbefehl add verwenden, um eine Liste mit Weblinks zu archivieren.  Wenn Sie beispielsweise den folgenden Befehl ausführen, wird Archivebox angewiesen, jeden Link in meiner „bookmarks.txt“-Datei zu speichern:
Archivbox hinzufügen < /home/$USER/bookmarks.txt
Schließlich ist es auch möglich, ein in sich geschlossenes Archiv einer einzelnen Webseite zu erstellen.  Führen Sie dazu den folgenden Befehl aus:
Archivbox Oneshot https://maketecheasier.com
Archivebox anpassen
Sie können auch anpassen, wie Archivebox die gespeicherten Seiten erhält.  Beispielsweise ist es möglich, nur einen Screenshot jeder Webseite zu speichern, die Sie archivieren.
Dies ist hilfreich für Benutzer, die beim Speichern von Websites Speicherplatz sparen möchten.  Um die anderen Formate zu deaktivieren, müssen Sie die folgenden Befehle ausführen:
Archivbox-Konfiguration --set SAVE_WGET=Falsch Archivbox-Konfiguration --set SAVE_WARC=Falsch Archivbox-Konfiguration --set SAVE_PDF=Falsch Archivbox-Konfiguration --set SAVE_SINGLEFILE=Falsch Archivbox-Konfiguration --set SAVE_READABILITY=Falsch Archivbox-Konfiguration --set SAVE_MERCURY=Falsch
Hinzufügen eines neuen Benutzers in Archivebox
Um einen neuen Benutzer hinzuzufügen, gehen Sie zurück zur Web-GUI und klicken Sie auf die Schaltfläche „ADMIN“ in der oberen Leiste der Seite.
Gehen Sie im Admin-Panel zur Kategorie „Authentifizierung und Autorisierung“ und wählen Sie „Benutzer“.
Dadurch werden alle aktiven Benutzer im System aufgelistet.  Wählen Sie die Schaltfläche „Benutzer hinzufügen +“ in der oberen rechten Ecke der Seite.
Ähnlich wie das Hinzufügen von Benutzern zu einer Linux-Gruppe kann der Prozess der Benutzererstellung in Archivebox kompliziert sein.  Trotzdem benötigt ein neuer Benutzer nur drei Dinge, um richtig zu funktionieren: Benutzername, Passwort und eine Reihe von Benutzerberechtigungen.
Um einen neuen Benutzer anzulegen, geben Sie zunächst ein Passwort ein.
Wählen Sie danach die Benutzerberechtigungen für diesen bestimmten Benutzer aus.  In den meisten Fällen müssen Sie nur die folgenden Optionen für einen normalen Benutzer umschalten:
Kern |  Ergebnis archivieren |  Kann Archivergebniskern hinzufügen |  Ergebnis archivieren |  Kann den Ergebniskern des Archivs ändern |  Ergebnis archivieren |  Kann den Archivergebniskern anzeigen |  Momentaufnahme |  Kann Snapshot-Kern hinzufügen |  Momentaufnahme |  Kann Snapshot-Core ändern |  Momentaufnahme |  Kann Snapshot-Kern anzeigen |  Tag |  Kann Tag core | hinzufügen  Tag |  Kann Tag-Kern ändern |  Tag |  Kann Tag-Sitzungen anzeigen |  Sitzung |  Kann Sitzung Sitzungen hinzufügen |  Sitzung |  Kann Sitzung Sitzungen ändern |  Sitzung |  Kann Sitzung anzeigen
Geben Sie einen Benutzernamen für das neue Benutzerkonto an.  In meinem Fall verwende ich den Namen „alice“.
Wählen Sie zuletzt die Schaltfläche „SPEICHERN“ in der unteren rechten Ecke der Seite, um Ihre Änderungen zu übernehmen.
Häufig gestellte Fragen
Wie kann ich den Fehler „Python-Pakete konnten nicht installiert werden“ beheben?
Dies geschieht aufgrund eines Fehlers in Archivebox, der verhindert, dass es die gesuchten Binärdateien findet.  Trotzdem betrifft dieser Fehler nur einen kleinen Teil des Programms und wird die Integrität Ihres Archivs nicht beeinträchtigen.
Eine Möglichkeit, dieses Problem zu beheben, besteht darin, sicherzustellen, dass Ihre Installation immer auf dem neuesten Stand ist.  Führen Sie dazu pip3 install --upgrade archivebox aus.
Wie kann ich den „HTTPSConnectionPool“-Fehler beheben, wenn ich eine Website speichere?
Dieser Fehler tritt immer dann auf, wenn eine Website keine gültige HTTPS-Version hat.  Beheben Sie dieses Problem, indem Sie Archivebox dazu zwingen, über HTTP zu archivieren.  Wenn Sie beispielsweise archivebox add http://insecurewebsite.com ausführen, wird das Programm gezwungen, HTTP zu verwenden.
Was kann ich tun, wenn mein neues Benutzerkonto eine Website nicht archivieren kann?
Dieses Problem ist höchstwahrscheinlich auf fehlende Berechtigungseinstellungen in Ihrem neuen Benutzerkonto zurückzuführen.  Eine Möglichkeit, dieses Problem schnell zu beheben, besteht darin, sicherzustellen, dass Ihr neues Benutzerkonto über den Kern | verfügt  Momentaufnahme |  Kann Snapshot-Berechtigung hinzufügen.