Inhalte aus JSON-Datei herausfiltern

Mega Man · 12. Dezember 2016, 18:09

Hallöle

Also, zu allererst: Ich habe keine Ahnung von JavaScript oder sonst was. Ich bin absolut unfähig und hoffe einfach nur dass ich das hinkriege. xD

Ich habe diese JSON-Datei, in der viele IDs abgespeichert sind, die ich in einer Textdatei bräuchte. Diese IDs sehen so aus: "_id":"58362bb54031b36f51701b44",. Das Problem ist, dass das über 700 Stück sind. Diese einzeln rausfischen ist also nicht wirklich super.

Gibt es irgendwie eine Möglichkeit diese IDs da rauszukriegen? Ich nutze macOS.

Vielen Dank schon einmal im Voraus!

m4xiking · 12. Dezember 2016, 22:03

Es muss ja kein JS sein, kann man auch problemfrei in jeder anderen Sprache machen.

Du kannst dafür Reguläre-Ausdrücke verwenden.

Ich würde z.B. die Text-Datei in einen String laden und dann immer den nächsten Match in einer Textdatei speichern mit Linebreak, dann den String vorne kürzen bis zum 1. Charakter nach dem 1. Match.

Es gibt bestimmt mehrere verschiedene mögliche Algorithmen.
So würde ich das halt machen.

Ich kann dir das machen wenn ich Lust dazu habe.

Mega Man · 12. Dezember 2016, 22:37

@m4xiking Das wäre mehr als super von dir.

Wiimm · 13. Dezember 2016, 00:01

Kleines PHP-Script schreiben. Könnte so aussehen, wobei obiger Text in Datei json.txt liegt:

PHP-Quellcode

<?php
$data = file_get_contents ('json.txt');
$data = json_decode($data,true);
print_r($data); # kontrollausgabe
.... # tue was mit den Daten
?>

Rebooto · 13. Dezember 2016, 13:38

Um Wiimms Script mal zu ergänzen, falls du keine Ahnung von PHP hast

PHP-Quellcode

<?php
$data = file_get_contents('json.txt'); /* Pfad zum Dokument hier anpassen */
$data = json_decode($data,true);
// print_r($data); /* kontrollausgabe */
$results = $data["results"];
foreach($results as $result)
{
echo $result["_id"] . '\n';
}
?>

Alles anzeigen

Mega Man · 13. Dezember 2016, 15:59

Danke @Wiimm und @Rebooto!

Aber stimmt, ich habe absolut keine Ahnung von PHP. War nur heute morgen noch zu müde hier zu antworten. xD

Vielen vielen Dank. Ihr habt mir sehr weitergeholfen.

Wiimm · 13. Dezember 2016, 16:24

Ich hatte nur das rudimentäre Script geschrieben, weil ich den Inhalt der JSON-Datei nicht kannte.

Dann fehlt noch der Aufruf: php -f datei.php

PHP auf der Kommandozeile ist übrigens ne nette Angelegenheit, da es relativ mächtig ist. Und die Kenntnisse auf CLI (Commnad Line) Ebene und als Web-Server ergänzen sich gegenseitig.

Mega Man · 13. Dezember 2016, 17:07

@Wiimm Ich wollte mich auch irgendwann mal dransetzen, aber bis jetzt habe ich nie die Zeit dazu gefunden.

So, jetzt habe ich aber doch noch eine letzte Frage:

Gibt es eine Möglichkeit, ein Bash-Skript (oder irgendwas, was sich von einem Bash-Skript abrufen lässt) dazu zu bringen, dass es erst fortfährt, wenn eine Datei mit ZIP-Endung in einem Ordner (der bereits mehrere ZIPs hat) hinzugefügt wird oder dass es erst fortfährt, wenn in dem Ordner keine Dateien mit der Endung .crdownload liegen?

Rebooto · 13. Dezember 2016, 18:52

Was willst du denn im Gesamten machen?
Das klingt irgendwie etwas aufwändiger

Mega Man · 13. Dezember 2016, 19:35

So aufwendig ist das eigentlich gar nicht mehr. Das wichtigste habe ich (bzw. die, die mir geholfen haben :D) bereits gemacht.

Ich möchte von einem Musikdienst (Monstercat Gold) ALLE Alben herunterladen (das sind verdammt nochmal über 850 Stück). Mit den IDs, die ich mit eurer Hilfe jetzt habe, kann ich Download-Links generieren. Dazu habe ich mir auch bereits ein Skript gebaut.

Spoiler anzeigen

ID.monstercat ist die Datei, in der die IDs liegen.

So, das funktioniert jetzt auch an sich alles so wie es soll. Problem ist, dass man dort (logischer Weise) angemeldet sein muss um downloaden zu können. Mit wget oder curl kann ich also nicht arbeiten. Und über Chrome öffnet er jetzt ALLE Downloads auf einmal, was natürlich auch nicht klappt.
Chrome erstellt, solange der Download nicht fertig ist, eine Datei mit der Endung .crdownload. Meine Idee war eine Art Loop , der prüft, ob eine .crdownload-Datei im Download-Ordner liegt, und erst beendet wird, wenn keine .crdownload-Datei mehr vorhanden ist. Alternativ könnte auch geprüft werden, ob eine neue ZIP-Datei im Ordner enthalten ist, da sämtliche Downloads im ZIP-Format vorliegen.
Somit könnte man jede Datei einzeln herunterladen.

Leseratte · 13. Dezember 2016, 19:58

Hm, du machst also einfach mit "open" die URL auf, hast Chrome als Standardbrowser und lässt die automatisch laden?

So ein Login lässt sich oft auch mit Wget nachbauen. Oder du meldest dich in Chrome an, extrahierst die Cookies und übergibst die an Wget. Ist aber für einen Scripting-Anfänger schon was komplizierter - wenn du möchtest, kannst du mir gerne mal die Link(s) und deine Zugangsdaten per PN schicken, dann schau ich mal, ob man das automatisiert kriegt. Wenn die schon ne API anbieten (zumindest kommt ja "api" in der URL vor) könnte das relativ einfach funktionieren.

Oder ganz pragmatisch mit einem "sleep 5" oder so nach jedem Durchlauf (oder länger, wenn die Downloads länger dauern). Läuft das Script halt mal ein Weilchen über Nacht.

Mega Man · 13. Dezember 2016, 20:10

@Leseratte Habe mir das auch mal mit sleep überlegt. Aber das würde deutlich länger dauern als eine Nacht, weswegen ich das nicht machen möchte.
Hatte jetzt mal die Idee:

Spoiler anzeigen

Aber das will irgendwie nicht funktionieren. Ist die Idee irgendwie so umsetzbar?
Ich gucke mir trotzdem das mit den Cookies und wget mal an.

Edit: Das Problem liegt definitiv an dem *. Ich hoffe das ist umgehbar.

Leseratte · 13. Dezember 2016, 20:18

Du könntest das Script mit while ( find -name "*.crdownload" | grep "" -q ); do sleep 1; done; warten lassen, solange eine .crdownload-Datei existiert.
(bzw. while ( find /home/whoever/wherever/ -name "*.crdownload" | grep "" -q ); do sleep 1; done; mit Pfad)

Aber dann besser noch ein sleep 1 zwischen open und die Schleife, denn ich weiß nicht, ob Chrome schnell genug die Datei erstellt.

Mega Man · 13. Dezember 2016, 20:50

Leider funktioniert deine oben genannte Lösung nicht. Wenn ich diese in meinem Skript nutze, geht gar nichts mehr. Wenn ich "find $HOME/Downloads -name "*.crdownload" | grep "" -q" direkt ins Terminal eingebe, kommt keine Antwort. Völlig egal ob eine .crdownload-Datei existiert oder nicht.

Leseratte · 13. Dezember 2016, 20:55

Dass keine Antwort kommt, ist normal. Aber im Zusammenhang mit while sollte der Befehl warten, bis die Datei nicht mehr existiert.

Was gibt "echo $?" nach dem find-Befehl aus? Sollte 0 sein, wenn ne crdownload-Datei existiert, und 1, wenn nicht.
Was passiert wenn du den ganzen Befehl mit while ins Terminal eingibst?

Mega Man · 13. Dezember 2016, 20:58

Nein, als Antwort erhalte ich immer 0.

Edit: Falls relevant, ich nutze macOS.

Leseratte · 13. Dezember 2016, 21:03

Hm, habe kein MacOS zum testen, hätte aber gedacht, dass sich das gleich verhält ...

Und nur das find? (find $HOME/Downloads/ -name "*.crdownload")

Sollte einen Dateinamen ausgeben, wenn was existiert, sonst nix ...

Mega Man · 13. Dezember 2016, 21:06

Jap, genau so ist es.

Leseratte · 13. Dezember 2016, 21:10

Klappt das?

while [ "$(find $HOME/Downloads/ -name "*.crdownload")" != "" ]; do sleep 1; done;

Wiimm · 13. Dezember 2016, 21:13

ich nutze dafür eher: find $HOME/Downloads/ -maxdepth 1 -name "*.crdownload" | wc -l
Durch -maxdepth 1 wird die Suche auf das gegebene Verzeichnis beschränkt. Da das Ergebnis kein Status sondern eine Ausgabe ist, lautet die while schleife:

while (( $( find $HOME/Downloads/ -maxdepth 1 -name "*.crdownload" | wc -l ) )); do sleep 2; done

Mega Man · 13. Dezember 2016, 21:15

@Leseratte Du bist der beste. Endlich kann ich alle Alben herunterladen. :cheerleader3:

Vielen Dank an euch drei. Jetzt wird erstmal meine Festplatte gequält.

Wiimm · 13. Dezember 2016, 21:15

Mega Man schrieb:

while [ -f "$HOME/Downloads/*.crdownload" ]; do

Wenn man das * in Anfü-Zeichen setzt, dann wird es auch nicht expandiert. Richtiger wäre "$HOME/Downloads/"*".crdownload" oder "$HOME/Downloads/"*.crdownload.
Aber beides funktioniert hier nicht. (deswegen "richtiger").

Wiimm · 13. Dezember 2016, 21:30

~~Im zitierten Beispiel geht es nicht um find, sondern um shell expansion. Ich wollte nur auf den dortigen Gedankenfehler hinweisen.~~

Ein andere Ansatz wäre, das alles in PHP zu erledigen, auch den Chrome Aufruf mittels system(). Und das Verzeichnis könnte man dann mit fam_monitor_directory() überwachen.

Und dann gibt es etliche kleine Tools, die Verzeichnisse überwachen. Für Linux gibt es z.B. inotify. Mit passenden Kommando kehrt es erst dann zurück, wenn sich das Verzeichnis geändert hat. Sollte es auch für den Mac geben.

EDIT:
Leseratte hat es schon bemerkt.

Inhalte aus JSON-Datei herausfiltern

Inhalte aus JSON-Datei herausfiltern

PHP-Quellcode

PHP-Quellcode

Shell-Script

Shell-Script

Mega Man schrieb:

Teilen