Konvertera PySpark DataFrame till JSON

Ämne för innehåll:

• PySpark DataFrame till JSON Använda To_json() med ToPandas()
• PySpark DataFrame till JSON med ToJSON()
• PySpark DataFrame till JSON med Write.json()

Låt oss överväga en enkel PySpark DataFrame i alla exempel och konvertera den till JSON med hjälp av de nämnda funktionerna.

Obligatorisk modul:

Installera PySpark-biblioteket i din miljö om det inte är installerat ännu. Du kan hänvisa till följande kommando för att installera det:

PySpark DataFrame till JSON Använda To_json() med ToPandas()

Metoden to_json() är tillgänglig i Pandas-modulen som konverterar Pandas DataFrame till JSON. Vi kan använda denna metod om vi konverterar vår PySpark DataFrame till Pandas DataFrame. För att konvertera PySpark DataFrame till Pandas DataFrame, används metoden toPandas(). Låt oss se syntaxen för to_json() tillsammans med dess parametrar.

Syntax:

1. Orient används för att visa den konverterade JSON som önskat format. Det tar 'rekord', 'tabell', 'värden', 'kolumner', 'index', 'dela'.
2. Index används för att inkludera/ta bort indexet från den konverterade JSON-strängen. Om den är inställd på 'True' visas indexen. Annars kommer indexen inte att visas om orienten är 'delad' eller 'tabell'.

Exempel 1: Orientera som 'Rekord'

Skapa en 'skills_df' PySpark DataFrame med 3 rader och 4 kolumner. Konvertera denna DataFrame till JSON genom att ange parametern orient som 'records'.

Produktion:

Vi kan se att PySpark DataFrame konverteras till JSON-arrayen med en ordbok med värden. Här representerar nycklarna kolumnnamnet och värdet representerar rad-/cellvärdet i PySpark DataFrame.

Exempel 2: Orientera som 'Split'

JSON-formatet som returneras av 'split'-orienteringen inkluderar kolumnnamnen som har en lista med kolumner, lista med index och lista med data. Följande är formatet för den 'delade' orienten.

Produktion:

Exempel 3: Orientera som 'Index'

Här tas varje rad från PySpark DataFrame tillbaka i form av en ordbok med nyckeln som kolumnnamn. För varje ordbok anges indexpositionen som en nyckel.

Produktion:

Exempel 4: Orientera som 'kolumner'

Kolumner är nyckeln för varje post. Varje kolumn innehåller en ordbok som tar kolumnvärdena med indexnummer.

Produktion:

Exempel 5: Orientera som 'Värden'

Om du bara behöver värdena i JSON kan du välja 'värden'-orienteringen. Den visar varje rad i en lista. Slutligen lagras alla listor i en lista. Denna JSON är av typen kapslad list.

Produktion:

Exempel 6: Orientera som 'tabell'

'Tabell'-orienteringen returnerar JSON som inkluderar schemat med fältnamn tillsammans med kolumndatatyperna, indexet som primärnyckel och Pandas-versionen. Kolumnnamnen med värden visas som 'data'.

Produktion:

Exempel 7: Med indexparameter

Först skickar vi indexparametern genom att ställa in den på 'True'. Du kommer att se för varje kolumnvärde att indexpositionen returneras som en nyckel i en ordbok.

I den andra utgången returneras endast kolumnnamnen ('kolumner') och poster ('data') utan indexpositionerna eftersom indexet är satt till 'False'.

Produktion:

PySpark DataFrame till JSON med ToJSON()

Metoden toJSON() används för att konvertera PySpark DataFrame till ett JSON-objekt. I grund och botten returnerar den en JSON-sträng som är omgiven av en lista. De ['{kolumn:värde,...}',... ] är formatet som returneras av denna funktion. Här returneras varje rad från PySpark DataFrame som en ordbok med kolumnnamnet som nyckel.

Syntax:

Det kan vara möjligt att skicka parametrar som index, kolumnetiketter och datatyp.

Exempel:

Skapa en 'skills_df' PySpark DataFrame med 5 rader och 4 kolumner. Konvertera denna DataFrame till JSON med metoden toJSON().

Produktion:

Det finns 5 rader i PySpark DataFrame. Alla dessa 5 rader returneras som en ordbok med strängar som är separerade med kommatecken.

PySpark DataFrame till JSON med Write.json()

Metoden write.json() är tillgänglig i PySpark som skriver/sparar PySpark DataFrame till en JSON-fil. Den tar filnamnet/sökvägen som en parameter. I grund och botten returnerar den JSON i flera filer (partitionerade filer). För att slå samman dem alla i en enda fil kan vi använda metoden coalesce() .

Syntax:

1. Lägg till läge – dataframe_object.write.mode(‘append’).json(‘filnamn’)
2. Överskrivningsläge – dataframe_object.write.mode(‘overwrite’).json(‘file_name’)

Det kan vara möjligt att lägga till/skriva över befintlig JSON. Med hjälp av write.mode() kan vi lägga till data genom att skicka 'append' eller skriva över befintliga JSON-data genom att skicka 'overwrite' till den här funktionen.

Exempel 1:

Skapa en 'skills_df' PySpark DataFrame med 3 rader och 4 kolumner. Skriv denna DataFrame till JSON.

JSON-fil:

Vi kan se att mappen skills_data innehåller de partitionerade JSON-data.

Låt oss öppna JSON-filen. Vi kan se att alla rader från PySpark DataFrame konverteras till JSON.

Det finns 5 rader i PySpark DataFrame. Alla dessa 5 rader returneras som en ordbok med strängar som är separerade med kommatecken.

Exempel 2:

Skapa en 'skills2_df' PySpark DataFrame med en rad. Lägg till en rad till föregående JSON-fil genom att ange läget som 'lägg till'.

JSON-fil:

Vi kan se de partitionerade JSON-filerna. Den första filen innehåller de första DataFrame-posterna och den andra filen innehåller den andra DataFrame-posten.

Slutsats

Det finns tre olika sätt att konvertera PySpark DataFrame till JSON. Först diskuterade vi metoden to_json() som konverterar till JSON genom att konvertera PySpark DataFrame till Pandas DataFrame med olika exempel genom att överväga olika parametrar. Därefter använde vi metoden toJSON(). Slutligen lärde vi oss hur man använder funktionen write.json() för att skriva PySpark DataFrame till JSON. Det är möjligt att lägga till och skriva över med denna funktion.