PySpark Pandas_Udf()

Ämne för innehåll:

• Pandas_udf() med olika datatyper
• Pandas_udf() med olika datatyper som använder Groupby() & Agg()

Om du vill veta mer om PySpark DataFrame och modulinstallation, gå igenom detta artikel .

Pyspark.sql.functions.pandas_udf()

pandas_udf () är tillgänglig i modulen sql.functions i PySpark som kan importeras med nyckelordet 'från'. Den används för att utföra vektoriserade operationer på vår PySpark DataFrame. Denna funktion implementeras som en dekoratör genom att skicka tre parametrar. Efter det kan vi skapa en användardefinierad funktion som returnerar data i vektorformatet (som vi använder serier/NumPy för detta) med hjälp av en pil. Inom denna funktion kan vi returnera resultatet.

Struktur och syntax:

Låt oss först titta på strukturen och syntaxen för denna funktion:

Här är function_name namnet på vår definierade funktion. Datatypen anger datatypen som returneras av denna funktion. Vi kan returnera resultatet med nyckelordet 'retur'. Alla operationer utförs i funktionen med piltilldelningen.

Pandas_udf (Function och ReturnType)

1. Den första parametern är den användardefinierade funktionen som skickas till den.
2. Den andra parametern används för att specificera returdatatypen från funktionen.

Data:

I hela den här guiden använder vi endast en PySpark DataFrame för demonstration. Alla användardefinierade funktioner som vi definierar tillämpas på denna PySpark DataFrame. Se till att du skapar denna DataFrame i din miljö först efter installationen av PySpark.

Produktion:

Här skapar vi denna DataFrame med 4 kolumner och 8 rader. Nu använder vi pandas_udf() för att skapa de användardefinierade funktionerna och tillämpa dem på dessa kolumner.

Pandas_udf() med olika datatyper

I det här scenariot skapar vi några användardefinierade funktioner med pandas_udf() och tillämpar dem på kolumner och visar resultaten med metoden select(). I varje fall använder vi pandas.Series när vi utför vektoriserade operationer. Detta betraktar kolumnvärdena som en endimensionell array och operationen tillämpas på kolumnen. I själva dekoratören anger vi funktionen returtyp.

Exempel 1: Pandas_udf() med strängtyp

Här skapar vi två användardefinierade funktioner med strängreturtypen för att konvertera kolumnvärdena för strängtyp till versaler och gemener. Slutligen tillämpar vi dessa funktioner på kolumnerna 'typ' och 'lokalisera_land'.

Produktion:

Förklaring:

Funktionen StringType() är tillgänglig i modulen pyspark.sql.types. Vi importerade redan den här modulen när vi skapade PySpark DataFrame.

1. Först returnerar UDF (användardefinierad funktion) strängarna med versaler med funktionen str.upper(). Str.upper() är tillgänglig i seriedatastrukturen (eftersom vi konverterar till serier med en pil inuti funktionen) som konverterar den givna strängen till versaler. Slutligen tillämpas den här funktionen på kolumnen 'type' som anges i metoden select(). Tidigare var alla strängar i typkolumnen med gemener. Nu har de ändrats till versaler.
2. För det andra returnerar UDF strängarna med versaler med funktionen str.lower() . Str.lower() är tillgänglig i seriedatastrukturen som konverterar den givna strängen till gemener. Slutligen tillämpas den här funktionen på kolumnen 'type' som anges i metoden select(). Tidigare var alla strängar i typkolumnen med versaler. Nu har de ändrats till gemener.

Exempel 2: Pandas_udf() med heltalstyp

Låt oss skapa en UDF som konverterar heltalskolumnen PySpark DataFrame till Pandas-serien och lägger till 100 till varje värde. Skicka 'quantity'-kolumnen till den här funktionen i select()-metoden.

Produktion:

Förklaring:

Inuti UDF itererar vi alla värden och konverterar dem till serier. Efter det lägger vi till 100 till varje värde i serien. Slutligen skickar vi kolumnen 'kvantitet' till denna funktion och vi kan se att 100 läggs till alla värden.

Pandas_udf() med olika datatyper som använder Groupby() & Agg()

Låt oss titta på exemplen för att skicka UDF till de aggregerade kolumnerna. Här grupperas kolumnvärdena först med funktionen groupby() och aggregering görs med funktionen agg(). Vi skickar vår UDF inuti denna aggregatfunktion.

Syntax:

Här grupperas värdena i grupperingskolumnen först. Sedan görs aggregeringen på varje grupperad data med avseende på vår UDF.

Exempel 1: Pandas_udf() med Aggregate Mean()

Här skapar vi en användardefinierad funktion med en returtyp flytande. Inuti funktionen beräknar vi medelvärdet med hjälp av funktionen mean() . Denna UDF skickas till kolumnen 'kvantitet' för att få den genomsnittliga kvantiteten för varje typ.

Produktion:

Vi grupperar baserat på element i kolumnen 'typ'. Två grupper bildas - 'frukt' och 'grönsaker'. För varje grupp beräknas medelvärdet och returneras.

Exempel 2: Pandas_udf() med Aggregate Max() och Min()

Här skapar vi två användardefinierade funktioner med returtypen heltal (int). Den första UDF:en returnerar minimivärdet och den andra UDF:en returnerar det högsta värdet.

Produktion:

För att returnera lägsta och maximala värden använder vi funktionerna min() och max() i returtypen för UDF. Nu grupperar vi data i kolumnen 'locate_country'. Fyra grupper bildas ('KINA', 'INDIEN', 'JAPAN', 'USA'). För varje grupp returnerar vi maxkvantiteten. På samma sätt returnerar vi minimikvantiteten.

Slutsats

I grund och botten används pandas_udf () för att utföra vektoriserade operationer på vår PySpark DataFrame. Vi har sett hur man skapar pandas_udf() och tillämpar den på PySpark DataFrame. För bättre förståelse diskuterade vi de olika exemplen genom att överväga alla datatyper (sträng, flytande och heltal). Det kan vara möjligt att använda pandas_udf() med groupby() genom funktionen agg().