Normalisering av data i Python

Normalisering av data är en teknik som hjälper till att få resultatet snabbare eftersom maskinen måste bearbeta ett mindre antal data. Normalisering är inte en lätt uppgift eftersom alla dina resultat beror på valet av din normaliseringsmetod. Så om du har valt fel metod för att normalisera dina data kan du få något annat än dina förväntningar.

Normaliseringen beror också på datatypen som bilder, text, numeriska etc. Så har varje datatyp en annan metod att normalisera. Så i denna artikel fokuserar vi på numerisk data.

Metod 1: Använda sklearn

Sklearn -metoden är en mycket känd metod för att normalisera data.

I cellnummer [83] : Vi importerar alla nödvändiga bibliotek, NumPy och sklearn. Du kan se att vi importerar förbehandlingen från själva sklearn. Det är därför detta är sklearns normaliseringsmetod.

I cellnummer [84] : Vi skapade en NumPy -array med ett heltal som inte är detsamma.

I cellnummer [85] : Vi kallade normaliseringsmetoden från förbehandlingen och passerade numpy_array, som vi just skapade som en parameter.

I cellnummer [86] : Vi kan se från resultaten, alla våra heltalsdata är nu normaliserade mellan 0 och 1.

Metod 2: Normalisera en viss kolumn i en dataset med sklearn

Vi kan också normalisera den specifika datakolumnen. I detta kommer vi att diskutera om det.

I cellnummer [87] : Vi importerar bibliotekspandorna och sklearn.

I cellnummer [88] : Vi skapade en dummy CSV -fil, och vi laddar nu den CSV -filen med hjälp av paketet pandor (read_csv).

I cellnummer [89] : Vi skriver ut den CSV -filen som vi nyligen laddade.

I cellnummer [90] : Vi läser den specifika kolumnen i CSV -filen med hjälp av np. array och lagra resultatet till value_array.

I cellnummer [92] , vi kallade normaliseringsmetoden från förbehandlingen och passerade parametern value_array.

Metod 3: Konvertera för att normalisera utan att använda kolumnerna till array (med sklearn)

I föregående metod 2 diskuterade vi hur vi till en viss CSV -filkolumn kan normalisera. Men ibland måste vi normalisera hela datamängden, då kan vi använda nedanstående metod där vi normaliserar hela datamängden men längs kolumnvis (axel = 0). Om vi ​​nämner axeln = 1, så kommer den att radvis normaliseras. Axeln = 1 är som standardvärde.

I cellnummer [93] : Vi importerar bibliotekspandorna och sklearn.

I cellnummer [94] : Vi skapade en dummy CSV -fil (demo_numeric.csv), och vi laddar nu den CSV -filen med hjälp av pandas (read_csv) -paketet.

I cellnummer [95] : Vi skriver ut den CSV -filen som vi nyligen laddade.

I cellnummer [96] : Nu skickar vi hela CSV-filen tillsammans med ytterligare en parameteraxel = 0, som sa till biblioteket att användaren ville normalisera hela datamängden kolumnmässigt.

I cellnummer [97] , vi skriver ut resultatet och normaliserar data med ett värde mellan 0 och 1.

Metod 4: Använda MinMaxScaler ()

Sklearn ger också en annan metod för normalisering, som vi kallade det MinMaxScalar. Detta är också en mycket populär metod eftersom den är lätt att använda.

I cellnummer [98] : Vi importerar alla paket som krävs.

I cellnummer [99] : Vi skapade en dummy CSV -fil (demo_numeric.csv), och vi laddar nu den CSV -filen med hjälp av pandas (read_csv) -paketet.

I cellnummer [100] : Vi skriver ut den CSV -filen som vi nyligen laddade.

I cellnummer [101] : Vi kallade MinMaxScalar från förbehandlingsmetoden och skapade ett objekt (min_max_Scalar) för det. Vi passerade inga parametrar eftersom vi behöver normalisera data mellan 0 och 1. Men om du vill kan du lägga till dina värden som visas i nästa metod.

I cellnummer [102] : Vi läser först alla namn på kolumnerna för vidare användning för att visa resultat. Sedan kallar vi fit_tranformen från det skapade objektet min_max_Scalar och skickade in CSV -filen i den.

I cellnummer [103] : Vi får de normaliserade resultaten som ligger mellan 0 och 1.

Metod 5: Använda MinMaxScaler (feature_range = (x, y))

Sklearn ger också möjlighet att ändra det normaliserade värdet på det du vill ha. Som standard normaliserar de värdet mellan 0 och 1. Men det finns en parameter som vi kallade feature_range, som kan ställa in det normaliserade värdet enligt våra krav.

I cellnummer [104] : Vi importerar alla paket som krävs.

I cellnummer [105] : Vi skapade en dummy CSV -fil (demo_numeric.csv), och vi laddar nu den CSV -filen med hjälp av pandas (read_csv) -paketet.

I cellnummer [106] : Vi skriver ut den CSV -filen som vi nyligen laddade.

I cellnummer [107] : Vi kallade MinMaxScalar från förbehandlingsmetoden och skapade ett objekt (min_max_Scalar) för det. Men vi passerar också en annan parameter inuti MinMaxScaler (feature_range). Det parametervärdet sätter vi 0 till 2. Så nu kommer MinMaxScaler att normalisera datavärdena mellan 0 och 2.

I cellnummer [108] : Vi läser först alla namn på kolumnerna för vidare användning för att visa resultat. Sedan kallar vi fit_tranformen från det skapade objektet min_max_Scalar och skickade in CSV -filen i den.

I cellnummer [109] : Vi får de normaliserade resultaten som ligger mellan 0 och 2.

Metod 6: Användning av maximal absolut skalning

Vi kan också normalisera data med hjälp av pandor. Dessa funktioner är också mycket populära för att normalisera data. Den maximala absoluta skalningen normaliserar värden mellan 0 och 1. Vi tillämpar här .max () och .abs () enligt nedan:

I cellnummer [110] : Vi importerar pandaernas bibliotek.

I cellnummer [111] : Vi skapade en dummy dataram och skrev ut den dataramen.

I cellnummer [113] : Vi kallar varje kolumn och delar sedan kolumnvärdena med .max () och .abs ().

I cellnummer [114] : Vi skriver ut resultatet och från resultatet bekräftar vi att våra data normaliseras mellan 0 och 1.

Metod 7: Använda z-poängmetoden

Nästa metod som vi ska diskutera är z-poängmetoden. Denna metod konverterar informationen till distributionen. Denna metod beräknar medelvärdet för varje kolumn och subtraherar sedan från varje kolumn och delar den slutligen med standardavvikelsen. Detta normaliserar data mellan -1 och 1.

I cellnummer [115] : Vi skapade en dummy dataram och skrev ut den dataramen.

I cellnummer [117] : Vi beräknar kolumnens medelvärde och subtraherar den från kolumnen. Sedan delar vi kolumnvärdet med standardavvikelsen.

I cellnummer [118] : Vi skriver ut normaliserade data mellan -1 och 1.

Slutsats: Vi har sett olika typer av normaliserade metoder. Bland dem är sklearn mycket känd för att stödja maskininlärning. Men det beror på användarens krav. Ibland räcker det med pandor för att normalisera data. Vi kan inte säga att det bara finns metoder ovanför normalisering. Det finns många metoder för att göra datanormalisering som också beror på din datatyp som bilder, numeriska, text, etc. Vi fokuserar på denna numeriska data och Python.