Hugging Face Inference API med Python

Hugging Face Inference Api Med Python



Hugging Face identifieras som en gemenskap av AI med öppen källkod och den består av ett stort utbud av ramverk med öppen källkod, verktyg, arkitekturer och modeller för att bygga och interagera med AI och bearbetningsmodeller för naturligt språk. Hugging Face tillhandahåller en applikationsprogrammerbar interferens som 'Inference API'. Detta slutlednings-API används för distribution av maskininlärning och AI-modeller för beslutsfattande och realtidsförutsägelser. Detta API tillåter utvecklarna att använda de förtränade NLP-modellerna för att ge förutsägelser om den nya datamängden.

Syntax:

Det finns en mängd olika tjänster som Hugging Face tillhandahåller men en av dess allmänt använda tjänster är 'API'. API tillåter interaktion mellan förtränade AI och stora språkmodeller till olika applikationer. Hugging Face tillhandahåller API:erna för olika modeller som listas i följande:

  • Textgenereringsmodeller
  • Översättningsmodeller
  • Modeller för analys av känslorna
  • Modeller för utveckling av virtuella agenter (intelligenta chatbots)
  • Klassificering och regressionsmodellerna

Låt oss nu upptäcka metoden för att få vårt personliga inferens-API från Hugging Face. För att göra det måste vi först börja med att registrera oss på den officiella webbplatsen för Hugging Face. Gå med i denna community av Hugging Face genom att registrera dig på den här webbplatsen med dina referenser.









När vi väl har fått ett konto på Hugging Face måste vi nu begära inferens-API. För att begära API:t, gå till kontoinställningarna och välj 'Access Token'. Ett nytt fönster öppnas. Välj alternativet 'New Token' och generera sedan token genom att först ange namnet på token och dess roll som 'WRITE'. En ny token genereras. Nu måste vi spara denna token. Fram till den här punkten har vi vår token från The Hugging Face. I nästa exempel kommer vi att se hur vi kan använda denna token för att få ett inferens-API.







Exempel 1: Hur man prototyper med Hugging Face Inference API

Hittills har vi diskuterat metoden för hur man kommer igång med Hugging Face och vi initierade en token från Hugging Face. Det här exemplet visar hur vi kan använda denna nygenererade token för att få ett inferens-API för en specifik modell (maskininlärning) och göra förutsägelser genom den. Välj en modell som du vill arbeta med och som är relevant för ditt problem från startsidan för Hugging Face. Låt oss säga att vi vill arbeta med textklassificeringen eller sentimentanalysmodellen som visas i följande utdrag av listan över dessa modeller:



Vi väljer sentimentanalysmodellen från denna modell.

När du har valt modell visas dess modellkort. Detta modellkort innehåller information om träningsdetaljerna för modellen och vilka egenskaper modellen har. Vår modell är roBERTa-baserad som är tränad på 58M tweets för sentimentanalys. Denna modell har tre huvudklassetiketter och den kategoriserar varje ingång i sina relevanta klassetiketter.

Efter valet av modell, om vi väljer distributionsknappen som finns i det övre högra hörnet av fönstret, öppnas en rullgardinsmeny. Från den här menyn måste vi välja alternativet 'Inferens API'.

Inferens API ger sedan en hel förklaring av hur man använder denna specifika modell med denna slutledning och låter oss snabbt skapa prototypen för AI-modellen. Inferens-API-fönstret visar koden som är skriven i Pythons skript.

Vi kopierar den här koden och kör den i någon av Python IDE. Vi använder Google Colab för detta. Efter att ha kört den här koden i Python-skalet returnerar den en utdata som kommer med poängen och etikettförutsägelsen. Denna märkning och poäng ges enligt vår input eftersom vi valde modellen 'text-sentiment analys'. Sedan är input som vi ger till modellen en positiv mening och modellen var förtränad på tre etikettklasser: etikett 0 antyder negativ, etikett1 antyder neutral och etikett 2 är inställd på positiv. Eftersom vår input är en positiv mening är poängförutsägelsen från modellen mer än de andra två etiketterna, vilket betyder att modellen förutspådde meningen som en 'positiv'.

importera förfrågningar

API_URL = 'https://api-inference.huggingface.co/models/cardiffnlp/twitter-roberta-base-sentiment'
rubriker = { 'Tillstånd' : 'Bärare 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' }

def fråga ( nyttolast ) :
svar = förfrågningar. posta ( API_URL , rubriker = rubriker , json = nyttolast )
lämna tillbaka svar. json ( )

produktion = fråga ( {
'ingångar' : 'Jag mår bra när du är med mig' ,
} )

Produktion:

Exempel 2: Sammanfattningsmodell genom slutledning

Vi följer samma steg som visas i föregående exempel och prototyper av summeringsmodellbussen med hjälp av dess inferens-API från Hugging Face. Sammanfattningsmodellen är en förtränad modell som sammanfattar hela texten som vi ger den som input. Gå till Hugging Face-kontot, klicka på modellen från den översta menyraden och välj sedan den modell som är relevant för sammanfattningen, välj den och läs dess modellkort noggrant.

Modellen som vi valde är en förtränad BART-modell och den är finjusterad till datauppsättningen CNN dail mail. BART är en modell som mest liknar BERT-modellen som har en kodare och avkodare. Den här modellen är effektiv när den är finjusterad för uppgifter om förståelse, sammanfattning, översättning och textgenerering.

Välj sedan knappen 'distribution' i det övre högra hörnet och välj inferens-API från rullgardinsmenyn. Inferens API öppnar ett annat fönster som innehåller koden och anvisningarna för att använda denna modell med denna slutledning.

Kopiera den här koden och kör den i ett Python-skal.

Modellen returnerar utdata som är sammanfattningen av indata som vi matade till den.

Slutsats

Vi arbetade med Hugging Face Inference API och lärde oss hur vi kan använda den här applikationens programmerbara gränssnitt för att arbeta med de förtränade språkmodellerna. De två exemplen som vi gjorde i artikeln var huvudsakligen baserade på NLP-modellerna. Hugging Face API kan göra underverk om vi vill utveckla en snabb prototyp genom att tillhandahålla snabb integration av AI-modeller i våra applikationer. Kort sagt, Hugging Face har lösningar på alla dina problem från förstärkningsinlärning till datorseende.