Microsofts VisualGPT släpper en ny teknik ' VisualGPT ” som är ett framsteg av AI och låser upp möjligheter till mer tilltalande och interaktiva AI-upplevelser genom att överbrygga gapet mellan det visuella och språket.
Vad är VisualGPT?
VisualGPT är en utökad version av ChatGPT som bygger på NLP (Natural Language Processing) modeller, men i VisualGPT används VFMS som kan konvertera textfrågor till bildform. Det är så att det är en kombination/integrering av text- och bildfrågor.
Syftet med VisualGPT
Efter lanseringen av ChatGPT på marknaden, som arbetade på textformatet som det enda, för att nå nästa nivå av avancemang finns det perfekta verktyget som kommer att fungera på textformat till grafiskt format, efter alla dessa skäl och i kapplöpningen om AI framsteg Microsoft släpper VisualGPT. Huvudsyftet med VisualGPT är att skapa AI-bilder på användarens begäran eller analysera bilden
Arkitektur för VisualGPT
VisualGPT innehåller User Query, Prompt Manager, Visual Foundation Models (VFMs), System Principle, History of Dialogue, History of Reasoning och Intermediate Answer.
Om vi specifikt talar om dess modell, dvs. VFMs (Visual Foundation Models) ”, nästan 22 VFM används, som BLIP (Bootstrapping Language-Image Pre-training) och Stable Diffusion.
Hur kör man en Visual ChatGPT?
För att köra en Visual ChatGPT, överväg följande steg:
Steg 1: Skapa en miljö
Först måste du skapa en miljö av Python version 3.8:
import sys
sys.path.append ( '/usr/local/lib/python3.8/site-packages' )
Steg 2: Klona Visual ChatGPT-fil
Klona nu den visuella ChatGPT-filen från GitHub med följande kommando:
! git klon https: // github.com / deepanshu88 / visual-chatgpt.git 
Steg 3: Skapa en ny katalog
Efter det, ställ in en ny katalog via kommandot nedan:
% CD visual-chatgptSteg 4: Installera de nödvändiga paketen
Installera nu de nödvändiga paketen med hjälp av ' pip ' cmdlet:
! curl https: // bootstrap.pypa.io / get-pip.py -O get-pip.py! python3.8 get-pip.py
! python3.8 -m pip Installera -r krav.txt
Steg 5: Öppna OpenAI API
Efter att ha installerat de första paketen, få åtkomst till OpenAI API genom att skaffa en API-nyckel från 'platform.openai.com' och göra autentiserade API-anrop:
% env OPENAI_API_KEY =sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxSteg 6: Välj modell
Sist, efter att ha öppnat Openai välj modellen, det finns mer än 20 modeller som används i visualGPT som du kan välja enligt dina krav:
! python3.8 . / visual_chatgpt.py --ladda Text2Image_cuda: 0I kommandot ovan, ' Text2Image ” motsvarar den modell som ska användas. För mer information kolla denna Google Colab anteckningsbok .
Slutsats
ChatGPT introducerades för att få specifika svar om alla frågor och nu har Microsoft lanserat VisualGPT som kan hantera såväl text- som bilddata. Det är så att användaren helt enkelt kan lägga till sina krav i textform och få dess grafiska utdata.