Microsoft’s VisualGPT brengt een nieuwe technologie uit “ VisueleGPT Dat is een vooruitgang van AI en ontsluit mogelijkheden voor aantrekkelijkere en interactievere AI-ervaringen door de kloof tussen beeld en taal te overbruggen.
Wat is VisualGPT?
VisualGPT is een uitgebreide versie van ChatGPT die is gebaseerd op NLP-modellen (Natural Language Processing), maar in VisualGPT wordt VFMS gebruikt dat tekstquery's naar afbeeldingsvorm kan converteren. Het is zodanig dat het een combinatie/integratie is van tekst- en beeldquery's.
Doel van VisualGPT
Na de release van ChatGPT op de markt, die als enige aan het tekstuele formaat werkte, is er om het volgende niveau van vooruitgang te bereiken de perfecte tool die zal werken van tekstueel naar grafisch formaat, om al deze redenen en in de race om AI vooruitgang Microsoft brengt VisualGPT uit. Het belangrijkste doel van VisualGPT is het creëren van AI-afbeeldingen op verzoek van de gebruiker of het analyseren van de afbeelding
Architectuur van VisualGPT
VisualGPT bevat de gebruikersquery, promptmanager, Visual Foundation Models (VFM's), systeemprincipe, geschiedenis van dialoog, geschiedenis van redeneren en tussenantwoord.
Als we specifiek over het model praten, dat wil zeggen: “ VFM's (Visuele basismodellen) ”, er worden bijna 22 VFM’s gebruikt, zoals BLIP (Bootstrapping Language-Image Pre-training) en Stable Diffusion.
Hoe voer ik een visuele ChatGPT uit?
Overweeg de volgende stappen om een Visual ChatGPT uit te voeren:
Stap 1: Creëer een omgeving
Eerst moet je een omgeving van Python versie 3.8 maken:
importsysteem
sys.pad.append ( '/usr/local/lib/python3.8/site-packages' )
Stap 2: Kloon het visuele ChatGPT-bestand
Kloon nu het visuele ChatGPT-bestand van GitHub met behulp van de volgende opdracht:
! git kloon https: // github.com / diepanshu88 / visual-chatgpt.git 
Stap 3: Stel een nieuwe map in
Stel daarna een nieuwe map in via de onderstaande opdracht:
% CD visuele chatgptStap 4: Installeer de vereiste pakketten
Installeer nu de vereiste pakketten met behulp van de “ Pip cmdlet:
! krul https: // bootstrap.pypa.io / get-pip.py -O get-pip.py! python3.8 get-pip.py
! python3.8 -M Pip installeren -R vereisten.txt
Stap 5: Toegang tot de OpenAI API
Nadat u de eerste pakketten hebt geïnstalleerd, krijgt u toegang tot de OpenAI API door een API-sleutel te verkrijgen van 'platform.openai.com' en geverifieerde API-aanroepen te doen:
% omg OPENAI_API_KEY =sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxStap 6: Kies het model
Als laatste, nadat u Openai hebt geopend, kiest u het model. Er zijn meer dan 20 modellen die worden gebruikt in visualGPT die u kunt kiezen volgens uw vereisten:
! python3.8 . / visual_chatgpt.py --laden Text2Image_cuda: 0In het bovenstaande commando: “ Tekst2Afbeelding ” komt overeen met het te gebruiken model. Voor meer details, bekijk dit Google Colab notitieboekje .
Conclusie
ChatGPT werd geïntroduceerd om specifieke antwoorden op elke vraag te krijgen en nu heeft Microsoft VisualGPT gelanceerd, dat zowel met tekstuele als met grafische gegevens kan omgaan. Het is zo dat de gebruiker eenvoudig zijn vereisten in tekstvorm kan toevoegen en de grafische uitvoer ervan kan krijgen.