Мултимодални модели. Външни API

Досега изпращахме на модела текст и получавахме текст. Но същите модели, които ползвахте в уроци 19 и 20, приемат и изображения, звук и видео. Снимка на бележка с домашно, аудиозапис на урок, екранна снимка на грешка — всичко това може да е вход в промпта.

Изображението се отваря с библиотеката PIL (Pillow, има я в Colab) и се подава в списък заедно с въпроса:

from PIL import Image

img = Image.open("snimka.jpg")

otgovor = client.models.generate_content(
    model="gemini-2.5-flash",
    contents=[img, "Опиши какво виждаш с две изречения на български."],
)
print(otgovor.text)

Моделът е затворен в текста си: не знае колко е часът, какво е времето, какво има в календара ви. Но програмата ви може да го разбере — от друга услуга по мрежата — и да му го подаде. Повечето такива услуги говорят по един и същ начин.

Пример без ключ и без регистрация — прогнозата за времето от Open-Meteo. Параметрите са в самия адрес след ?:

import requests

url = "https://api.open-meteo.com/v1/forecast"
parametri = {"latitude": 42.70, "longitude": 23.32, "current_weather": True}

otg = requests.get(url, params=parametri, timeout=10)
print(otg.status_code)          # 200 = успех; 4xx/5xx = грешка (урок 19)

danni = otg.json()              # JSON → речник
sega = danni["current_weather"]
print(sega["temperature"], sega["windspeed"], sega["weathercode"])

• requests.get изпраща заявката; params се превръщат в ?latitude=42.7&longitude=23.32&….
• status_code е същият вид код като при AI услугата — 200 е добре, 429 е лимит, 404 е грешен адрес.
• .json() прави от отговора речник — оттам нататък е урок 18.
• Форматът на отговора се чете от документацията на услугата, не се налучква: кои ключове има, в какви единици са числата.

Същата верига работи за всяка външна услуга. Разликата е, че картите, календарът и пощата искат ключ или вход с акаунт и имат права. Ето как изглежда потокът, описан без код:

1. Календар. Потребителят пита „кога съм свободен утре следобед“ → програмата взима събитията за утре от API на календара → подава ги на модела с въпроса → моделът отговаря с едно изречение. Никой не му е дал право да създава събития.
2. Карта. „Колко време е до училище с градски транспорт“ → програмата пита API за маршрути с двата адреса → получава минути и линии → моделът ги превръща в разбираем съвет.
3. Имейл. Програмата взима последните пет писма → моделът ги обобщава в три точки → ако потребителят поиска отговор, моделът предлага чернова, а изпращането става само след потвърждение от човек.

• Мултимодалният модел приема текст, изображение и звук в един промпт; за програмиста разликата е, че contents е списък.
• Изображение се подава с PIL: contents=[img, "въпрос"]. Добър за описание и четене на текст, несигурен за точно броене и дребни детайли.
• REST API: HTTP заявка с параметри → JSON отговор → речник. requests.get, status_code, .json().
• Моделът не знае актуални данни — програмата ги взима от външно API и му ги подава в промпта.
• Веригата е API → програма → модел → потребител; необратимите действия (изпращане, запис) стават само с потвърждение от човек.
• Снимки с хора и лични данни не се качват към външни услуги.