Kwestia tego, w jaki sposób agent AI podejmuje kolejne decyzje, sięga samego serca jego architektury. U fundamentu leży tak zwana pętla odbieranie–układanie planu–wykonywanie, w której program najpierw rejestruje informacje z otoczenia, następnie analizuje dostępne możliwości, a wreszcie realizuje wybraną akcję. Cały ten obieg powtarza się kilkakrotnie, aż do osiągnięcia zamierzonego efektu.
Sercem tego procesu jest model językowy, który odgrywa rolę wewnętrznego głosu konsultacyjnego agenta. To on odczytuje instrukcje użytkownika, rozbija złożone zadanie na drobniejsze podzadania i proponuje kolejność ich realizacji. Środowisko modelu stanowią pomocnicze narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent wywołuje wtedy, gdy potrzebuje konkretnych danych spoza swojej wiedzy treningowej.
Ciekawym elementem architektury jest tak zwana pamięć robocza, w której agent trzyma tło bieżącego zadania. Dzięki niej nie traci nici nawet wtedy, gdy proces rozciąga się na wiele etapów i potrzebuje przełączania między różnymi źródłami informacji. To właśnie ta umiejętność odróżnia agenta od prostego skryptu, który odtwarza jedynie wcześniej ustaloną listę poleceń.
Oddzielną sprawą pozostaje mechanizm oceny własnych działań. Dobrze skonstruowany agent jest w stanie zidentyfikować, że otrzymany wynik odbiega od oczekiwanego, i cofnąć się do poprzedniego etapu, by spróbować innej ścieżki. Taka samokorekta zbliża działanie maszyny do ludzkiego zwyczaju weryfikowania własnej pracy przed jej złożeniem.