Testiranje sigurnosti umjetne inteligencije i LLM-aAI agenti i chatbotovi koje se ne može nagovoriti da odaju podatke.
Sigurnosno testiranje za LLM aplikacije, AI agente i chatbotove. Testiramo promptno ubrizgavanje, curenje podataka i nesigurne radnje, a zatim dodajemo zaštitne ograde koje ih zaustavljaju.
- OWASP Top 10 za LLM
- Brzo testiranje injekcijom
- Zaštitne ograde za agente
- WhatsApp i glasovni botovi
- Blokirano brzo ubrizgavanje · skrivena uputa u PDF-u
- Sistemski upit se više ne prikazuje
- Primijenjeno ograničenje povrata novca agentu
- Podaci o korisnicima maskirani u zapisnicima
Agenti umjetne inteligencije slijede upute. Uključujući i pogrešne.
LLM se može prevariti tekstom skrivenim u e-poruci, web stranici ili dokumentu. Kada taj agent može čitati podatke ili poduzimati radnje, rizik je stvaran. Testiramo to prije lansiranja.
Testirano izravno i neizravno ubrizgavanje
Neispitano i pretpostavlja se sigurno
Pristup s najmanjim privilegijama po korisniku i zadatku
Agent može pročitati sve
Odobrenja i ograničenja povrata novca, e-poruka i ažuriranja
Agent djeluje bez ograničenja
Zaštićeni su upiti, ključevi i osobni podaci
Sistemski upit i izloženi zapisi
Zabilježeni razgovori s upozorenjima o zlouporabi
Nema zapisa o tome što je umjetna inteligencija učinila
Tokovi podataka mapirani za DPDP i recenzije klijenata
Osobni podaci poslani bilo gdje
Interni testeri penetracije s OSCP-om i CEH-om, pregledani od strane glavnog auditora ISO 27001.
Opseg, pravila angažmana i NDA potpisani prije nego što se dotaknemo sustava.
Neovisno revidirana sigurnost informacija.
Jedna osoba koja poznaje vaše sustave, od procjene opsega do ponovnog testiranja.
Zašto je potrebno sigurnosno testiranje AI sustavima
Chatbotovi i AI agenti primaju upute napisane jednostavnim jezikom i ne mogu uvijek razlikovati vaše upute od teksta koji je napadač ubacio u e-poštu, web stranicu, zahtjev za podršku ili PDF. Kada isti agent može pretraživati vaše dokumente, ažurirati CRM ili ERP zapis, izdati povrat novca ili poslati WhatsApp poruku, uspješan napad postaje pravi incident.
Sigurnosno testiranje umjetne inteligencije i LLM-a pronalazi te slabosti prije nego što ih pronađu korisnici ili napadači. Kao osnovu koristimo OWASP Top 10 za LLM aplikacije.
Što testiramo
- Izravno prompt ubrizgavanje i pokušaji jailbreaka od strane korisnika
- Neizravno ubrizgavanje prompta putem dokumenata, e-pošte, web stranica i rezultata alata
- Curenje sistemskih upita, API ključeva, korisničkih zapisa i podataka drugih korisnika
- Prekomjerna agencija: što agent može učiniti i vrijede li ograničenja i odobrenja
- Kontrola pristupa za pronalaženje (RAG), tako da korisnici vide samo dokumente koje smiju vidjeti
- Ograničenja evidentiranja, praćenja i zloupotrebe
Zaštitne ograde koje smo postavili
Testiranje je samo pola posla. Možemo dodati filtriranje ulaza i izlaza, pristup s najmanje privilegija za svaki alat koji agent koristi, ljudsko odobrenje za osjetljive radnje poput povrata novca ili masovnih poruka, ograničenja brzine, maskiranje osobnih podataka u zapisnicima i upozorenja kada se sustav zlouporabi. Također dokumentiramo koje osobne podatke sustav obrađuje i kamo idu, što podržava vaše obveze prema indijskom Zakonu o DPDP-u. Konačne odluke o usklađenosti trebaju uključivati vašeg pravnog savjetnika.
Kako funkcionira zaruka
- Opseg. Pregledavamo slučaj upotrebe, model i platformu, izvore podataka i radnje koje umjetna inteligencija može poduzeti.
- Testiranje od strane crvenog tima s bibliotekom uputa za napad i scenarijima napisanim za vaše poslovanje.
- Uz svaki nalaz izvijestite o tome kako je potaknut, njegovom utjecaju i preporučenim mjerama zaštite.
- Popravci, od strane vašeg ili našeg tima, nakon čega slijedi ponovno testiranje.
Sigosoft gradi AI agente, WhatsApp i glasovne asistente te automatizaciju tijeka rada, pa testiramo s razumijevanjem graditelja o tome kako su ti sustavi sastavljeni. Testiranje provodi naš interni sigurnosni tim sa specijaliziranim partnerima, u skladu s procesima certificiranim prema ISO 27001:2022. Pogledajte također AI agente i automatizaciju tijeka rada te glas i WhatsApp AI.
Što osiguravamo.
AI chatbotovi
Web stranica, WhatsApp i glasovni asistenti.
AI agenti
Agenti koji čitaju e-poštu, ažuriraju CRM ili ERP i šalju poruke.
RAG sustavi
Pretraživanje dokumenata i baze znanja izgrađene na vašim podacima.
LLM integracije
OpenAI, Anthropic, Gemini i modeli otvorenog koda.
ograda
Ulazni i izlazni filteri, odobrenja i ograničenja brzine.
AI upravljanje
Pravila korištenja, bilježenje i rukovanje podacima za revizije.
Opseg za nekoliko dana. Izvješće za dva tjedna. Ponovno testiranje uključeno.
- 1Dan 1–3
Djelokrug
Što testirati, testni računi, datumi i pravila angažmana, pod ugovorom o tajnosti podataka.
- 21.–2. tjedan
test
Automatizirano praćenje, a zatim ručno testiranje od strane certificiranih testera. Kritični problemi prijavljeni isti dan.
- 3Kraj 2. tjedna
Prijavi i popravi
Provjereni nalazi rangirani prema riziku, s rješenjima za vaš stog. Mi možemo napraviti rješenja.
- 4Unutar 60 dana
Uočeno
Svaki popravak je ponovno testiran i potvrđen, s ažuriranim izvješćem za revizore i klijente.
AI sustavi koje smo izgradili.
„Treća agencija koju smo isprobali. Prva koja je zapravo isporučila.“Khalid Al-Rashid · Voditelj operacija, StratEdge GroupPogledajte sve projekte
Promptno ubrizgavanje je kada tekst koji unese korisnik ili je skriven u dokumentu, e-pošti ili web stranici promijeni rad AI modela, na primjer zbog čega ignorira svoja pravila ili otkriva podatke. To je prvi rizik u OWASP Top 10 za LLM aplikacije.
Ne. Testiramo chatbotove i agente koje je izradio bilo koji tim ili dobavljač, sve dok ste njihov vlasnik ili imate dopuštenje za njihovo testiranje.
Testiramo aplikacije izgrađene na OpenAI, Anthropic, Google Gemini i modelima otvorenog koda, uključujući RAG sustave i agente izgrađene s n8n, Make ili prilagođenim kodom.
Da. Sami izrađujemo AI agente, tako da možemo dodati zaštitne ograde, ograničiti dopuštenja, dodati korake ljudskog odobrenja i postaviti bilježenje za vas.
Pomaže. Mapiramo koje osobne podatke vaš AI sustav prikuplja, gdje se šalju i koliko dugo se čuvaju, što podržava vaše obveze prema Zakonu o DPDP-u. Konačne odluke o usklađenosti trebaju uključivati vašeg pravnog savjetnika.
Pokrenite svog AI agenta s testiranim, a ne nagađanim rizicima.
Recite nam što vam je potrebno testirati ili certificirati. Odgovorit ćemo vam s opsegom, vremenskim okvirom i cijenom u roku od 2 sata.

