ხელოვნური ინტელექტისა და სამართლის მაგისტრის უსაფრთხოების ტესტირებახელოვნური ინტელექტის აგენტები და ჩატბოტები, რომლებსაც მონაცემების გაჟონვაზე დათანხმება არ შეუძლიათ.
LLM აპლიკაციების, ხელოვნური ინტელექტის აგენტებისა და ჩატბოტების უსაფრთხოების ტესტირება. ჩვენ ვამოწმებთ სწრაფ ინექციას, მონაცემთა გაჟონვას და სახიფათო ქმედებებს, შემდეგ კი ვამატებთ დამცავ ბარიერებს, რომლებიც მათ აჩერებს.
- OWASP-ის 10 საუკეთესო LLM-ის კანდიდატი
- სწრაფი ინექციის ტესტირება
- აგენტის დამცავი ღობეები
- WhatsApp და ხმოვანი ბოტები
- სწრაფი ინექცია დაბლოკილია · PDF ფაილში დამალული ინსტრუქციაკრიტიკული
- სისტემის მოთხოვნა აღარ არის გამოვლენილიმაღალი
- აგენტის მიერ თანხის დაბრუნების ლიმიტი ძალაშიასაშუალო
- მომხმარებლის მონაცემები შენიღბულია ჟურნალებშიფიქსირებული
ხელოვნური ინტელექტის აგენტები ინსტრუქციებს მისდევენ. მათ შორის არასწორ ინსტრუქციებსაც.
LLM-ის მოტყუება შესაძლებელია ელფოსტაში, ვებგვერდზე ან დოკუმენტში დამალული ტექსტით. როდესაც ამ აგენტს შეუძლია მონაცემების წაკითხვა ან ქმედებების განხორციელება, რისკი რეალურია. ჩვენ ამას ვამოწმებთ გაშვებამდე.
ტესტირებულია პირდაპირი და არაპირდაპირი ინექცია
შეუმოწმებელი და უსაფრთხოდ მიჩნეული
ყველაზე დაბალი პრივილეგიის მქონე წვდომა მომხმარებლისა და დავალების მიხედვით
აგენტს ყველაფრის წაკითხვა შეუძლია
თანხის დაბრუნებაზე, ელფოსტასა და განახლებებზე დამტკიცებები და ლიმიტები
აგენტი მოქმედებს შეზღუდვების გარეშე
დაცულია მოთხოვნები, გასაღებები და პერსონალური მონაცემები
სისტემის მოთხოვნა და ჩანაწერები გამოვლენილია
ბოროტად გამოყენების შესახებ შეტყობინებებით რეგისტრირებული საუბრები
არ არსებობს ჩანაწერი იმის შესახებ, თუ რა გააკეთა ხელოვნურმა ინტელექტმა
მონაცემთა ნაკადები შედგენილია DPDP-ისა და კლიენტების მიმოხილვებისთვის
პერსონალური მონაცემები გაიგზავნება ნებისმიერ ადგილას
ISO 27001 წამყვანი აუდიტორის მიერ შემოწმებული OSCP და CEH სისტემების მქონე შიდა შეღწევადობის ტესტერები.
მოქმედების სფერო, ჩართულობის წესები და მონაცემთა ბაზის შესახებ შეთანხმება ხელმოწერილია სისტემასთან შეხებამდე.
დამოუკიდებლად აუდიტირებული ინფორმაციული უსაფრთხოება.
ერთი ადამიანი, რომელიც იცნობს თქვენს სისტემებს, მასშტაბის შეფასებიდან ხელახალ ტესტირებამდე.
რატომ სჭირდებათ ხელოვნური ინტელექტის სისტემებს უსაფრთხოების ტესტირება
ჩატბოტები და ხელოვნური ინტელექტის აგენტები ინსტრუქციებს გასაგებ ენაზე იღებენ და მათ ყოველთვის არ შეუძლიათ თქვენი ინსტრუქციების გარჩევა ტექსტისგან, რომელიც თავდამსხმელმა შეუშვა ელ. ფოსტაში, ვებგვერდზე, დახმარების ბილეთში ან PDF ფაილში. როდესაც იგივე აგენტი ახერხებს თქვენი დოკუმენტების მოძიებას, CRM ან ERP ჩანაწერის განახლებას, თანხის დაბრუნებას ან WhatsApp-ზე შეტყობინების გაგზავნას, წარმატებული შეტევა რეალურ ინციდენტად იქცევა.
ხელოვნური ინტელექტისა და LLM-ის უსაფრთხოების ტესტირება ამ სისუსტეებს მომხმარებლების ან თავდამსხმელების წინაშე ავლენს. ჩვენ საბაზისო მაჩვენებლად ვიყენებთ OWASP-ის ტოპ 10-ეულს LLM აპლიკაციებისთვის.
რას ვამოწმებთ
- ✓მომხმარებლების მხრიდან პირდაპირი სწრაფი ინექციის და ჯეილბრეიკის მცდელობები
- ✓არაპირდაპირი სწრაფი ინექცია დოკუმენტების, ელექტრონული ფოსტის, ვებგვერდების და ინსტრუმენტების შედეგების მეშვეობით
- ✓სისტემის მოთხოვნების, API გასაღებების, მომხმარებლის ჩანაწერების და სხვა მომხმარებლების მონაცემების გაჟონვა
- ✓გადაჭარბებული აგენტობა: რა შეუძლია გააკეთოს აგენტმა და მოქმედებს თუ არა ლიმიტები და დამტკიცებები
- ✓მოძიების (RAG) წვდომის კონტროლი, ამიტომ მომხმარებლები მხოლოდ იმ დოკუმენტებს ხედავენ, რომელთა ნახვის უფლებაც აქვთ
- ✓ჟურნალირების, მონიტორინგისა და ბოროტად გამოყენების ლიმიტები
ჩვენს მიერ დამონტაჟებული დამცავი ღობეები
ტესტირება მხოლოდ ნახევარი სამუშაოა. ჩვენ შეგვიძლია დავამატოთ შეყვანის და გამოყვანის ფილტრაცია, აგენტის მიერ გამოყენებული თითოეული ინსტრუმენტისთვის ყველაზე დაბალი პრივილეგიის მქონე წვდომა, ადამიანის დამტკიცება მგრძნობიარე ქმედებებისთვის, როგორიცაა თანხის დაბრუნება ან მასობრივი შეტყობინებები, ტარიფების შეზღუდვები, პერსონალური მონაცემების შენიღბვა ჟურნალებში და შეტყობინებები სისტემის არასათანადო გამოყენების შემთხვევაში. ჩვენ ასევე ვაფიქსირებთ, თუ რა პერსონალურ მონაცემებს ამუშავებს სისტემა და სად მიდის ისინი, რაც მხარს უჭერს თქვენს ვალდებულებებს ინდოეთის DPDP აქტის შესაბამისად. საბოლოო შესაბამისობის გადაწყვეტილებებში უნდა მონაწილეობდეს თქვენი იურიდიული მრჩეველი.
როგორ მუშაობს ჩართულობა
- 1მასშტაბის განსაზღვრა. ჩვენ განვიხილავთ გამოყენების შემთხვევას, მოდელსა და პლატფორმას, მონაცემთა წყაროებს და იმ ქმედებებს, რომელთა განხორციელებაც ხელოვნურ ინტელექტს შეუძლია.
- 2Red-team-ის ტესტირება შეტევის მოთხოვნების ბიბლიოთეკითა და თქვენი ბიზნესისთვის დაწერილი სცენარებით.
- 3მიუთითეთ თითოეული აღმოჩენის შესახებ, თუ როგორ მოხდა ეს, როგორი გავლენა იქონია მასზე და რა დამცავი ღობეა რეკომენდებული.
- 4გამოსწორებები, თქვენი ან ჩვენი გუნდის მიერ, რასაც მოჰყვება ხელახალი ტესტირება.
Sigosoft ქმნის ხელოვნური ინტელექტის აგენტებს, WhatsApp-ს, ხმოვან ასისტენტებს და სამუშაო პროცესის ავტომატიზაციას, ამიტომ ჩვენ ვამოწმებთ ამ სისტემების აგების შემქმნელის გაგებასთან ერთად. ტესტირებას ახორციელებს ჩვენი შიდა უსაფრთხოების გუნდი სპეციალიზებულ პარტნიორებთან ერთად, ISO 27001:2022 სერტიფიცირებული პროცესების შესაბამისად. იხილეთ აგრეთვე ხელოვნური ინტელექტის აგენტები და სამუშაო პროცესის ავტომატიზაცია , ხმოვანი და WhatsApp-ის ხელოვნური ინტელექტი.
რასაც ჩვენ ვუზრუნველყოფთ.
AI ჩოთბოტები
ვებსაიტი, WhatsApp და ხმოვანი ასისტენტები.
AI აგენტებს
აგენტები, რომლებიც კითხულობენ ელფოსტას, აახლებენ CRM ან ERP სისტემებს და აგზავნიან შეტყობინებებს.
RAG სისტემები
დოკუმენტების ძიება და თქვენს მონაცემებზე დაფუძნებული ცოდნის ბაზები.
LLM ინტეგრაციები
OpenAI, Anthropic, Gemini და ღია კოდის მოდელები.
გვარდილები
შეყვანის და გამოყვანის ფილტრები, დამტკიცებები და ტარიფების ლიმიტები.
AI მმართველობა
აუდიტებისთვის გამოყენების პოლიტიკა, ჟურნალირება და მონაცემთა დამუშავება.
მასშტაბი განისაზღვრება დღეებში. ანგარიში ორ კვირაში იქნება წარდგენილი. ხელახალი ტესტირება შედის ანგარიშში.
- 1დღე 1–3
სფერო
რა უნდა შემოწმდეს, ანგარიშების შემოწმების, თარიღების და ჩართულობის წესები, ინფორმაციის საიდუმლოების შესახებ შეთანხმების თანახმად.
- 2კვირა 1–2
ტესტი
ავტომატური დაფარვა, შემდეგ სერტიფიცირებული ტესტერების მიერ ხელით ტესტირება. კრიტიკული პრობლემები იმავე დღეს იქნა მოხსენებული.
- 3მე-2 კვირის დასასრული
შეტყობინება და შესწორება
დადასტურებული დასკვნები, დალაგებული რისკის მიხედვით, თქვენი სტეკის შესწორებებით. ჩვენ შეგვიძლია შესწორებების შეტანა.
- 4ფარგლებში 60 დღის
ხელახალი გამოცდა
ყველა შესწორება ხელახლა შემოწმდა და დადასტურდა, განახლებული ანგარიშით კი აუდიტორები და კლიენტები.
ჩვენს მიერ შექმნილი ხელოვნური ინტელექტის სისტემები.
„მესამე სააგენტო, რომელიც ვცადეთ. პირველი, რომელმაც რეალურად შეასრულა ჩვენი სამუშაო.“ხალიდ ალ-რაშიდი · ოპერაციების ხელმძღვანელი, StratEdge Groupყველა პროექტის ნახვა
სწრაფი ინექცია ხდება მაშინ, როდესაც მომხმარებლის მიერ მოწოდებული ან დოკუმენტში, ელფოსტაში ან ვებგვერდზე დამალული ტექსტი ცვლის ხელოვნური ინტელექტის მოდელის მოქმედებას, მაგალითად, აიძულებს მას უგულებელყოს მისი წესები ან გამოავლინოს მონაცემები. ეს არის პირველი რისკი OWASP-ის LLM აპლიკაციების ტოპ 10-ში.
არა. ჩვენ ვამოწმებთ ნებისმიერი გუნდის ან გამყიდველის მიერ შექმნილ ჩატბოტებსა და აგენტებს, იმ პირობით, რომ ისინი თქვენ გეკუთვნით ან გაქვთ მათი ტესტირების ნებართვა.
ჩვენ ვამოწმებთ OpenAI-ზე, Anthropic-ზე, Google Gemini-ზე და ღია კოდის მოდელებზე აგებულ აპლიკაციებს, მათ შორის n8n, Make ან მორგებული კოდით აგებულ RAG სისტემებსა და აგენტებს.
დიახ. ჩვენ თვითონ ვქმნით ხელოვნური ინტელექტის აგენტებს, ამიტომ შეგვიძლია დავამატოთ დამცავი ბარიერები, შევზღუდოთ ნებართვები, დავამატოთ ადამიანის მიერ დამტკიცების ნაბიჯები და დავაყენოთ ჟურნალირება თქვენთვის.
ეს გვეხმარება. ჩვენ ვაფიქსირებთ, თუ რა პერსონალურ მონაცემებს აგროვებს თქვენი ხელოვნური ინტელექტის სისტემა, სად იგზავნება ისინი და რამდენ ხანს ინახება, რაც მხარს უჭერს თქვენს ვალდებულებებს DPDP აქტის შესაბამისად. საბოლოო შესაბამისობის გადაწყვეტილებებში უნდა მონაწილეობდეს თქვენი იურიდიული მრჩეველი.
გაუშვით თქვენი ხელოვნური ინტელექტის აგენტი შემოწმებული რისკებით და არა გამოცნობილი.
გვითხარით, რისი ტესტირება ან სერტიფიცირება გჭირდებათ. 2 საათის განმავლობაში გიპასუხებთ მასშტაბის, ვადებისა და ღირებულების შესახებ.

