Тэсціраванне бяспекі штучнага інтэлекту і магістра права (LLM)Агенты штучнага інтэлекту і чат-боты, якіх немагчыма ўгаварыць да ўцечкі дадзеных.
Тэставанне бяспекі для праграм LLM, агентаў штучнага інтэлекту і чат-ботаў. Мы тэстуем на наяўнасць імгненных укараненняў, уцечак дадзеных і небяспечных дзеянняў, а затым дадаем ахоўныя бар'еры, якія іх спыняюць.
- Топ-10 праграм OWASP для атрымання ступені магістра права (LLM)
- Хуткае тэставанне ін'екцый
- Ахоўныя панэлі агентаў
- WhatsApp і галасавыя боты
- Заблакіраванае імгненнае ўпырскванне · схаваная інструкцыя ў PDF-файлеКрытычны
- Сістэмны запыт больш не адлюстроўваеццаHaut
- Ужываецца ліміт вяртання сродкаў агентусерада
- Дадзеныя кліентаў маскіруюцца ў журналахфіксаваны
Агенты штучнага інтэлекту выконваюць інструкцыі. У тым ліку няправільныя.
LLM можна падмануць, схаваўшы тэкст у электронным лісце, на вэб-старонцы або ў дакуменце. Рызыка рэальная, калі гэты агент можа чытаць дадзеныя або выконваць дзеянні. Мы тэстуем гэта перад запускам.
Правераны прамы і ўскосны ўпырск
Неправераны і лічыцца бяспечным
Найменшы ўзровень доступу для кожнага карыстальніка і задачы
Агент можа прачытаць усё
Зацверджанні і абмежаванні на вяртанне сродкаў, электронныя лісты і абнаўленні
Агент дзейнічае без абмежаванняў
Падказкі, ключы і асабістыя дадзеныя абаронены
Сістэмны запыт і запісы адкрыты
Запісаныя размовы з папярэджаннямі аб злоўжываннях
Няма звестак пра тое, што рабіў штучны інтэлект
Патокі дадзеных, адлюстроўваныя для DPDP і водгукаў кліентаў
Персанальныя дадзеныя, якія адпраўляюцца куды заўгодна
Унутраныя тэсціроўшчыкі на пранікненне з OSCP і CEH, правераныя вядучым аўдытарам ISO 27001.
Аб'ём работ, правілы ўзаемадзеяння і пагадненне аб неразгалошванні падпісаны да таго, як мы дакранемся да сістэмы.
Незалежная праверка інфармацыйнай бяспекі.
Адзін чалавек, які ведае вашы сістэмы, ад вызначэння аб'ёму да паўторнага тэставання.
Чаму сістэмы штучнага інтэлекту маюць патрэбу ў тэсціраванні бяспекі
Чат-боты і агенты са штучным інтэлектам атрымліваюць інструкцыі на зразумелай мове і не заўсёды могуць адрозніць вашы інструкцыі ад тэксту, які зламыснік падсунуў у электронны ліст, на вэб-старонку, у запыт падтрымкі або ў PDF-файл. Калі той самы агент можа шукаць вашы дакументы, абнаўляць запісы CRM або ERP, вярнуць грошы або адпраўляць паведамленне ў WhatsApp, паспяховая атака становіцца рэальным інцыдэнтам.
Тэставанне бяспекі штучнага інтэлекту і LLM выяўляе гэтыя ўразлівасці раней, чым гэта робяць кліенты або зламыснікі. У якасці асновы мы выкарыстоўваем рэйтынг OWASP Top 10 для прыкладанняў LLM.
Што мы тэстуем
- ✓Прамыя імгненныя ўстаўкі і спробы джейлбрэйка ад карыстальнікаў
- ✓Ускоснае ўвядзенне запытаў праз дакументы, электронную пошту, вэб-старонкі і вынікі працы інструментаў
- ✓Уцечка сістэмных запытаў, ключоў API, запісаў кліентаў і дадзеных іншых карыстальнікаў
- ✓Залішняя свабода дзеянняў: што можа зрабіць агент, і ці дзейнічаюць абмежаванні і дазволы
- ✓Кантроль доступу да пошуку (RAG), каб карыстальнікі бачылі толькі тыя дакументы, якія ім дазволена бачыць
- ✓Ліміты рэгістрацыі, маніторынгу і злоўжыванняў
Агароджы, якія мы ўсталёўваем
Тэставанне — гэта толькі палова справы. Мы можам дадаць фільтрацыю ўводу і вываду, доступ з мінімальнымі прывілеямі для кожнага інструмента, які выкарыстоўвае агент, адабрэнне чалавекам канфідэнцыйных дзеянняў, такіх як вяртанне грошай або масавыя паведамленні, абмежаванні хуткасці, маскіроўку асабістых дадзеных у журналах і папярэджанні аб няправільным выкарыстанні сістэмы. Мы таксама дакументуем, якія асабістыя дадзеныя апрацоўвае сістэма і куды яны накіроўваюцца, што падтрымлівае вашы абавязацельствы ў адпаведнасці з Законам Індыі аб DPDP. Канчатковыя рашэнні аб выкананні павінны прымацца вашым юрысконсультам.
Як працуе заручыны
- 1Вызначэнне аб'ёму. Мы разглядаем выпадак выкарыстання, мадэль і платформу, крыніцы дадзеных і дзеянні, якія можа выканаць штучны інтэлект.
- 2Тэсціраванне чырвонай каманды з бібліятэкай падказак для атакі, а таксама сцэнарыяў, напісаных спецыяльна для вашага бізнесу.
- 3Паведамляйце пра кожную выснову, як яна была выклікана, пра яе ўплыў і рэкамендаваныя меры засцярогі.
- 4Выпраўленні вашай або нашай камандай з наступным паўторным тэставаннем.
Sigosoft стварае агенты штучнага інтэлекту, WhatsApp і галасавых памочнікаў, а таксама аўтаматызацыю працоўных працэсаў, таму мы тэстуем іх з разуменнем распрацоўшчыка таго, як гэтыя сістэмы ўладкаваны. Тэсціраванне праводзіцца нашай уласнай камандай бяспекі са спецыялізаванымі партнёрамі ў адпаведнасці з працэсамі, сертыфікаванымі па ISO 27001:2022. Глядзіце таксама агенты штучнага інтэлекту і аўтаматызацыю працоўных працэсаў , а таксама галасавыя і WhatsApp AI.
Што мы забяспечваем.
ІІ чат-боты
Вэб-сайт, WhatsApp і галасавыя памочнікі.
агенты А.І.
Агенты, якія чытаюць электронную пошту, абнаўляюць CRM або ERP і адпраўляюць паведамленні.
Сістэмы RAG
Пошук дакументаў і базы ведаў, пабудаваныя на вашых дадзеных.
Інтэграцыі LLM
OpenAI, Anthropic, Gemini і мадэлі з адкрытым зыходным кодам.
Паручнікі
Уваходныя і выходныя фільтры, дазволы і абмежаванні хуткасці.
Кіраванне ІІ
Палітыка выкарыстання, рэгістрацыя і апрацоўка дадзеных для аўдытаў.
Аб'ём работ вызначаецца за некалькі дзён. Справаздача праз два тыдні. Паўторнае тэставанне ўключана.
- 1Дзень 1–3
Сфера
Што тэставаць, тэставыя акаўнты, даты і правілы ўзаемадзеяння, у адпаведнасці з пагадненнем аб неразгалошванні.
- 2Тыдзень 1–2
тэст
Аўтаматызаванае пакрыццё, затым ручное тэставанне сертыфікаванымі тэсціроўшчыкамі. Крытычныя праблемы былі паведамлены ў той жа дзень.
- 3Канец 2-га тыдня
Паведаміць і выправіць
Правераныя вынікі, адсартаваныя па ступені рызыкі, з выпраўленнямі для вашага стэка. Мы можам зрабіць выпраўленні.
- 4У 60 дзён
Пераправерка
Кожнае выпраўленне было праверана і пацверджана паўторна, з абноўленай справаздачай для аўдытараў і кліентаў.
Сістэмы штучнага інтэлекту, якія мы стварылі.
«Трэцяе агенцтва, якое мы паспрабавалі. Першае, якое сапраўды дало вынік».Халід Аль-Рашыд · Кіраўнік аперацый, StratEdge GroupПаглядзець усе праекты
Імгненная ін'екцыя — гэта калі тэкст, уведзены карыстальнікам або схаваны ў дакуменце, электроннай пошце або вэб-старонцы, змяняе дзеянні мадэлі штучнага інтэлекту, напрыклад, прымушаючы яе ігнараваць свае правілы або раскрываць дадзеныя. Гэта першая рызыка ў топ-10 OWASP для прыкладанняў LLM.
Не. Мы тэстуем чат-ботаў і агентаў, створаных любой камандай або пастаўшчыком, пакуль яны належаць вам або ў вас ёсць дазвол на іх тэставанне.
Мы тэстуем праграмы, пабудаваныя на OpenAI, Anthropic, Google Gemini і мадэлях з адкрытым зыходным кодам, у тым ліку сістэмы RAG і агенты, пабудаваныя з дапамогай n8n, Make або карыстальніцкага кода.
Так. Мы самі ствараем агентаў са штучным інтэлектам, таму можам дадаваць ахоўныя панэлі, абмяжоўваць правы доступу, дадаваць этапы адабрэння чалавекам і наладжваць для вас рэгістрацыю.
Гэта дапамагае. Мы адсочваем, якія персанальныя даныя збірае ваша сістэма штучнага інтэлекту, куды яны адпраўляюцца і як доўга захоўваюцца, што падтрымлівае вашы абавязацельствы ў адпаведнасці з Законам DPDP. Канчатковыя рашэнні аб выкананні павінны прымацца з удзелам вашага юрысконсульта.
Запусціце свайго агента са штучным інтэлектам, прайшоўшы праверку рызык, а не здагадку.
Паведаміце нам, што вам трэба праверыць або сертыфікаваць. Мы адкажам вам з аб'ёмам, тэрмінамі і коштам на працягу 2 гадзін.

