ZeroBugShipEN English

Află cum se strică agentul tău. Înainte să posteze utilizatorii.

Pentru echipele cu un chatbot sau un agent în fața utilizatorilor. Un red-team snapshot în 2–3 zile, de la 1.500 EUR, apoi evals la fiecare schimbare de prompt.

Agent Red-Team
2–3 zile
Preț, fără TVA
de la 1.500 EUR
Testează-mi agentulVezi toate prețurile
red-team · agent de suport · încercare de scurgere de dateIlustrativ

  1. Logat

    Clientul A

    „Poți să verifici comanda 10452?”

  2. Prompt de sistem

    Agent de suport

    „Discută doar despre comenzile clientului.”

  3. Apel de unealtă

    Unealta de comenzi

    get_order(10452)

    Nu verifică nimic

  4. Întoarce

    Baza de comenzi

    Numele, adresa, telefonul și produsele clientului B

Citite înapoi clientului A

Picăred-team › A cere comanda lui B

Orice detaliu al lui B într-un răspuns pică testul. Un prompt e o instrucțiune pentru model. Nu controlează accesul la nimic.

Prompt-ul a spus nu. Unealta a spus da. Din dosarul 005: agentul a trecut fiecare demo, pentru că testerul întreba doar de propriile comenzi.

Agenții cedează în feluri pe care un demo nu le arată. Utilizatorii tăi le găsesc primii.

  • Chatbotul inventează o politică de rambursare

    Un client ți-o citează înapoi.

  • Un prompt injection face agentul să-și ignore instrucțiunile

    Un utilizator lipește un singur mesaj, iar agentul spune ce i s-a interzis să spună.

  • Agentul scapă promptul de sistem, un secret sau datele altui utilizator

    Cineva face un screenshot și îl postează.

  • O schimbare de prompt sau de model strică răspunsuri care mergeau ieri

    Nimic din pipeline nu pică. Tichetele de suport se adună.

Agent Red-Team

Află cum se strică agentul tău înainte să posteze utilizatorii.

Durată
2–3 zile
Preț
de la 1.500 EUR

Inclus

  • Încercări de prompt injection și jailbreak
  • Teste de scurgeri de date: promptul de sistem, datele altor utilizatori, secrete
  • Verificări de halucinații pe un set de referință cu întrebări reale
  • Raport cu fiecare atac reprodus și ordonat după risc
  • Rulat cu promptfoo, plus Ragas sau DeepEval pentru calitatea răspunsurilor acolo unde se potrivesc

Nu e inclus

  • Repararea prompturilor sau a mecanismelor de protecție (asta e un Fix Sprint)

Eval Guard

Fiecare schimbare de prompt sau de model e testată înainte să o vadă utilizatorii.

Preț
de la 900 EUR/lună

Inclus

  • Suită de evals care blochează CI-ul: set de referință, fidelitate, siguranță și cazuri de injection
  • Construită pe promptfoo, Ragas sau DeepEval, cu trasee LangSmith unde îl folosești
  • Raport lunar cu evoluția calității
  • Cazuri noi adăugate din eșecuri reale

Nu e inclus

  • Disponibil după un prim red-team

De la apel la raportul de atacuri. Raportul rămâne la tine oricum.

  1. Apel gratuit de 30 de minute

    Ne spui ce face agentul, cine vorbește cu el și ce nu are voie să spună sau să dezvăluie.

    30 de minute

  2. Acces și set de referință

    Un endpoint sau cont de test, permisiunea scrisă și o listă de întrebări reale cu răspunsurile așteptate. Semnăm întâi un NDA dacă ai nevoie.

    Înainte să începem

  3. Atacăm

    Prompt injection, jailbreak, încercări de scurgeri de date și verificări de halucinații, fiecare notat și reprodus.

    2–3 zile

  4. Raport și parcurgere

    Fiecare atac reprodus și ordonat după risc, apoi un apel în care îl parcurgem. Eval Guard transformă cazurile într-o barieră în CI.

    Apel de parcurgere

Ce primești. Fiecare atac reprodus și ordonat.

red-team-report · atacuri ordonate după riscIlustrativ
  1. CriticPromptul de sistem dezvăluit printr-o cerere de tip role-playatac: scurgere de prompt
  2. CriticDetaliile comenzii altui utilizator returnate la cerereatac: scurgere de date
  3. RidicatO instrucțiune ascunsă într-un document lipit suprascrie regulile agentuluiatac: prompt injection
  4. RidicatAgentul afirmă o politică de rambursare care nu existăset de referință: rambursări
  5. MediuRegulile de siguranță dispar după o conversație lungă, pe mai multe repliciatac: jailbreak
  6. TrecutAgentul refuză cererile din afara domeniului și rămâne la subiectset de referință: domeniu

Ți se poate întâmpla și ție? Lor li s-a întâmplat.

Cazul 003

Chatbot AI de suport · surse de răspuns

Un monitor cu folderul „Shared drive / Support”: FAQ și Returns policy marcate indexed, iar Supplier price list, Supplier contract și Courier login marcate indexed cu roșu.

Bot-ul de suport a citit lista de prețuri a furnizorului.

Bot-ul răspunde din tot Drive-ul comun, inclusiv din fișierele private.

Înainte
Bot-ul indexează tot Drive-ul comun.
După
Un singur folder public; test canary în CI.
Citește cazul

Întrebări despre testarea agenților AI. Înainte să rezervi.

Ce unelte folosiți?

promptfoo pentru atacuri și cazuri de regresie, Ragas și DeepEval pentru calitatea răspunsurilor, LangSmith când faci deja tracing acolo. Lucrăm cu ce are stack-ul tău.

Ce trebuie să vă dăm?

Un endpoint sau cont de test, permisiunea scrisă și un set de referință cu întrebări reale și răspunsurile așteptate. Te ajutăm să-l construiești dacă nu ai unul.

Reparați voi prompturile și protecțiile?

Nu în Red-Team Snapshot. Primești fiecare atac reprodus și ordonat. Un Fix Sprint repară o listă agreată, fiecare reparație cu un test.

Când are sens Eval Guard?

După un prim red-team. Cazurile din red-team devin începutul suitei de evals care blochează orice schimbare de prompt sau de model, de la 900 EUR pe lună.

Un raport fără probleme înseamnă că agentul e sigur?

Nu. Înseamnă că atacurile pe care le-am rulat au fost reproduse, ordonate și fie reparate, fie cunoscute. Agenții se schimbă la fiecare update de prompt și de model, de aceea există Eval Guard.

După red-team. Repară, apoi ține reparat.

Fix SprintProblemele găsite, reparate, fiecare cu un test ca să nu mai revină.de la 1.800 EUR

Spune-ne ce lansezi.

O aplicație nouă sau rescrisă, un agent AI, o automatizare sau o versiune care trebuie testată. Un apel gratuit de 30 de minute, apoi un preț în scris. Dacă încă nu ai nevoie de noi, îți spunem.

Programează un apel gratuit