Pressemitteilung von Bugcrowd

Bugcrowd bietet AI Bias Assessment für LLM-Anwendungen

---

---

Bugcrowd, Anbieter von Crowdsourced Security, hat die Verfügbarkeit von AI Bias Assessments als Teil seines Portfolios für AI Safety and Security auf der Bugcrowd-Plattform bekanntgegeben. AI Bias Assessment nutzt die Leistung der Crowd, um Unternehmen und Behörden zu helfen, Large-Language-Model-Anwendungen (LMM) sicher, effizient und vertrauensvoll einzuführen.


LLM-Anwendungen basieren auf algorithmischen Modellen, die auf riesigen Datensätzen trainiert werden. Selbst wenn diese Trainingsdaten von Menschen kuratiert werden, was oft nicht der Fall ist, kann die Anwendung leicht "Datenverzerrungen" widerspiegeln, die durch Stereotypen, Vorurteile, ausgrenzende Sprache und eine Reihe anderer möglicher Verzerrungen der Trainingsdaten verursacht werden. Solche Verzerrungen können dazu führen, dass sich das Modell auf potenziell unbeabsichtigte und schädliche Weise verhält, was die Anwendung von LLM mit erheblichen Risiken und Unvorhersehbarkeiten verbunden macht.


Einige Beispiele für potenzielle Fehler sind unverhältnismäßige Repräsentation oder Auslassung bestimmter Gruppen in den Trainingsdaten (Representation Bias), Vorurteile, die auf historische oder gesellschaftliche Stereotypen in den Trainingsdaten zurückzuführen sind (Pre-Existing Bias) und Vorurteile, die durch die Verarbeitung und Interpretation von Daten durch KI-Algorithmen entstehen (Algorithmic Processing Bias).


Der öffentliche Sektor ist von diesem wachsenden Risiko besonders betroffen. Ab März 2024 hat beispielsweise die US-Regierung ihre Behörden dazu verpflichtet, die KI-Sicherheitsrichtlinien einzuhalten - einschließlich der Erkennung von Datenverzerrungen. Dieses Mandat gilt später im Jahr 2024 auch für deren Auftragnehmer.


Das Problem erfordert einen neuen Sicherheitsansatz, da herkömmliche Sicherheitsscanner und Penetrationstests nicht in der Lage sind, solche Verzerrungen zu erkennen. Bugcrowd AI Bias Assessments sind private, ergebnisorientierte Projekte auf der Bugcrowd-Plattform, die vertrauenswürdige Sicherheitsforscher aus der "Crowd" aktivieren, um Schwachstellen in LLM-Anwendungen zu identifizieren und zu priorisieren. Die Teilnehmer werden auf der Grundlage des erfolgreichen Nachweises der Auswirkungen bezahlt, wobei für aussagekräftigere Ergebnisse höhere Prämien gezahlt werden.


CrowdMatch, der branchenweit erste KI-gesteuerte Ansatz der Bugcrowd-Plattform für die Beschaffung und Aktivierung von Forschern, ermöglicht den Aufbau und die Optimierung von Crowds mit praktisch allen Fähigkeiten, um beliebige Ziele der Risikominderung zu erreichen, einschließlich Sicherheitstests und darüber hinaus.


"Die Arbeit von Bugcrowd mit Kunden wie dem Chief Digital and Artificial Intelligence Office (CDAO) zusammen mit unserem Partner ConductorAI hat sich zu einem wichtigen Testfeld für die Erkennung von KI entwickelt, indem die Crowd zur Identifizierung von Datenfehlern eingesetzt wird", erläutert Dave Gerry, CEO von Bugcrowd. "Wir werden die Erfahrungen aus diesen Projekten mit anderen Kunden teilen, die vor ähnlichen Herausforderungen stehen."


"Die Partnerschaft von ConductorAI mit Bugcrowd für das AI-Bias-Assessment-Programm war sehr erfolgreich. Durch die Nutzung der KI-Audit-Expertise von ConductorAI und der Crowdsourced-Security-Plattform von Bugcrowd haben wir im Auftrag des US-Verteidigungsministeriums die erste öffentliche Prüfung von LLM-Systemen auf Bias durchgeführt. Diese Zusammenarbeit hat eine solide Grundlage für zukünftige Bias-Bounties geschaffen und zeigt unser Engagement für ethische KI", ergänzt Zach Long, Gründer von ConductorAI.


Bugcrowd deckt mit seinem "Skills-as-a-Service"-Ansatz für die Sicherheit mehr schwerwiegende Schwachstellen auf als traditionelle Methoden. Mit dem langgjährig aufgebauten Kundenstamm, der hohen Flexibilität und dem Zugang zu einem Jahrzehnt an Schwachstellendaten hat sich die Bugcrowd-Plattform kontinuierlich weiterentwickelt und spiegelt die sich verändernde Natur der Angriffsfläche wider - einschließlich der Einführung von mobiler Infrastruktur, hybrider Arbeit, APIs, Krypto, Cloud-Workloads und jetzt auch KI. Allein im Jahr 2023 fanden Kunden fast 23.000 hochrelevante Schwachstellen mithilfe der Bugcrowd-Plattform und trugen so dazu bei, potenzielle Kosten in Höhe von bis zu 100 Milliarden US-Dollar zu verhindern.


"Als führender Anbieter einer Crowdsourced-Security-Plattform ist Bugcrowd positioniert, um die neuen und sich entwickelnden Herausforderungen der KI-Bias-Bewertung zu meistern, genauso wie wir die aufkommenden Sicherheitsherausforderungen früherer Technologiewellen wie Mobile, Automotive, Cloud Computing, Krypto und APIs gemeistert haben", erklärt Casey Ellis, Gründer und Chief Strategy Officer von Bugcrowd.


Firmen- & Pressekontakt