Ein­füh­rung

Gene­ra­tive KI schafft viele span­nende Anwen­dungs­fälle in ver­schie­de­nen Bran­chen. Um einen ech­ten geschäft­li­chen Nut­zen aus gene­ra­ti­ver KI zu zie­hen, ist die Inte­gra­tion von Large Lan­guage Models (LLM) in die Wis­sens­ba­sis des Unter­neh­mens erforderlich.

LLMs wer­den nicht auf pro­prie­tä­rem unter­neh­mens­spe­zi­fi­schem Wis­sen trai­niert (son­dern auf öffent­lich zugäng­li­chen Inter­net­da­ten), sie könn­ten hal­lu­zi­nie­ren und fal­sche Ant­wor­ten auf unter­neh­mens­spe­zi­fi­sche Fra­gen geben.

In die­sem Blog werde ich eine Mög­lich­keit vor­stel­len, wie Sie Ihre Unter­neh­mens­da­ten (Con­fluence-Sei­ten, Sales­force-Daten, CRM-Daten, rela­tio­nale Daten­ban­ken, Hand­bü­cher usw.) schnell (inner­halb von 1–2 Stun­den) und sicher mit Large Lan­guage Models (LLM) inte­grie­ren kön­nen. Es han­delt sich um eine voll­stän­dige End-to-End-Lösung – kein Modell­trai­ning, keine Fein­ab­stim­mung und keine umfang­rei­che Bereit­stel­lung erforderlich.

Sie benö­ti­gen auch keine spe­zi­el­len KI/ML-Erfah­run­gen oder umfas­sen­des Ent­wick­ler­wis­sen, um diese Lösung ein­zu­set­zen. Die Ant­wor­ten beru­hen auf dem spe­zi­fi­schen Wis­sen Ihres Unter­neh­mens und ver­mei­den Pro­bleme mit der Fak­ti­zi­tät, wie z. B. Hal­lu­zi­na­tio­nen und aus dem Zusam­men­hang geris­sene Antworten.

Diese Lösung ermög­licht viele geschäft­li­che Anwen­dungs­fälle wie z. B:

• Ver­bes­se­rung der Kun­de­n­er­fah­rung: Intel­li­gente Chat-Bots, die Ant­wor­ten auf der Grund­lage von Unter­neh­mens­da­ten geben – z. B. Auf­trags­sta­tus, Kon­to­stand usw.
• Stei­ge­rung der inter­nen Mit­ar­bei­ter­pro­duk­ti­vi­tät: durch die Erstel­lung von unter­neh­mens­spe­zi­fi­schen Angeboten/Marketingmaterial/Handbüchern/Stellenbeschreibungen usw.
• Interne Such­ma­schine: Durch­su­chen von Code-Repo­si­to­ries, inter­nen Doku­men­ten, Wikis usw.

TLDR: Wenn Sie diese Lösung sofort ver­wen­den möch­ten, gehen Sie zu Git­Hub und fol­gen Sie den dor­ti­gen Schrit­ten, um die Lösung in Ihrem AWS-Konto mit Zugriff auf Ama­zon Bed­rock oder Sage­Ma­ker Jump­start bereit­zu­stel­len. Sie sind in 1–2 Stun­den bereit, diese Lösung zu ver­wen­den. In die­sem Blog habe ich her­vor­ge­ho­ben, wie diese Lösung mit AWS imple­men­tiert wird, aber die Lösung kann auch mit ande­ren seman­ti­schen Such- und LLM-API-Ser­vices imple­men­tiert wer­den. Wenn Sie daran inter­es­siert sind, die Details die­ser Lösung zu ver­ste­hen, lesen Sie bitte weiter.

Hoch­ran­gige Anfor­de­run­gen an die Lösung:

Bevor wir uns mit den Ein­zel­hei­ten der Imple­men­tie­rung befas­sen, soll­ten wir die typi­schen Anfor­de­run­gen eines Unternehmensarchitekten/Unternehmenseigentümers an eine sol­che Lösung festlegen:

1. Daten­viel­falt: Meine Unter­neh­mens­da­ten befin­den sich in ver­schie­de­nen Repo­si­to­ries – Hand­bü­cher (PDF/Word), Con­fluence-Sei­ten, Sales­force, Share­point, Jira, Git­hub, rela­tio­nale Daten­ban­ken, E‑Mail-Ser­ver, gemein­same Datei­sys­teme usw. Die Lösung muss es mir ermög­li­chen, auf Wis­sen aus all die­sen Quel­len zuzu­grei­fen und hilf­rei­che Ant­wor­ten auf die Fra­gen der Benut­zer zu geben.
2. Agi­li­tät: Ich muss schnell einen POC erstel­len, um sei­nen geschäft­li­chen Nut­zen zu prü­fen. Daher muss ich eine Mög­lich­keit haben, eine funk­tio­nie­rende Anwen­dung zu erstel­len, vor­zugs­weise inner­halb weni­ger Stunden.
3. Sicher­heit: Es muss mög­lich sein, für diese Anwen­dung die glei­chen Sicher­heits­kon­trol­len anzu­wen­den, wie ich sie in mei­nen ande­ren Unter­neh­mens­an­wen­dun­gen habe, z. B. Ver­schlüs­se­lung von Daten im Ruhezustand/bei der Über­tra­gung, Iden­ti­täts­zu­griffs­ma­nage­ment, Schlüs­sel­ver­wal­tungs­sys­tem usw.
4. Fle­xi­bi­li­tät bei der Wahl des LLM-Modells: Ich kann das beste LLM für den jewei­li­gen Anwen­dungs­fall wäh­len. Es muss mög­lich sein, aus einer Viel­zahl von LLM-Model­len – Open Source oder pro­prie­tär – zu wäh­len, so dass Sie Kosten/Leistung opti­mie­ren können.
5. Ver­ant­wor­tungs­vol­les KI-Sys­tem: Das Sys­tem sollte ein ver­ant­wor­tungs­be­wuss­tes KI-Sys­tem sein, das hilf­rei­che, harm­lose (keine Toxi­zi­tät, expli­zite Inhalte) und ehr­li­che Ant­wor­ten gibt.

Drei Lösungs­kom­po­nen­ten

Mit den oben genann­ten Anfor­de­run­gen würde die Lösung auf 3 Kom­po­nen­ten basieren

1. Retrie­val-Aug­men­ted Gene­ra­tion (RAG): Basie­rend auf dem Papier ist RAG ein Ansatz, der dem Sprach­mo­dell hilft, unter­neh­mens­spe­zi­fi­sches Wis­sen zu ver­ste­hen und kon­text­be­zo­gene Ant­wor­ten auf die Fra­gen der Benut­zer zu geben.

Sprach­mo­delle wer­den anhand gro­ßer Men­gen von Text­da­ten trai­niert, um zu ler­nen, wie man flüs­si­gen Text erzeugt. Sie kön­nen jedoch nur das gene­rie­ren, was sie in ihren Trai­nings­da­ten gese­hen haben. Mit Retrie­val Aug­men­ted Gene­ra­tion soll diese Ein­schrän­kung über­wun­den wer­den. Es ermög­licht einem Sprach­mo­dell, sein Wis­sen zu erwei­tern, indem es rele­vante Infor­ma­tio­nen aus einer gro­ßen Text­da­ten­bank abruft. Das Sprach­mo­dell kann dann diese abge­ru­fe­nen Infor­ma­tio­nen nut­zen, um Texte zu gene­rie­ren, die mehr auf Wis­sen und Fak­ten basie­ren. Die­ser Ansatz hilft dem Sprach­mo­dell, kohä­ren­tere, sach­lich kon­sis­tente und infor­ma­tive Texte zu gene­rie­ren, indem es sein erlern­tes Wis­sen mit abge­ru­fe­nen Fak­ten erweitert.

In unse­rer Archi­tek­tur küm­mert sich die RAG um die Anfor­de­rung 5, hilf­rei­che, harm­lose und ehr­li­che Ant­wor­ten zu geben.

2. Ama­zon Ken­dra: Ama­zon Ken­dra ist ein KI-gestütz­ter Unter­neh­mens­such­dienst von Ama­zon. In die­ser Lösung wird Ken­dra für Fol­gen­des verwendet:

• Schnelle Inte­gra­tion von Unter­neh­mens­wis­sen: Ama­zon Ken­dra ermög­licht die Auf­nahme von unstruk­tu­rier­ten Unter­neh­mens­da­ten aus Daten­quel­len wie Wiki-Sei­ten, MS Share­Point-Sites, Atlas­sian Con­fluence und Doku­men­ten-Repo­si­to­ries wie Ama­zon S3. Es kann auch auf Daten aus Ihrer rela­tio­na­len Daten­bank (RDS) zugrei­fen. Es ver­fügt über 40+ Kon­nek­to­ren zu ver­schie­de­nen Unter­neh­mens-Repo­si­to­ries. So kann eine Viel­zahl von Unter­neh­mens­da­ten indi­ziert wer­den. Außer­dem bie­tet sie AWS-Sicher­heits­kon­trol­len (Anfor­de­rung 1 und 3)
• Seman­ti­sche Suche: Ken­dra nutzt maschi­nel­les Ler­nen und die Ver­ar­bei­tung natür­li­cher Spra­che, um den Inhalt und die Absicht hin­ter Benut­zer­an­fra­gen bes­ser zu ver­ste­hen. Dadurch kön­nen rele­van­tere Ergeb­nisse als bei der her­kömm­li­chen schlag­wort­ba­sier­ten Suche erzielt wer­den. Wir wer­den die Retrie­val-API von Ken­dra nut­zen, um rele­vante Text­pas­sa­gen (aus den in Ken­dra indi­zier­ten Unter­neh­mens­do­ku­men­ten) abzu­ru­fen und als Kon­text an die an LLM gesen­dete Benut­zer­an­frage anzu­hän­gen. Die­ser Ansatz erleich­tert die Retrie­val Aug­men­ted Gene­ra­tion im Ver­gleich zur Ver­wen­dung von Vek­tor­da­ten­ban­ken mit Ein­bet­tun­gen. (Anfor­de­rung 2 und 5)

3. Ama­zon Bedrock/SageMaker Jump­start: Ama­zon Bed­rock ist ein voll­stän­dig ver­wal­te­ter Ser­vice, der FMs von füh­ren­den KI-Start­ups und Ama­zon über eine API zur Ver­fü­gung stellt, sodass Sie aus einer brei­ten Palette von FMs das Modell aus­wäh­len kön­nen, das für Ihren Anwen­dungs­fall am bes­ten geeig­net ist.
Mit der Ser­ver­less-Erfah­rung von Bed­rock kön­nen Sie schnell los­le­gen, FMs pri­vat mit Ihren eige­nen Daten anpas­sen und sie ein­fach in Ihre Anwen­dun­gen inte­grie­ren und bereit­stel­len, indem Sie die AWS-Tools und ‑Funk­tio­nen nut­zen, mit denen Sie ver­traut sind, ohne eine Infrastruktur ver­wal­ten zu müs­sen.
Wenn Sie ein Modell aus Hug­ging Face Model Hub ver­wen­den möch­ten, kön­nen Sie direkt einen End­punkt aus Sage­Ma­ker Jump­start bereit­stel­len und mit der Nut­zung begin­nen. Diese Kom­po­nente erfüllt unsere Anfor­de­run­gen 3 und 4.

High Level Architecture

0. Ama­zon Ken­dra ermög­licht die Auf­nahme von unstruk­tu­rier­ten Unter­neh­mens­da­ten aus Daten­quel­len wie Wiki-Sei­ten, MS Share­Point-Sites, Atlas­sian Con­fluence und Doku­men­ten-Repo­si­to­ries wie Ama­zon S3.

Sobald die Unter­neh­mens­do­ku­mente in Ken­dra indi­ziert sind, sieht der Ablauf für die Benut­zer­ab­frage in unse­rer GenAI-App wie folgt aus:

1. Der Benut­zer stellt eine Anfrage an die GenAI-App.
2. Die App stellt auf der Grund­lage der Benut­zer­an­frage eine Such­an­frage an den Ama­zon Kendra-Index.
3. Der Index gibt Such­ergeb­nisse mit Aus­zü­gen rele­van­ter Doku­mente aus den auf­ge­nom­me­nen Unter­neh­mens­da­ten zurück.
4. Die App sen­det die Benut­zer­an­frage zusam­men mit den aus dem Index abge­ru­fe­nen Daten als Kon­text an die LLM-Eingabeaufforderung.
5. Der LLM gibt eine knappe Ant­wort auf die Benut­zer­an­frage auf der Grund­lage der abge­ru­fe­nen Daten zurück.
6. Die Ant­wort des LLM wird an den Benut­zer zurück­ge­sen­det. Die App stellt eine Such­an­frage an den Ama­zon Ken­dra-Index auf der Grund­lage der Benutzeranfrage.

Demo der Lösung

Mit Hilfe der obi­gen Lösung habe ich öffent­lich zugäng­li­che Jah­res­ab­schlüsse ver­schie­de­ner Ban­ken in den Nie­der­lan­den inte­griert. Die­ser Bot wird nun in der Lage sein, alle Fra­gen zu Fak­ten, Inter­pre­ta­tio­nen und Ver­glei­chen zu den Jah­res­ab­schlüs­sen die­ser Ban­ken zu beantworten.

Fazit

Mit die­ser Archi­tek­tur kön­nen Sie auch das am bes­ten geeig­nete LLM für Ihren Anwen­dungs­fall auswählen.

• Zu den LLM-Optio­nen gehö­ren die AWS-Part­ner Hug­ging Face, AI21 Labs, Cohere und andere, die auf einem Ama­zon Sage­Ma­ker-End­punkt gehos­tet wer­den, sowie Modelle von Unter­neh­men wie Anthro­pic und OpenAI.
• Mit Ama­zon Bed­rock kön­nen Sie Ama­zon Titan, Ama­zons eige­nes LLM oder Part­ner-LLMs wie die von AI21 Labs und Anthro­pic mit APIs sicher aus­wäh­len, ohne dass Ihre Daten das AWS-Öko­sys­tem ver­las­sen müssen.

Auch mit Ama­zon Ken­dra kön­nen Sie eine Viel­zahl Ihrer Unter­neh­mens­da­ten schnell in LLM inte­grie­ren und die Imple­men­tie­rung von Retrie­val Aug­men­ted Gene­ra­tion wird ganz ein­fach und Sie kön­nen die gesamte Lösung in weni­gen Stun­den durch­gän­gig implementieren.

Quelle: medium.com