Bei einer lokalen KI wird ein Sprachmodell direkt auf eigenen Servern oder Workstations im Unternehmen betrieben. Nach dem einmaligen Herunterladen steht das Modell allen Mitarbeitenden zur Verfügung, ganz ohne die Einbindung externer Anbieter.

In technischer Hinsicht basieren diese Systeme auf denselben Modellarchitekturen wie ChatGPT oder Claude. Der entscheidende Unterschied besteht darin, dass viele Entwickler ihre Sprachmodelle als offene Gewichte bereitstellen. Dadurch können Unternehmen diese kostenfrei beziehen und vollständig auf ihrer eigenen Hardware ausführen.