Et si une intelligence artificielle pouvait analyser 10 000 documents confidentiels sans quâaucun ne quitte votre bureau ?
Je souhaite construire et bĂȘta-tester un vĂ©ritable serveur dâintelligence artificielle locale sous Linux, capable de travailler sur des donnĂ©es confidentielles, dâexĂ©cuter diffĂ©rents modĂšles dâIA et, lorsque cela est nĂ©cessaire, dâeffectuer des recherches sur Internet sans pour autant y envoyer automatiquement les documents privĂ©s quâil analyse.
Une intelligence artificielle utile⊠mais oĂč partent nos donnĂ©es ?
On parle Ă©normĂ©ment aujourdâhui de ChatGPT, de Gemini, du Chat de Mistral AI, de DeepSeek, mais aussi dâune quantitĂ© croissante de modĂšles que lâon peut tĂ©lĂ©charger sur Hugging Face et exĂ©cuter sur son propre matĂ©riel.
On peut désormais demander à une intelligence artificielle :
- dâanalyser des centaines ou des milliers de PDF ;
- de comparer des contrats ;
- dâĂ©tudier un dossier juridique ;
- dâanalyser des donnĂ©es comptables ou techniques ;
- de rechercher dans une documentation interne ;
- de produire du code et des scripts ;
- dâanalyser des journaux systĂšme ;
- de rechercher des anomalies dans des fichiers ;
- de produire des rapports, tableaux et synthĂšses ;
- dâanalyser des images, scans et documents numĂ©risĂ©s ;
- de transcrire des contenus audio ;
- et dâautomatiser une partie de travaux rĂ©pĂ©titifs.
Mais dÚs que ces fichiers contiennent des données personnelles, professionnelles, associatives, juridiques, techniques ou commerciales, une question devient particuliÚrement importante :
Pourquoi devrais-je obligatoirement envoyer toutes ces informations sur les serveurs de quelquâun dâautre ?
Câest prĂ©cisĂ©ment Ă partir de cette question que dĂ©marre mon projet.
Et si lâintelligence artificielle Ă©tait directement dans le bureau ?
LâidĂ©e nâest pas de fabriquer un nouveau ChatGPT.
Il existe déjà énormément de trÚs bons modÚles.
Lâobjectif est plutĂŽt de construire un vĂ©ritable serveur dâintelligence artificielle locale, fonctionnant sous Linux, par exemple avec Ubuntu Server.
Ce serveur serait accessible depuis les ordinateurs autorisĂ©s du rĂ©seau local, voire Ă distance au travers dâun VPN correctement sĂ©curisĂ©.
Il pourrait héberger simultanément :
- plusieurs modĂšles de langage ;
- des modÚles spécialisés dans le code ;
- des modĂšles capables dâanalyser des images ;
- des outils OCR ;
- des moteurs de recherche documentaire ;
- une base vectorielle ;
- des outils Python ;
- des agents spécialisés ;
- et éventuellement différents services métiers.
Les modĂšles, les documents, les bases documentaires et les traitements sensibles peuvent ainsi rester physiquement sur une machine installĂ©e dans les locaux de lâutilisateur.
IA locale ne veut cependant surtout pas dire IA enfermée dans une boßte et coupée du monde.
Non, un modĂšle dâIA nâa pas la science infuse
Câest un point essentiel.
Un modĂšle dâintelligence artificielle possĂšde des connaissances acquises pendant son entraĂźnement, mais celles-ci peuvent ĂȘtre anciennes, incomplĂštes, imprĂ©cises ou tout simplement erronĂ©es.
Lorsque lâon demande :
Quelle est actuellement la réglementation applicable ?
ou :
Quelle est aujourdâhui la derniĂšre version disponible de ce logiciel ?
la bonne mĂ©thode nâest pas de demander au modĂšle dâinventer une rĂ©ponse uniquement Ă partir de sa mĂ©moire.
Il faut lui permettre de rechercher lâinformation.
Exactement comme le ferait une personne devant son ordinateur.
Câest pourquoi le serveur pourra disposer, par exemple, dâun moteur de recherche auto-hĂ©bergĂ© comme SearXNG.
SearXNG dispose Ă©galement dâune API de recherche , ce qui permet Ă un programme ou Ă un agent IA de lui poser directement des requĂȘtes.
On peut donc imaginer demander :
Recherche les textes officiels actuellement applicables, vérifie les sources, compare-les avec les documents présents dans ce dossier et prépare-moi une synthÚse.
Le Web apporte alors les informations publiques.
Le serveur local apporte les documents privés.
Et le rapprochement entre les deux peut ĂȘtre effectuĂ© localement.
Une frontiÚre indispensable entre Internet et les données privées
Donner accĂšs Ă Internet Ă une IA locale nâa Ă©videmment dâintĂ©rĂȘt pour la confidentialitĂ© que si lâarchitecture est correctement pensĂ©e.
Les donnĂ©es privĂ©es ne doivent pas ĂȘtre automatiquement envoyĂ©es avec les requĂȘtes Internet.
On peut imaginer deux espaces logiques.
1. Un espace local
Lâagent peut y consulter :
- les documents auxquels il est autorisé à accéder ;
- les bases de données internes ;
- les archives ;
- les fichiers techniques ;
- les informations confidentielles nécessaires au travail.
2. Un accÚs externe contrÎlé
Lâagent peut demander :
Recherche les derniÚres informations publiques concernant cette réglementation.
Il récupÚre les informations publiques nécessaires, puis les ramÚne dans son environnement de travail.
La comparaison avec les documents confidentiels peut alors ĂȘtre effectuĂ©e localement.
Cette sĂ©paration entre les donnĂ©es privĂ©es et les requĂȘtes externes fait prĂ©cisĂ©ment partie des Ă©lĂ©ments que je souhaite expĂ©rimenter, documenter et sĂ©curiser pendant le bĂȘta-test.
Pas seulement un chatbot : un véritable serveur de travail
Le projet devient beaucoup plus intĂ©ressant lorsque lâon cesse dâimaginer lâintelligence artificielle uniquement comme une fenĂȘtre dans laquelle on Ă©crit une question.
Utilisateur â Interface Web â Agent IA â ModĂšle â Outils â Documents locaux â Bases internes â Recherche Web autorisĂ©e
Une interface comme Open WebUI peut constituer lâune des portes dâentrĂ©e du systĂšme.
Open WebUI peut travailler avec plusieurs moteurs et des API compatibles, gérer des connaissances documentaires et proposer différentes fonctions autour des modÚles.
Pour dĂ©couvrir ses possibilitĂ©s : fonctionnalitĂ©s dâOpen WebUI .
Quels moteurs peuvent réellement faire tourner les modÚles ?
Plusieurs solutions pourront ĂȘtre testĂ©es.
Ollama
Ollama permet dâexĂ©cuter relativement simplement de nombreux modĂšles localement.
On peut consulter directement le catalogue des modĂšles disponibles pour Ollama .
Lâinstallation Linux est documentĂ©e ici : Ollama pour Linux .
llama.cpp
llama.cpp est lâun des projets majeurs pour faire fonctionner localement des modĂšles LLM et VLM sur une trĂšs grande variĂ©tĂ© de matĂ©riels.
Le projet dispose Ă©galement dĂ©sormais de llama.app pour faciliter la dĂ©couverte et lâinstallation.
Le format GGUF est notamment trĂšs utilisĂ© pour distribuer des modĂšles quantifiĂ©s destinĂ©s Ă ce type dâexĂ©cution locale.
vLLM
Pour des usages davantage orientés serveur, on peut également étudier vLLM .
vLLM peut exposer les modĂšles au travers dâun serveur HTTP , notamment au moyen dâinterfaces compatibles avec de nombreux logiciels utilisant les API de type OpenAI.
Et oĂč trouve-t-on les modĂšles ?
Lâun des principaux lieux oĂč sont publiĂ©s les modĂšles est Hugging Face .
Le Hugging Face Model Hub regroupe aujourdâhui une quantitĂ© considĂ©rable de modĂšles, datasets et outils.
Il faut cependant toujours vĂ©rifier la licence de chaque modĂšle avant de lâutiliser professionnellement ou de le redistribuer.
Open source, open-weight, modĂšle propriĂ©taire : ce nâest pas la mĂȘme chose
Le terme « IA libre » est souvent utilisé un peu trop rapidement.
Il faut distinguer notamment :
- les logiciels open source, dont le code peut ĂȘtre consultĂ© et utilisĂ© selon leur licence ;
- les modĂšles Ă poids ouverts â open-weight, dont les poids entraĂźnĂ©s peuvent ĂȘtre tĂ©lĂ©chargĂ©s mais qui restent soumis Ă leur propre licence ;
- les modÚles propriétaires accessibles uniquement par Internet ou API.
Par exemple, ChatGPT est un service en ligne.
Mais OpenAI propose Ă©galement les modĂšles gpt-oss , qui sont des modĂšles Ă poids ouverts conçus pour pouvoir ĂȘtre exĂ©cutĂ©s sur une infrastructure contrĂŽlĂ©e par lâutilisateur.
Quelques familles de modÚles particuliÚrement intéressantes
OpenAI gpt-oss
OpenAI propose deux modĂšles de raisonnement Ă poids ouverts :
La présentation officielle est disponible sur le site OpenAI .
Ces modĂšles sont intĂ©ressants pour le raisonnement, les appels dâoutils et les architectures agentiques.
Mistral AI
La sociĂ©tĂ© française Mistral AI propose Ă la fois des services hĂ©bergĂ©s et diffĂ©rents modĂšles que lâon peut dĂ©ployer soi-mĂȘme suivant leurs licences respectives.
Le catalogue officiel est disponible ici : Mistral AI â Models .
La documentation technique des modĂšles est disponible sur : docs.mistral.ai .
On y trouve notamment des modÚles généralistes, multimodaux et spécialisés dans le développement informatique.
Le lecteur qui souhaite simplement tester les services Mistral peut également ouvrir : Le Chat .
Google Gemma
Google DeepMind développe la famille Gemma .
La documentation de Gemma 4 permet de découvrir les différentes tailles et architectures disponibles.
Les modĂšles Google disponibles sur Hugging Face peuvent Ă©galement ĂȘtre consultĂ©s ici : organisation Google sur Hugging Face .
Exemple de modĂšle : Gemma 4 31B IT .
Pour comparer avec le service en ligne propriétaire de Google : Gemini .
Qwen
La famille Qwen est particuliÚrement intéressante car elle propose de nombreux modÚles généralistes, multimodaux et spécialisés.
Par exemple : Qwen3.8-27B est directement disponible sur Hugging Face.
Qwen développe également Qwen Code , un agent open source spécialisé dans le développement et utilisable depuis un terminal.
DeepSeek
DeepSeek propose également différents modÚles ouverts ou téléchargeables.
Le modĂšle de raisonnement DeepSeek-R1 est disponible sur Hugging Face.
Sa présentation officielle : DeepSeek-R1 Release .
Lâorganisation DeepSeek sur Hugging Face permet Ă©galement dâexplorer les autres modĂšles disponibles : DeepSeek sur Hugging Face .
Et, pour comparer avec leur service hébergé : DeepSeek Chat .
Le bon modĂšle pour le bon travail
Pourquoi demander Ă un seul modĂšle de tout faire ?
Le mĂȘme serveur pourrait disposer de :
- un petit modĂšle rapide pour les tĂąches simples ;
- un modĂšle plus lourd pour le raisonnement complexe ;
- un modÚle dédié au développement ;
- un modĂšle capable dâanalyser des images ;
- un moteur dâembeddings pour la recherche documentaire ;
- un moteur OCR ;
- un modĂšle de transcription audio.
Le bon modĂšle pour le bon travail.
Un peu comme dans un atelier : on ne choisit pas un outil parce quâil est le plus gros, mais parce quâil est adaptĂ© au travail Ă effectuer.
Comment retrouver une information dans 10 000 documents ?
Une IA ne va pas nécessairement injecter 10 000 documents complets dans le contexte du modÚle à chaque question.
On peut construire une architecture de RAG â Retrieval-Augmented Generation.
Le principe consiste notamment Ă indexer les documents, rechercher les passages pertinents puis transmettre principalement ces informations au modĂšle.
Une base vectorielle comme Qdrant peut servir à ce type de recherche sémantique.
Documentation : Qdrant Documentation .
On peut Ă©galement explorer dâautres projets comme :
- pgvector pour PostgreSQL ;
- Chroma ;
- Meilisearch pour certaines recherches textuelles plus classiques.
Et pour orchestrer les agents ?
Le projet pourra également expérimenter différents frameworks permettant de connecter les modÚles à des outils.
Parmi les projets à étudier :
- LangChain ;
- LlamaIndex ;
- Model Context Protocol â MCP pour connecter des outils et sources de donnĂ©es aux assistants compatibles.
Le but nâest Ă©videmment pas dâinstaller tout ce qui existe, mais de tester les briques les plus adaptĂ©es Ă chaque besoin.
OCR : faire lire les documents scannés
Une partie importante des archives rĂ©elles nâest pas constituĂ©e de PDF contenant dĂ©jĂ du texte exploitable.
Il peut sâagir de scans ou de photographies.
Des logiciels comme Tesseract OCR peuvent alors ĂȘtre utilisĂ©s pour extraire du texte.
On pourra Ă©galement tester des modĂšles multimodaux capables dâinterprĂ©ter directement une image ou une page numĂ©risĂ©e.
Et pour lâaudio ?
Pour les fichiers sonores ou les enregistrements, un projet comme Whisper permet dâeffectuer localement de la reconnaissance vocale.
Une rĂ©union, une interview ou un enregistrement technique pourrait donc ĂȘtre transcrit localement avant dâĂȘtre indexĂ© avec le reste de la documentation.
Un exemple concret : analyser un dossier confidentiel
Imaginons un dossier contenant :
- 250 PDF ;
- des courriers ;
- plusieurs tableaux CSV ou Excel ;
- des scans ;
- des photographies ;
- des documents juridiques ;
- plusieurs annĂ©es dâarchives.
Le systĂšme pourrait tout indexer localement.
Puis recevoir :
Fais-moi la chronologie complĂšte de cette affaire.
Signale-moi les dates contradictoires.
Retrouve toutes les références à cette société.
Recherche sur Internet les publications officielles actuellement disponibles concernant cette réglementation.
Compare maintenant ces informations publiques avec les documents du dossier et rédige une analyse détaillée.
Les informations publiques viennent dâInternet.
Les documents confidentiels restent sur la machine.
Et si le calcul prend toute la nuit ?
Ce nâest justement pas forcĂ©ment un problĂšme.
Lâun des grands intĂ©rĂȘts du local est quâil nâest pas nĂ©cessaire de penser uniquement en termes de rĂ©ponse immĂ©diate.
Pour certains travaux confidentiels ou trĂšs volumineux, je prĂ©fĂšre largement quâune machine travaille cinq ou dix heures si le rĂ©sultat obtenu est plus complet.
On peut imaginer des tĂąches de fond :
- analyse de milliers de fichiers ;
- classement automatique ;
- extraction dâinformations ;
- OCR ;
- indexation ;
- comparaison de documents ;
- analyse de logs ;
- analyse de code ;
- création de rapports ;
- traitement dâimages.
Les rĂ©sultats intermĂ©diaires pourraient ĂȘtre conservĂ©s dans une base PostgreSQL , MariaDB ou dans un autre stockage local adaptĂ©.
Le traitement peut alors ĂȘtre interrompu, repris et historisĂ©.
Une petite machine avec 128 Go de mémoire
Lâune des pistes Ă©tudiĂ©es est le AMD Ryzen AI Max+ 395 .
Ce processeur peut ĂȘtre associĂ© Ă 128 Go de mĂ©moire LPDDR5X unifiĂ©e et intĂšgre une partie graphique AMD Radeon 8060S.
AMD présente également une plateforme de développement Ryzen AI Max+ 395 équipée de 128 Go .
Une machine que jâai repĂ©rĂ©e pour ce projet est le GMKtec EVO-X2 .
Il existe en configuration 128 Go et dispose notamment de plusieurs possibilités de stockage NVMe.
Pourquoi 128 Go changent beaucoup de choses
Les modĂšles dâintelligence artificielle peuvent ĂȘtre extrĂȘmement volumineux.
On utilise donc souvent des techniques de quantification .
En simplifiant fortement, cela consiste à réduire la précision numérique utilisée pour représenter une partie des paramÚtres du modÚle afin de diminuer fortement ses besoins en mémoire.
On obtient alors un compromis entre :
- taille ;
- qualité ;
- vitesse ;
- consommation mémoire ;
- longueur de contexte.
La petite machine de 128 Go peut donc avoir un avantage particulier :
elle ne sera pas forcĂ©ment aussi rapide quâune Ă©norme carte graphique professionnelle, mais sa grande mĂ©moire unifiĂ©e peut lui permettre de charger des modĂšles qui ne rentreraient tout simplement pas dans les 16 ou 24 Go de VRAM dâune carte graphique plus classique.
DeuxiÚme piste : construire une véritable station IA
Lâautre solution consiste Ă fabriquer une machine entiĂšrement Ă©volutive :
- carte mĂšre ;
- processeur ;
- 128 ou 256 Go de RAM ;
- plusieurs SSD NVMe ;
- une alimentation correctement dimensionnée ;
- une grosse carte graphique professionnelle.
Une NVIDIA RTX A6000 dispose par exemple de 48 Go de mémoire GDDR6 ECC.
La RTX 6000 Ada dispose également de 48 Go de mémoire GPU.
Encore au-dessus, la RTX PRO 6000 Blackwell Workstation Edition embarque 96 Go de GDDR7.
Nous ne sommes Ă©videmment plus du tout dans la mĂȘme gamme de prix.
AMD ROCm ou NVIDIA CUDA
Le choix du GPU implique Ă©galement un choix dâĂ©cosystĂšme logiciel.
Pour AMD, on trouve notamment : ROCm .
Pour NVIDIA : CUDA .
Une partie importante du bĂȘta-test consistera justement Ă dĂ©terminer quels logiciels et modĂšles fonctionnent correctement sur chaque architecture.
Mini-serveur 128 Go ou grosse station GPU ?
| Mini-serveur 128 Go | Station GPU dédiée |
|---|---|
| TrĂšs compact | Plus volumineuse |
| Grande mémoire unifiée | VRAM GPU dédiée trÚs rapide |
| Faible encombrement | TrÚs évolutive |
| Intéressant pour les gros modÚles quantifiés | TrÚs fortes performances GPU |
| Serveur discret | Véritable station de travail |
| RAM et GPU peu évolutifs | GPU, RAM et stockage remplaçables |
Une vraie machine serveur, pas simplement un PC avec un chatbot
Ă partir du moment oĂč lâon travaille avec des donnĂ©es confidentielles, la machine doit ĂȘtre conçue sĂ©rieusement.
Elle fonctionnera sous Linux.
Les disques et les donnĂ©es pourront ĂȘtre protĂ©gĂ©s avec cryptsetup / LUKS , le mĂ©canisme couramment utilisĂ© pour le chiffrement de volumes sous Linux.
La documentation du noyau Linux sur dm-crypt et LUKS est également disponible publiquement.
Lorsque le matĂ©riel possĂšde deux SSD, lâobjectif est dâutiliser au minimum un RAID 1 miroir.
Attention : RAID 1 â sauvegarde.
Une sauvegarde indépendante restera indispensable.
Donner le moins de droits possible Ă lâIA
Si lâintelligence artificielle a seulement besoin de lire quelque chose, elle nâa aucune raison dâavoir le droit de le modifier.
Les fonds documentaires pourront donc ĂȘtre prĂ©sentĂ©s Ă certains services en lecture seule.
On pourra également utiliser :
- des comptes Linux dédiés ;
- des permissions spécifiques ;
- des services isolés ;
- des conteneurs ;
- une journalisation ;
- un réseau dédié ;
- des rĂšgles de pare-feu ;
- des accÚs SQL limités.
Quelques usages possibles
- analyse juridique et documentaire ;
- recherche dans des archives ;
- analyse de contrats ;
- développement informatique ;
- création et analyse de scripts ;
- administration de serveurs Linux ;
- analyse de journaux systĂšme ;
- traitement de données SQL et CSV ;
- classement automatique de documents ;
- OCR ;
- analyse dâimages ;
- transcription audio ;
- production de rapports ;
- recherche technique ;
- interrogation dâune documentation interne ;
- automatisation de traitements de fond.
Dans une PME, une association, un atelier, une profession libĂ©rale ou mĂȘme pour certains usages personnels, les possibilitĂ©s deviennent particuliĂšrement intĂ©ressantes.
Le but nâest pas de mettre de lâIA partout parce que câest Ă la mode, mais de trouver les endroits oĂč elle permet rĂ©ellement de gagner du temps ou dâeffectuer des travaux qui seraient autrement difficilement rĂ©alisables.
Faut-il un datacenter et une centrale électrique ?
Non. ;-)
La petite machine étudiée tient sur un bureau et fonctionne avec un refroidissement classique par air.
Une grosse station professionnelle consommera naturellement davantage lorsque son GPU fonctionne Ă pleine charge.
Une RTX A6000 peut par exemple atteindre environ 300 W pour le GPU.
On reste néanmoins face à un ordinateur puissant installé dans un bureau, pas devant une rangée de serveurs nécessitant une installation industrielle de refroidissement.
Oui, lâintelligence artificielle locale consomme de lâĂ©lectricitĂ©
Lorsquâun processeur ou une carte graphique travaille, il consomme de lâĂ©lectricitĂ© et transforme pratiquement toute cette Ă©nergie en chaleur.
Il ne faut pas prétendre le contraire.
Mais cette consommation varie énormément entre le repos et les phases de calcul intensif.
Et surtout, la machine nâest pas obligĂ©e de fonctionner 24 heures sur 24.
Elle peut ĂȘtre dĂ©marrĂ©e pour effectuer un travail, calculer pendant plusieurs heures, puis ĂȘtre arrĂȘtĂ©e lorsquâelle nâest plus nĂ©cessaire.
Et pourquoi pas du photovoltaĂŻque ?
Rien ne lâinterdit.
La machine peut naturellement ĂȘtre protĂ©gĂ©e par un onduleur.
Et une installation disposant dĂ©jĂ de panneaux photovoltaĂŻques et dâun stockage sur batterie peut parfaitement dĂ©cider de lancer les traitements lourds pendant les pĂ©riodes de production solaire excĂ©dentaire.
Une possibilitĂ© supplĂ©mentaire Ă tester pour ceux qui souhaitent Ă©galement optimiser lâorigine de lâĂ©nergie utilisĂ©e.
Le serveur peut Ă©galement ĂȘtre un vĂ©ritable ordinateur de travail
Une station IA nâest pas nĂ©cessairement une boĂźte noire enfermĂ©e dans un placard.
Avec un ou plusieurs écrans, elle peut servir de :
- poste Linux ;
- ordinateur bureautique ;
- station de développement ;
- poste de traitement photographique ;
- station vidéo ;
- machine de virtualisation ;
- poste de calcul ;
- et mĂȘme ordinateur de jeu.
Lorsque lâIA ne monopolise pas le GPU, cette puissance reste disponible pour les autres usages.
Faire de lâutile et de lâagrĂ©able avec la mĂȘme machine est parfaitement possible.
Pourquoi ne pas simplement tout faire avec une IA en ligne ?
Parce que le cloud et le local ne rĂ©pondent pas exactement au mĂȘme besoin.
Des services comme ChatGPT, Gemini, Le Chat ou DeepSeek sont trĂšs intĂ©ressants lorsquâon souhaite accĂ©der immĂ©diatement Ă des modĂšles puissants sans acheter son propre matĂ©riel.
LâIA locale devient particuliĂšrement intĂ©ressante lorsque lâon possĂšde :
- des données confidentielles ;
- de gros volumes documentaires ;
- des traitements trĂšs longs ;
- des automatisations récurrentes ;
- des besoins trÚs spécialisés ;
- le besoin de maĂźtriser physiquement son infrastructure.
Dans beaucoup de situations, la meilleure architecture sera probablement hybride.
Local pour ce qui doit rester privé.
Internet pour la recherche publique.
Et éventuellement une API extérieure ponctuelle pour certaines tùches ne nécessitant aucune donnée sensible.
Il ne sâagit donc pas dâune guerre entre cloud et local. Il sâagit de choisir le bon endroit pour chaque traitement.

Le prototype que je souhaite maintenant construire
Je souhaite maintenant construire un premier systÚme suffisamment sérieux pour ne plus travailler uniquement sur des hypothÚses.
Premier objectif : environ 2 000 Ă 2 500 âŹ
LâidĂ©e serait notamment dâĂ©tudier une machine compacte autour du AMD Ryzen AI Max+ 395 avec 128 Go de mĂ©moire, deux SSD et une infrastructure Linux complĂšte.
Le GMKtec EVO-X2 fait partie des machines étudiées.
DeuxiĂšme possibilitĂ© : jusquâĂ environ 5 000 âŹ
Avec davantage de budget, on peut commencer à envisager une station entiÚrement évolutive :
- 128 ou 256 Go de RAM ;
- plusieurs SSD ;
- une alimentation importante ;
- une carte graphique disposant éventuellement de 48 Go de VRAM ;
- et pourquoi pas du matĂ©riel professionnel dâoccasion.
Ce que je veux réellement mesurer
Je ne veux pas simplement afficher une fenĂȘtre de chatbot et annoncer :
Ăa marche !
Ăa, on sait dĂ©jĂ le faire.
Le bĂȘta-test doit rĂ©pondre Ă de vraies questions :
- combien de temps faut-il pour analyser 100, 1 000 ou 10 000 documents ?
- quelle différence réelle existe entre différents modÚles ?
- quelle quantité de mémoire utilisent-ils ?
- quel impact apporte la quantification ?
- quelle est la consommation réelle au repos et en calcul ?
- quelles températures atteint la machine ?
- peut-elle calculer plusieurs heures sans ralentissement ?
- quelle qualitĂ© obtient-on avec lâOCR ?
- comment indexer plusieurs dizaines de milliers de documents ?
- comment séparer proprement les données confidentielles des recherches Web ?
- peut-on lancer un travail le soir et récupérer le rapport le lendemain ?
- comment permettre Ă plusieurs utilisateurs dâaccĂ©der au serveur ?
- quels sont les usages oĂč lâIA locale apporte rĂ©ellement une valeur ?
- etc ...
Je recherche donc un budget⊠mais surtout un bĂȘta-testeur
Je cherche aujourdâhui un financement, un partenariat, un prĂȘt de matĂ©riel ou toute autre forme de soutien permettant de rĂ©unir environ :
2 000 à 2 500 ⏠pour le premier démonstrateur
avec une possibilitĂ© dâaller
jusquâĂ environ 5 000 ⏠pour une configuration plus Ă©volutive.
Mais le matĂ©riel nâest quâune partie du projet.
Je recherche surtout un ou plusieurs bĂȘta-testeurs ayant de vrais besoins.
Par exemple :
- une petite entreprise ;
- une association ;
- un professionnel indépendant ;
- un atelier ;
- une structure possédant un fonds documentaire important ;
- un développeur ;
- ou quelquâun disposant simplement dâun cas dâusage particuliĂšrement intĂ©ressant.
Parce quâun serveur IA sans travail Ă lui donner ne sert Ă rien
On peut acheter la plus grosse carte graphique du monde.
Installer 128 Go de mémoire.
Télécharger quinze modÚles depuis Hugging Face .
Afficher de magnifiques graphiques.
Si la seule utilisation finale consiste Ă demander :
Raconte-moi une blague.
alors nous aurons surtout construit un radiateur extrĂȘmement sophistiquĂ©. ;-)
Ce qui mâintĂ©resse est exactement lâinverse.
Partir du besoin réel.
Puis dĂ©terminer si lâintelligence artificielle apporte rĂ©ellement quelque chose.
Le projet nâen est quâau dĂ©but
Il y aura forcément :
- des erreurs ;
- des modÚles décevants ;
- des idées abandonnées ;
- des logiciels remplacés ;
- des problĂšmes de phases pilotes ;
- des performances différentes des promesses commerciales ;
- et probablement quelques soirĂ©es devant un terminal Linux Ă chercher pourquoi quelque chose qui fonctionnait hier refuse obstinĂ©ment de fonctionner aujourdâhui. ;-)
Câest justement pour cela quâil sâagit dâun projet et dâun bĂȘta-test.
Lâobjectif est de documenter lâexpĂ©rimentation, mesurer rĂ©ellement les performances et dĂ©terminer jusquâoĂč peut aller aujourdâhui une intelligence artificielle locale avec un budget accessible Ă une petite structure.
Une autre maniĂšre dâimaginer lâintelligence artificielle
Je ne cherche pas à recréer ChatGPT à la maison.
Je veux construire un serveur de travail intelligent, hĂ©bergĂ© chez nous, capable dâexploiter nos documents sans les expĂ©dier ailleurs, de travailler plusieurs heures sur une tĂąche et nĂ©anmoins dâaller rechercher sur Internet les informations publiques dont il a besoin.
Le local pour ce qui doit rester privé.
Le Web pour ce qui doit ĂȘtre recherchĂ©.
Le bon modĂšle pour le bon travail.
Et lâhumain pour dĂ©cider oĂč se trouve la frontiĂšre.
Vous souhaitez participer ?
Si vous avez :
- du matériel disponible ;
- une idée ;
- un besoin réel ;
- une entreprise ou une association intéressée ;
- un cas dâusage Ă tester ;
- ou simplement lâenvie de participer Ă cette expĂ©rimentation ;
Le projet est ouvert.
Ă suivreâŠ
```
