Et si une intelligence artificielle pouvait analyser 10 000 documents confidentiels sans qu’aucun ne quitte votre bureau ?

Je souhaite construire et bĂȘta-tester un vĂ©ritable serveur d’intelligence artificielle locale sous Linux, capable de travailler sur des donnĂ©es confidentielles, d’exĂ©cuter diffĂ©rents modĂšles d’IA et, lorsque cela est nĂ©cessaire, d’effectuer des recherches sur Internet sans pour autant y envoyer automatiquement les documents privĂ©s qu’il analyse.


Une intelligence artificielle utile
 mais oĂč partent nos donnĂ©es ?

On parle Ă©normĂ©ment aujourd’hui de ChatGPT, de Gemini, du Chat de Mistral AI, de DeepSeek, mais aussi d’une quantitĂ© croissante de modĂšles que l’on peut tĂ©lĂ©charger sur Hugging Face et exĂ©cuter sur son propre matĂ©riel.

On peut désormais demander à une intelligence artificielle :

  • d’analyser des centaines ou des milliers de PDF ;
  • de comparer des contrats ;
  • d’étudier un dossier juridique ;
  • d’analyser des donnĂ©es comptables ou techniques ;
  • de rechercher dans une documentation interne ;
  • de produire du code et des scripts ;
  • d’analyser des journaux systĂšme ;
  • de rechercher des anomalies dans des fichiers ;
  • de produire des rapports, tableaux et synthĂšses ;
  • d’analyser des images, scans et documents numĂ©risĂ©s ;
  • de transcrire des contenus audio ;
  • et d’automatiser une partie de travaux rĂ©pĂ©titifs.

Mais dÚs que ces fichiers contiennent des données personnelles, professionnelles, associatives, juridiques, techniques ou commerciales, une question devient particuliÚrement importante :

Pourquoi devrais-je obligatoirement envoyer toutes ces informations sur les serveurs de quelqu’un d’autre ?

C’est prĂ©cisĂ©ment Ă  partir de cette question que dĂ©marre mon projet.


Et si l’intelligence artificielle Ă©tait directement dans le bureau ?

L’idĂ©e n’est pas de fabriquer un nouveau ChatGPT.

Il existe déjà énormément de trÚs bons modÚles.

L’objectif est plutĂŽt de construire un vĂ©ritable serveur d’intelligence artificielle locale, fonctionnant sous Linux, par exemple avec Ubuntu Server.

Ce serveur serait accessible depuis les ordinateurs autorisĂ©s du rĂ©seau local, voire Ă  distance au travers d’un VPN correctement sĂ©curisĂ©.

Il pourrait héberger simultanément :

  • plusieurs modĂšles de langage ;
  • des modĂšles spĂ©cialisĂ©s dans le code ;
  • des modĂšles capables d’analyser des images ;
  • des outils OCR ;
  • des moteurs de recherche documentaire ;
  • une base vectorielle ;
  • des outils Python ;
  • des agents spĂ©cialisĂ©s ;
  • et Ă©ventuellement diffĂ©rents services mĂ©tiers.

Les modĂšles, les documents, les bases documentaires et les traitements sensibles peuvent ainsi rester physiquement sur une machine installĂ©e dans les locaux de l’utilisateur.

IA locale ne veut cependant surtout pas dire IA enfermée dans une boßte et coupée du monde.


Non, un modùle d’IA n’a pas la science infuse

C’est un point essentiel.

Un modĂšle d’intelligence artificielle possĂšde des connaissances acquises pendant son entraĂźnement, mais celles-ci peuvent ĂȘtre anciennes, incomplĂštes, imprĂ©cises ou tout simplement erronĂ©es.

Lorsque l’on demande :

Quelle est actuellement la réglementation applicable ?

ou :

Quelle est aujourd’hui la derniùre version disponible de ce logiciel ?

la bonne mĂ©thode n’est pas de demander au modĂšle d’inventer une rĂ©ponse uniquement Ă  partir de sa mĂ©moire.

Il faut lui permettre de rechercher l’information.

Exactement comme le ferait une personne devant son ordinateur.

C’est pourquoi le serveur pourra disposer, par exemple, d’un moteur de recherche auto-hĂ©bergĂ© comme SearXNG.

SearXNG dispose Ă©galement d’une API de recherche , ce qui permet Ă  un programme ou Ă  un agent IA de lui poser directement des requĂȘtes.

On peut donc imaginer demander :

Recherche les textes officiels actuellement applicables, vérifie les sources, compare-les avec les documents présents dans ce dossier et prépare-moi une synthÚse.

Le Web apporte alors les informations publiques.

Le serveur local apporte les documents privés.

Et le rapprochement entre les deux peut ĂȘtre effectuĂ© localement.


Une frontiÚre indispensable entre Internet et les données privées

Donner accĂšs Ă  Internet Ă  une IA locale n’a Ă©videmment d’intĂ©rĂȘt pour la confidentialitĂ© que si l’architecture est correctement pensĂ©e.

Les donnĂ©es privĂ©es ne doivent pas ĂȘtre automatiquement envoyĂ©es avec les requĂȘtes Internet.

On peut imaginer deux espaces logiques.

1. Un espace local

L’agent peut y consulter :

  • les documents auxquels il est autorisĂ© Ă  accĂ©der ;
  • les bases de donnĂ©es internes ;
  • les archives ;
  • les fichiers techniques ;
  • les informations confidentielles nĂ©cessaires au travail.

2. Un accÚs externe contrÎlé

L’agent peut demander :

Recherche les derniÚres informations publiques concernant cette réglementation.

Il récupÚre les informations publiques nécessaires, puis les ramÚne dans son environnement de travail.

La comparaison avec les documents confidentiels peut alors ĂȘtre effectuĂ©e localement.

Cette sĂ©paration entre les donnĂ©es privĂ©es et les requĂȘtes externes fait prĂ©cisĂ©ment partie des Ă©lĂ©ments que je souhaite expĂ©rimenter, documenter et sĂ©curiser pendant le bĂȘta-test.


Pas seulement un chatbot : un véritable serveur de travail

Le projet devient beaucoup plus intĂ©ressant lorsque l’on cesse d’imaginer l’intelligence artificielle uniquement comme une fenĂȘtre dans laquelle on Ă©crit une question.

Utilisateur → Interface Web → Agent IA → ModĂšle → Outils → Documents locaux → Bases internes → Recherche Web autorisĂ©e

Une interface comme Open WebUI peut constituer l’une des portes d’entrĂ©e du systĂšme.

Open WebUI peut travailler avec plusieurs moteurs et des API compatibles, gérer des connaissances documentaires et proposer différentes fonctions autour des modÚles.

Pour dĂ©couvrir ses possibilitĂ©s : fonctionnalitĂ©s d’Open WebUI .


Quels moteurs peuvent réellement faire tourner les modÚles ?

Plusieurs solutions pourront ĂȘtre testĂ©es.

Ollama

Ollama permet d’exĂ©cuter relativement simplement de nombreux modĂšles localement.

On peut consulter directement le catalogue des modĂšles disponibles pour Ollama .

L’installation Linux est documentĂ©e ici : Ollama pour Linux .

llama.cpp

llama.cpp est l’un des projets majeurs pour faire fonctionner localement des modĂšles LLM et VLM sur une trĂšs grande variĂ©tĂ© de matĂ©riels.

Le projet dispose Ă©galement dĂ©sormais de llama.app pour faciliter la dĂ©couverte et l’installation.

Le format GGUF est notamment trĂšs utilisĂ© pour distribuer des modĂšles quantifiĂ©s destinĂ©s Ă  ce type d’exĂ©cution locale.

vLLM

Pour des usages davantage orientés serveur, on peut également étudier vLLM .

vLLM peut exposer les modùles au travers d’un serveur HTTP , notamment au moyen d’interfaces compatibles avec de nombreux logiciels utilisant les API de type OpenAI.


Et oĂč trouve-t-on les modĂšles ?

L’un des principaux lieux oĂč sont publiĂ©s les modĂšles est Hugging Face .

Le Hugging Face Model Hub regroupe aujourd’hui une quantitĂ© considĂ©rable de modĂšles, datasets et outils.

Il faut cependant toujours vĂ©rifier la licence de chaque modĂšle avant de l’utiliser professionnellement ou de le redistribuer.


Open source, open-weight, modĂšle propriĂ©taire : ce n’est pas la mĂȘme chose

Le terme « IA libre » est souvent utilisé un peu trop rapidement.

Il faut distinguer notamment :

  • les logiciels open source, dont le code peut ĂȘtre consultĂ© et utilisĂ© selon leur licence ;
  • les modĂšles Ă  poids ouverts — open-weight, dont les poids entraĂźnĂ©s peuvent ĂȘtre tĂ©lĂ©chargĂ©s mais qui restent soumis Ă  leur propre licence ;
  • les modĂšles propriĂ©taires accessibles uniquement par Internet ou API.

Par exemple, ChatGPT est un service en ligne.

Mais OpenAI propose Ă©galement les modĂšles gpt-oss , qui sont des modĂšles Ă  poids ouverts conçus pour pouvoir ĂȘtre exĂ©cutĂ©s sur une infrastructure contrĂŽlĂ©e par l’utilisateur.


Quelques familles de modÚles particuliÚrement intéressantes

 

OpenAI gpt-oss

OpenAI propose deux modĂšles de raisonnement Ă  poids ouverts :

La présentation officielle est disponible sur le site OpenAI .

Ces modĂšles sont intĂ©ressants pour le raisonnement, les appels d’outils et les architectures agentiques.

 

Mistral AI

La sociĂ©tĂ© française Mistral AI propose Ă  la fois des services hĂ©bergĂ©s et diffĂ©rents modĂšles que l’on peut dĂ©ployer soi-mĂȘme suivant leurs licences respectives.

Le catalogue officiel est disponible ici : Mistral AI – Models .

La documentation technique des modĂšles est disponible sur : docs.mistral.ai .

On y trouve notamment des modÚles généralistes, multimodaux et spécialisés dans le développement informatique.

Le lecteur qui souhaite simplement tester les services Mistral peut également ouvrir : Le Chat .

 

Google Gemma

Google DeepMind développe la famille Gemma .

La documentation de Gemma 4 permet de découvrir les différentes tailles et architectures disponibles.

Les modĂšles Google disponibles sur Hugging Face peuvent Ă©galement ĂȘtre consultĂ©s ici : organisation Google sur Hugging Face .

Exemple de modĂšle : Gemma 4 31B IT .

Pour comparer avec le service en ligne propriétaire de Google : Gemini .

 

Qwen

La famille Qwen est particuliÚrement intéressante car elle propose de nombreux modÚles généralistes, multimodaux et spécialisés.

Par exemple : Qwen3.8-27B est directement disponible sur Hugging Face.

Qwen développe également Qwen Code , un agent open source spécialisé dans le développement et utilisable depuis un terminal.

 

DeepSeek

DeepSeek propose également différents modÚles ouverts ou téléchargeables.

Le modĂšle de raisonnement DeepSeek-R1 est disponible sur Hugging Face.

Sa présentation officielle : DeepSeek-R1 Release .

L’organisation DeepSeek sur Hugging Face permet Ă©galement d’explorer les autres modĂšles disponibles : DeepSeek sur Hugging Face .

Et, pour comparer avec leur service hébergé : DeepSeek Chat .


Le bon modĂšle pour le bon travailia locale modeles rag agents ocr whisper

Pourquoi demander Ă  un seul modĂšle de tout faire ?

Le mĂȘme serveur pourrait disposer de :

  • un petit modĂšle rapide pour les tĂąches simples ;
  • un modĂšle plus lourd pour le raisonnement complexe ;
  • un modĂšle dĂ©diĂ© au dĂ©veloppement ;
  • un modĂšle capable d’analyser des images ;
  • un moteur d’embeddings pour la recherche documentaire ;
  • un moteur OCR ;
  • un modĂšle de transcription audio.

Le bon modĂšle pour le bon travail.

Un peu comme dans un atelier : on ne choisit pas un outil parce qu’il est le plus gros, mais parce qu’il est adaptĂ© au travail Ă  effectuer.


Comment retrouver une information dans 10 000 documents ?

Une IA ne va pas nĂ©cessairement injecter 10 000 documents complets dans le contexte du modĂšle Ă  chaque question.

On peut construire une architecture de RAG – Retrieval-Augmented Generation.

Le principe consiste notamment Ă  indexer les documents, rechercher les passages pertinents puis transmettre principalement ces informations au modĂšle.

Une base vectorielle comme Qdrant peut servir à ce type de recherche sémantique.

Documentation : Qdrant Documentation .

On peut Ă©galement explorer d’autres projets comme :


Et pour orchestrer les agents ?

Le projet pourra également expérimenter différents frameworks permettant de connecter les modÚles à des outils.

Parmi les projets à étudier :

Le but n’est Ă©videmment pas d’installer tout ce qui existe, mais de tester les briques les plus adaptĂ©es Ă  chaque besoin.


OCR : faire lire les documents scannés

Une partie importante des archives rĂ©elles n’est pas constituĂ©e de PDF contenant dĂ©jĂ  du texte exploitable.

Il peut s’agir de scans ou de photographies.

Des logiciels comme Tesseract OCR peuvent alors ĂȘtre utilisĂ©s pour extraire du texte.

On pourra Ă©galement tester des modĂšles multimodaux capables d’interprĂ©ter directement une image ou une page numĂ©risĂ©e.


Et pour l’audio ?

Pour les fichiers sonores ou les enregistrements, un projet comme Whisper permet d’effectuer localement de la reconnaissance vocale.

Une rĂ©union, une interview ou un enregistrement technique pourrait donc ĂȘtre transcrit localement avant d’ĂȘtre indexĂ© avec le reste de la documentation.


Un exemple concret : analyser un dossier confidentiel

Imaginons un dossier contenant :

  • 250 PDF ;
  • des courriers ;
  • plusieurs tableaux CSV ou Excel ;
  • des scans ;
  • des photographies ;
  • des documents juridiques ;
  • plusieurs annĂ©es d’archives.

Le systĂšme pourrait tout indexer localement.

Puis recevoir :

Fais-moi la chronologie complĂšte de cette affaire.

Signale-moi les dates contradictoires.

Retrouve toutes les références à cette société.

Recherche sur Internet les publications officielles actuellement disponibles concernant cette réglementation.

Compare maintenant ces informations publiques avec les documents du dossier et rédige une analyse détaillée.

Les informations publiques viennent d’Internet.

Les documents confidentiels restent sur la machine.


Et si le calcul prend toute la nuit ?ia locale modeles rag agents ocr whisper

Ce n’est justement pas forcĂ©ment un problĂšme.

L’un des grands intĂ©rĂȘts du local est qu’il n’est pas nĂ©cessaire de penser uniquement en termes de rĂ©ponse immĂ©diate.

Pour certains travaux confidentiels ou trĂšs volumineux, je prĂ©fĂšre largement qu’une machine travaille cinq ou dix heures si le rĂ©sultat obtenu est plus complet.

On peut imaginer des tĂąches de fond :

  • analyse de milliers de fichiers ;
  • classement automatique ;
  • extraction d’informations ;
  • OCR ;
  • indexation ;
  • comparaison de documents ;
  • analyse de logs ;
  • analyse de code ;
  • crĂ©ation de rapports ;
  • traitement d’images.

Les rĂ©sultats intermĂ©diaires pourraient ĂȘtre conservĂ©s dans une base PostgreSQL , MariaDB ou dans un autre stockage local adaptĂ©.

Le traitement peut alors ĂȘtre interrompu, repris et historisĂ©.


Une petite machine avec 128 Go de mémoire

L’une des pistes Ă©tudiĂ©es est le AMD Ryzen AI Max+ 395 .

Ce processeur peut ĂȘtre associĂ© Ă  128 Go de mĂ©moire LPDDR5X unifiĂ©e et intĂšgre une partie graphique AMD Radeon 8060S.

AMD présente également une plateforme de développement Ryzen AI Max+ 395 équipée de 128 Go .

Une machine que j’ai repĂ©rĂ©e pour ce projet est le GMKtec EVO-X2 .

Il existe en configuration 128 Go et dispose notamment de plusieurs possibilités de stockage NVMe.
GMKtec EVO X2 AI Mini PC AMD RyzenAI Max 395


Pourquoi 128 Go changent beaucoup de choses

Les modĂšles d’intelligence artificielle peuvent ĂȘtre extrĂȘmement volumineux.

On utilise donc souvent des techniques de quantification .

En simplifiant fortement, cela consiste à réduire la précision numérique utilisée pour représenter une partie des paramÚtres du modÚle afin de diminuer fortement ses besoins en mémoire.

On obtient alors un compromis entre :

  • taille ;
  • qualitĂ© ;
  • vitesse ;
  • consommation mĂ©moire ;
  • longueur de contexte.

La petite machine de 128 Go peut donc avoir un avantage particulier :

elle ne sera pas forcĂ©ment aussi rapide qu’une Ă©norme carte graphique professionnelle, mais sa grande mĂ©moire unifiĂ©e peut lui permettre de charger des modĂšles qui ne rentreraient tout simplement pas dans les 16 ou 24 Go de VRAM d’une carte graphique plus classique.


DeuxiÚme piste : construire une véritable station IA

L’autre solution consiste Ă  fabriquer une machine entiĂšrement Ă©volutive :

  • carte mĂšre ;
  • processeur ;
  • 128 ou 256 Go de RAM ;
  • plusieurs SSD NVMe ;
  • une alimentation correctement dimensionnĂ©e ;
  • une grosse carte graphique professionnelle.

Une NVIDIA RTX A6000 dispose par exemple de 48 Go de mémoire GDDR6 ECC.

La RTX 6000 Ada dispose également de 48 Go de mémoire GPU.

Encore au-dessus, la RTX PRO 6000 Blackwell Workstation Edition embarque 96 Go de GDDR7.

Nous ne sommes Ă©videmment plus du tout dans la mĂȘme gamme de prix.


AMD ROCm ou NVIDIA CUDA

Le choix du GPU implique Ă©galement un choix d’écosystĂšme logiciel.

Pour AMD, on trouve notamment : ROCm .

Pour NVIDIA : CUDA .

Une partie importante du bĂȘta-test consistera justement Ă  dĂ©terminer quels logiciels et modĂšles fonctionnent correctement sur chaque architecture.


Mini-serveur 128 Go ou grosse station GPU ?

Mini-serveur 128 GoStation GPU dédiée
TrĂšs compact Plus volumineuse
Grande mémoire unifiée VRAM GPU dédiée trÚs rapide
Faible encombrement TrÚs évolutive
Intéressant pour les gros modÚles quantifiés TrÚs fortes performances GPU
Serveur discret Véritable station de travail
RAM et GPU peu évolutifs GPU, RAM et stockage remplaçables

Une vraie machine serveur, pas simplement un PC avec un chatbotia locale serveur linux luks raid1 sauvegarde

À partir du moment oĂč l’on travaille avec des donnĂ©es confidentielles, la machine doit ĂȘtre conçue sĂ©rieusement.

Elle fonctionnera sous Linux.

Les disques et les donnĂ©es pourront ĂȘtre protĂ©gĂ©s avec cryptsetup / LUKS , le mĂ©canisme couramment utilisĂ© pour le chiffrement de volumes sous Linux.

La documentation du noyau Linux sur dm-crypt et LUKS est également disponible publiquement.

Lorsque le matĂ©riel possĂšde deux SSD, l’objectif est d’utiliser au minimum un RAID 1 miroir.

Attention : RAID 1 ≠ sauvegarde.

Une sauvegarde indépendante restera indispensable.


Donner le moins de droits possible à l’IAia locale moindre privilege lecture seule securite

Si l’intelligence artificielle a seulement besoin de lire quelque chose, elle n’a aucune raison d’avoir le droit de le modifier.

Les fonds documentaires pourront donc ĂȘtre prĂ©sentĂ©s Ă  certains services en lecture seule.

On pourra également utiliser :

  • des comptes Linux dĂ©diĂ©s ;
  • des permissions spĂ©cifiques ;
  • des services isolĂ©s ;
  • des conteneurs ;
  • une journalisation ;
  • un rĂ©seau dĂ©diĂ© ;
  • des rĂšgles de pare-feu ;
  • des accĂšs SQL limitĂ©s.

 


Quelques usages possiblesia locale usages pme association atelier professionnels

  • analyse juridique et documentaire ;
  • recherche dans des archives ;
  • analyse de contrats ;
  • dĂ©veloppement informatique ;
  • crĂ©ation et analyse de scripts ;
  • administration de serveurs Linux ;
  • analyse de journaux systĂšme ;
  • traitement de donnĂ©es SQL et CSV ;
  • classement automatique de documents ;
  • OCR ;
  • analyse d’images ;
  • transcription audio ;
  • production de rapports ;
  • recherche technique ;
  • interrogation d’une documentation interne ;
  • automatisation de traitements de fond.

Dans une PME, une association, un atelier, une profession libĂ©rale ou mĂȘme pour certains usages personnels, les possibilitĂ©s deviennent particuliĂšrement intĂ©ressantes.

Le but n’est pas de mettre de l’IA partout parce que c’est Ă  la mode, mais de trouver les endroits oĂč elle permet rĂ©ellement de gagner du temps ou d’effectuer des travaux qui seraient autrement difficilement rĂ©alisables.


Faut-il un datacenter et une centrale électrique ?

Non. ;-)

La petite machine étudiée tient sur un bureau et fonctionne avec un refroidissement classique par air.

Une grosse station professionnelle consommera naturellement davantage lorsque son GPU fonctionne Ă  pleine charge.

Une RTX A6000 peut par exemple atteindre environ 300 W pour le GPU.

On reste néanmoins face à un ordinateur puissant installé dans un bureau, pas devant une rangée de serveurs nécessitant une installation industrielle de refroidissement.


Oui, l’intelligence artificielle locale consomme de l’électricitĂ©

Lorsqu’un processeur ou une carte graphique travaille, il consomme de l’électricitĂ© et transforme pratiquement toute cette Ă©nergie en chaleur.

Il ne faut pas prétendre le contraire.

Mais cette consommation varie énormément entre le repos et les phases de calcul intensif.

Et surtout, la machine n’est pas obligĂ©e de fonctionner 24 heures sur 24.

Elle peut ĂȘtre dĂ©marrĂ©e pour effectuer un travail, calculer pendant plusieurs heures, puis ĂȘtre arrĂȘtĂ©e lorsqu’elle n’est plus nĂ©cessaire.


Et pourquoi pas du photovoltaĂŻque ?

Rien ne l’interdit.

La machine peut naturellement ĂȘtre protĂ©gĂ©e par un onduleur.

Et une installation disposant dĂ©jĂ  de panneaux photovoltaĂŻques et d’un stockage sur batterie peut parfaitement dĂ©cider de lancer les traitements lourds pendant les pĂ©riodes de production solaire excĂ©dentaire.

Une possibilitĂ© supplĂ©mentaire Ă  tester pour ceux qui souhaitent Ă©galement optimiser l’origine de l’énergie utilisĂ©e.

ia locale consommation electricite photovoltaique onduleur


Le serveur peut Ă©galement ĂȘtre un vĂ©ritable ordinateur de travailia locale station travail linux developpement photo video jeu

Une station IA n’est pas nĂ©cessairement une boĂźte noire enfermĂ©e dans un placard.

Avec un ou plusieurs écrans, elle peut servir de :

  • poste Linux ;
  • ordinateur bureautique ;
  • station de dĂ©veloppement ;
  • poste de traitement photographique ;
  • station vidĂ©o ;
  • machine de virtualisation ;
  • poste de calcul ;
  • et mĂȘme ordinateur de jeu.

Lorsque l’IA ne monopolise pas le GPU, cette puissance reste disponible pour les autres usages.

Faire de l’utile et de l’agrĂ©able avec la mĂȘme machine est parfaitement possible.


Pourquoi ne pas simplement tout faire avec une IA en ligne ?ia locale cloud vs local architecture hybride

Parce que le cloud et le local ne rĂ©pondent pas exactement au mĂȘme besoin.

Des services comme ChatGPT, Gemini, Le Chat ou DeepSeek sont trĂšs intĂ©ressants lorsqu’on souhaite accĂ©der immĂ©diatement Ă  des modĂšles puissants sans acheter son propre matĂ©riel.

L’IA locale devient particuliĂšrement intĂ©ressante lorsque l’on possĂšde :

  • des donnĂ©es confidentielles ;
  • de gros volumes documentaires ;
  • des traitements trĂšs longs ;
  • des automatisations rĂ©currentes ;
  • des besoins trĂšs spĂ©cialisĂ©s ;
  • le besoin de maĂźtriser physiquement son infrastructure.

Dans beaucoup de situations, la meilleure architecture sera probablement hybride.

Local pour ce qui doit rester privé.

Internet pour la recherche publique.

Et éventuellement une API extérieure ponctuelle pour certaines tùches ne nécessitant aucune donnée sensible.

Il ne s’agit donc pas d’une guerre entre cloud et local. Il s’agit de choisir le bon endroit pour chaque traitement.



appel projet ia locale poustiquet beta testeurs
Le prototype que je souhaite maintenant construire

Je souhaite maintenant construire un premier systÚme suffisamment sérieux pour ne plus travailler uniquement sur des hypothÚses.

Premier objectif : environ 2 000 Ă  2 500 â‚Ź

L’idĂ©e serait notamment d’étudier une machine compacte autour du AMD Ryzen AI Max+ 395 avec 128 Go de mĂ©moire, deux SSD et une infrastructure Linux complĂšte.

Le GMKtec EVO-X2 fait partie des machines étudiées.

DeuxiĂšme possibilitĂ© : jusqu’à environ 5 000 â‚Ź

Avec davantage de budget, on peut commencer à envisager une station entiÚrement évolutive :

  • 128 ou 256 Go de RAM ;
  • plusieurs SSD ;
  • une alimentation importante ;
  • une carte graphique disposant Ă©ventuellement de 48 Go de VRAM ;
  • et pourquoi pas du matĂ©riel professionnel d’occasion.

Ce que je veux réellement mesurer

Je ne veux pas simplement afficher une fenĂȘtre de chatbot et annoncer :

Ça marche !

Ça, on sait dĂ©jĂ  le faire.

Le bĂȘta-test doit rĂ©pondre Ă  de vraies questions :

  • combien de temps faut-il pour analyser 100, 1 000 ou 10 000 documents ?
  • quelle diffĂ©rence rĂ©elle existe entre diffĂ©rents modĂšles ?
  • quelle quantitĂ© de mĂ©moire utilisent-ils ?
  • quel impact apporte la quantification ?
  • quelle est la consommation rĂ©elle au repos et en calcul ?
  • quelles tempĂ©ratures atteint la machine ?
  • peut-elle calculer plusieurs heures sans ralentissement ?
  • quelle qualitĂ© obtient-on avec l’OCR ?
  • comment indexer plusieurs dizaines de milliers de documents ?
  • comment sĂ©parer proprement les donnĂ©es confidentielles des recherches Web ?
  • peut-on lancer un travail le soir et rĂ©cupĂ©rer le rapport le lendemain ?
  • comment permettre Ă  plusieurs utilisateurs d’accĂ©der au serveur ?
  • quels sont les usages oĂč l’IA locale apporte rĂ©ellement une valeur ?
  • etc ...

Je recherche donc un budget
 mais surtout un bĂȘta-testeur

Je cherche aujourd’hui un financement, un partenariat, un prĂȘt de matĂ©riel ou toute autre forme de soutien permettant de rĂ©unir environ :

2 000 Ă  2 500 â‚Ź pour le premier dĂ©monstrateur

avec une possibilitĂ© d’aller

jusqu’à environ 5 000 â‚Ź pour une configuration plus Ă©volutive.

Mais le matĂ©riel n’est qu’une partie du projet.

Je recherche surtout un ou plusieurs bĂȘta-testeurs ayant de vrais besoins.

Par exemple :

  • une petite entreprise ;
  • une association ;
  • un professionnel indĂ©pendant ;
  • un atelier ;
  • une structure possĂ©dant un fonds documentaire important ;
  • un dĂ©veloppeur ;
  • ou quelqu’un disposant simplement d’un cas d’usage particuliĂšrement intĂ©ressant.

Parce qu’un serveur IA sans travail à lui donner ne sert à rien

On peut acheter la plus grosse carte graphique du monde.

Installer 128 Go de mémoire.

Télécharger quinze modÚles depuis Hugging Face .

Afficher de magnifiques graphiques.

Si la seule utilisation finale consiste Ă  demander :

Raconte-moi une blague.

alors nous aurons surtout construit un radiateur extrĂȘmement sophistiquĂ©. ;-)

Ce qui m’intĂ©resse est exactement l’inverse.

Partir du besoin réel.

Puis dĂ©terminer si l’intelligence artificielle apporte rĂ©ellement quelque chose.


Le projet n’en est qu’au dĂ©but

Il y aura forcément :

  • des erreurs ;
  • des modĂšles dĂ©cevants ;
  • des idĂ©es abandonnĂ©es ;
  • des logiciels remplacĂ©s ;
  • des problĂšmes de phases pilotes ;
  • des performances diffĂ©rentes des promesses commerciales ;
  • et probablement quelques soirĂ©es devant un terminal Linux Ă  chercher pourquoi quelque chose qui fonctionnait hier refuse obstinĂ©ment de fonctionner aujourd’hui. ;-)

C’est justement pour cela qu’il s’agit d’un projet et d’un bĂȘta-test.

L’objectif est de documenter l’expĂ©rimentation, mesurer rĂ©ellement les performances et dĂ©terminer jusqu’oĂč peut aller aujourd’hui une intelligence artificielle locale avec un budget accessible Ă  une petite structure.


Une autre maniùre d’imaginer l’intelligence artificielle

Je ne cherche pas à recréer ChatGPT à la maison.

Je veux construire un serveur de travail intelligent, hĂ©bergĂ© chez nous, capable d’exploiter nos documents sans les expĂ©dier ailleurs, de travailler plusieurs heures sur une tĂąche et nĂ©anmoins d’aller rechercher sur Internet les informations publiques dont il a besoin.

Le local pour ce qui doit rester privé.

Le Web pour ce qui doit ĂȘtre recherchĂ©.

Le bon modĂšle pour le bon travail.

Et l’humain pour dĂ©cider oĂč se trouve la frontiĂšre.

 


Vous souhaitez participer ?

Si vous avez :

  • du matĂ©riel disponible ;
  • une idĂ©e ;
  • un besoin rĂ©el ;
  • une entreprise ou une association intĂ©ressĂ©e ;
  • un cas d’usage Ă  tester ;
  • ou simplement l’envie de participer Ă  cette expĂ©rimentation ;

Le projet est ouvert.

À suivre


```

📱 Rejoignez la boucle d’info CT Moto !

Envie de recevoir en direct les actus et mobilisations contre le ContrĂŽle Technique moto ?
👉 Inscrivez-vous dĂšs maintenant : laissez vos coordonnĂ©es (nom, mail, mobile) et je vous enverrai les infos par SMS/MMS/RCS.

đŸ“Č Simple, rapide, gratuit – soyez au cƓur du mouvement citoyen !

🔗 parole-2roues-motorises.hostica.ovh/Opt-in-SMS---Info_CT_Moto

(En parallĂšle, j’écris actuellement un mĂ©moire contre le gouvernement dans le cadre du Contentieux au Conseil d’État : excĂšs de pouvoir et carence fautive des ministres. Chaque relais renforce ce combat collectif.)

đŸ–Šïž N’hĂ©sitez pas non plus Ă  signer la pĂ©tition de HĂ©lĂšne, qui donne dĂ©jĂ  un poids juridique majeur Ă  ce combat :
👉 https://petitions.assemblee-nationale.fr/initiatives/i-3070

✊ On ne lñche rien.

#CTmoto #ConseilEtat #ExcĂšsDePouvoir #CarenceFautive #OnNeLacheRien

 

📬 Me contacter

Vous pouvez me joindre via Facebook, Twitter, ou Mastodon.

đŸ“± Me contacter sur Signal

📞 M’appeler au +32 2 315 09 05

Par téléphone : 00 32 2 315 09 05 (merci de laisser un message sur le répondeur).
Sur demande, je peux aussi vous transmettre mon contact Signal (messagerie chiffrée), mon adresse email, ou d'autres moyens sécurisés.

🎯 DĂ©fenseur et intĂ©grateur du logiciel libre, membre de April.org
🌐 Auto-hĂ©bergeur de nouveau (prochainement) au rĂ©seau CHATONS.org
đŸ€ Donateur rĂ©gulier Ă  La Quadrature du Net

Mon CV - đŸ’» Services et installations 100 % indĂ©pendants & auto-hĂ©bergĂ©s

đŸ’¶ Financement participatif en cours

L’action contre le ContrĂŽle Technique moto est soutenue par des volontaires indĂ©pendants via :
👉 PayPal : paypal.me/RecoursCTMotoAuCE
👉 Bitcoin (BTC) : bc1qy2u33hy2w78m0692l2yvnrpml6v82w43ktl0uh

📖 Plus d’infos sur ma position et l’usage du BTC dans l’article :
âžĄïž Mon avis sur le Bitcoin et ma clĂ© publique (en cours de construction)

🙏 GrĂące Ă  vos dons (et les personnes se reconnaĂźtront ❀), j’ai pu financer :
🚗 des trajets,
📄 des dĂ©marches juridiques,
đŸ§© et tout rĂ©cemment, l’achat d’une option utile sur un logiciel libre Joomla.

🔧 Ce portail libre et auto-hĂ©bergĂ© servira aussi Ă  publier đŸ’Œ un Ă©tat des comptes, dĂšs que possible, en toute transparence.
🙏 Merci à toutes et tous pour votre soutien ✊ et pour faire vivre le libre au cƓur de l’action.