Självhostad MCP-hämtare för agentwebbforskning och extraktion
master-fetch, av Dondai1234, är en Model Context Protocol-server som ger AI-agenter lokal åtkomst till live webbinnehåll för modellkontext och forskning. Den hämtar sidor och returnerar rengjord text och sökresultat samtidigt som den hanterar JavaScript-tunga webbplatser och anti-bot-väggar. Appen framhäver zero-config, nyckellös drift och dokumentbearbetning på enheten. Utvecklare och AI-maktanvändare får en privat, självhostad hämtning pipeline för lokalisering, dokumentationsinmatning och agentdrivna forskningsarbetsflöden.
Vilka uppgifter kan du faktiskt använda den för?
master-fetch fungerar som en hämtning motor som tillhandahåller läsbart källmaterial till nedströmsmodeller, fokuserad på ai-text-lokalisering och forskningsuppgifter. Typiska resultat inkluderar att extrahera dokumentation för översättning, skrapa webbsidor för lokaliserade strängar och kartlägga webbplatsinnehåll för modellprompter. Praktiska uppgiftstyper:
- Hämta och rensa HTML för modellinmatning
- Webbplatsövergripande crawling via sitemaps
- Konvertera PDF:er och bilder till text för inmatning
Hur pålitliga och rena är de hämtade resultaten?
Verktyget producerar avskalad, modellredo text genom att använda Trafilatura och lxml för att ta bort annonser och standardinnehåll, och det kan ge ut Markdown eller ren text som är lämplig för promptkontext. För bildtunga dokument tillämpar det en lokal ONNX-baserad OCR-pipeline för att extrahera tecken. Projektet inkluderar också ett lokalt neuralt omrankningssteg som omordnar sökresultat, vilket hjälper till att prioritera de mest relevanta hämtade sidorna för agentkonsumtion.
Vilka indata och operativa begränsningar bör du förvänta dig?
Accepterade indata inkluderar URL:er, webbplats sitemaps för djup crawling, och uppladdade PDF:er eller bilder för OCR. Installation kräver en Python 3.10+ miljö och paketet (pip install hound-mcp), och stealth-hämtning kan valfritt använda en lokal Chrome- eller Chromium-binär. Servern integreras med MCP-värdar som Claude Desktop, Cursor och OpenCode, och dess sökning fungerar utan externa API-nycklar genom att förlita sig på lokal skrapning och routelogik.
Passar det in i utvecklararbetsflöden utan tung overhead?
Designen riktar sig till utvecklare och AI-maktanvändare som kan självhosta och integrera en MCP-ändpunkt i agentstackar. Utvecklaren implementerade automatisk eskalering mellan HTTP, webbläsarrendering och stealth-lägen för att öka framgångsrika hämtningar från skyddade sidor, och gemenskapen noterar dess auto-eskalering styrkor. Eftersom tjänsten körs helt lokalt kan team som prioriterar dataskydd integrera den i befintliga interna pipelines för modellkontextgenerering.
Vem bör anta det och vem bör leta någon annanstans
master-fetch är ett utvecklarorienterat val för team som bygger agentdrivna forsknings- eller lokaliseringspipelines och kan driva en självhostad server. Det passar grupper som prioriterar kontroll över det hämtade materialet och kan underhålla en Python-baserad tjänst. Organisationer utan intern ingenjörskapacitet eller de som föredrar en hanterad, nyckelfärdig skraptjänst bör överväga alternativ som tar bort hostingansvaret.
