کراولر آنوبز onwebs SEO
دانلودDownload

اولین کراولر سئوی دسکتاپ و متن‌باز ایران Iran's first desktop, open-source SEO crawler

کراولرِ ایرانی که کل سایتت را می‌خزد؛
بدون سقف. The Iranian crawler that reads your whole site.
With no limit.

دانلود رایگانDownload free کد روی گیت‌هابSource on GitHub

نسخهٔ اولیهٔ 0.1.2 — با بازخوردت بهترش کن: amir@onwebs.ir Early version 0.1.2 — help improve it: amir@onwebs.ir

۸۳۸838 صفحه در یک کراولpages in one crawl
۷۳73 ستون دادهdata columns
۰0 هزینه، برای همیشهcost, forever
۴4 سیستم‌عاملplatforms

کراولر آنوبز چه کاری انجام می‌دهدWhat the Onwebs crawler does

هر آدرس سایتت را می‌خزد، هرچه پیدا کرد در یک جدول می‌گذارد، و می‌گوید کجا مشکل دارد. Crawls every address on your site, puts what it finds in one table, and tells you where the problems are.

کراول کاملA complete crawl

صفحه، تصویر، اسکریپت، استایل و PDF — همه در یک فهرست، با وضعیت و اندازه و عمق هرکدام. Pages, images, scripts, stylesheets and PDFs — one list, each with its status, size and depth.

لینک شکستهBroken links

لینک مرده را بر اساس مقصد گروه می‌کند و می‌گوید از چند صفحه به آن لینک داده‌ای. یک لینک فوتر خراب، یک اشتباه است نه چهارصد تا. Dead links are grouped by destination with the number of pages pointing at them. A broken footer link is one mistake, not four hundred.

تایتل و متاTitles and meta

تایتل تکراری، توضیحات خالی، H1 گم‌شده و محتوای کم — با تعداد دقیق صفحه‌های درگیر. Duplicate titles, empty descriptions, missing H1s and thin content — with the exact number of pages affected.

تحلیل لاگ سرورServer-log analysis

لاگ سرورت را می‌خواند و ربات را از انسان جدا می‌کند: Googlebot کجا رفت، ChatGPT چه خواند، چه کسی دنبال فایل بکاپ می‌گشت. Reads your server logs and separates bots from people: where Googlebot went, what ChatGPT read, who was probing for backup files.

سئو برای هوش مصنوعی (GEO)SEO for AI search (GEO)

ChatGPT و Perplexity هم سایتت را می‌خوانند. ساختار و دادهٔ ساختاریافته برای همان بررسی می‌شود. ChatGPT and Perplexity read your site too. Structure and structured data are checked with that in mind.

خروجی کاملFull export

هر ۷۳ ستون به CSV و Excel، بدون سقف ردیف. دادهٔ کراول مال خودت است. All 73 columns to CSV and Excel with no row cap. The crawl data is yours.

کراولر چیست و کراولر آنوبز چه فرقی دارد؟What is a crawler, and what makes this one different?

کراولر — یا خزندهٔ وب — برنامه‌ای است که همان کاری را با سایتت می‌کند که ربات گوگل می‌کند: از یک آدرس شروع می‌کند، هر لینک را دنبال می‌کند، و از هر صفحه داده برمی‌دارد. کد وضعیت، تایتل و متا، سرعت پاسخ، حجم واقعی منتقل‌شده، لینک‌های ورودی و خروجی. تا با کراولر سایتت را نخزی، نمی‌دانی موتور جستجو چه چیزی می‌بیند. A crawler does to your site what Googlebot does: it starts at one address, follows every link, and collects data from each page — status codes, titles and meta, response time, the bytes actually transferred, links in and out. Until you crawl your site, you do not know what a search engine sees.

کراولر آنوبز سه ابزار در یک اپ است: کراول عمیق که کل سایت را بدون سقف صفحه می‌پیماید و ۷۳ ستون داده برای هر آدرس می‌سازد؛ کراول سطحی که یک صفحه را با جزئیات کامل — از Core Web Vitals تا دادهٔ ساختاریافته — تحلیل می‌کند؛ و تحلیلگر لاگ که فایل لاگ سرورت را می‌خواند و نشان می‌دهد ربات‌ها واقعاً با سایتت چه می‌کنند. اتصال به Search Console و GA4 و Clarity هم دارد. The Onwebs crawler is three tools in one app: a deep crawler that walks the whole site with no page cap and builds 73 columns of data per address; a shallow crawler that takes one page apart in full detail, from Core Web Vitals to structured data; and a log analyser that reads your server logs and shows what bots actually do on your site. It connects to Search Console, GA4 and Clarity too.

و فرقش با بقیه؟ ابزارهای خارجی مثل Screaming Frog فارسی و راست‌به‌چپ را جدی نمی‌گیرند و نسخهٔ رایگانشان سقف دارد؛ ابزارهای ابری ایرانی هم دادهٔ سایتت را روی سرور خودشان نگه می‌دارند و اشتراک ماهانه می‌خواهند. آنوبز اولین کراولر ایرانیِ دسکتاپ و متن‌باز است: نصب می‌شود، رایگان است، کدش روی گیت‌هاب باز است، و دادهٔ کراول روی دیسک خودت می‌ماند — که برای سئوی سایت‌های فارسی و حتی GEO (دیده‌شدن در جواب‌های هوش مصنوعی) دقیقاً همان چیزی است که کم بود. And the difference? Foreign tools like Screaming Frog treat Persian and RTL as an afterthought and cap their free tiers; Iranian cloud tools keep your site's data on their servers and charge monthly. Onwebs is Iran's first desktop, open-source crawler: it installs, it is free, the code is public on GitHub, and the crawl data stays on your own disk — which, for Persian-language SEO and for GEO (being visible in AI answers), is exactly what was missing.

در برابر نسخهٔ رایگان فراگAgainst Screaming Frog free

هر دو را روی یک سایت اجرا کردیم. این اعداد از همان اجراست. We ran both against the same site. These figures are from that run.

Onwebs Screaming Frog
سقف تعداد صفحهPage limit نداردNone ۵۰۰500
صفحات گرفته‌شده از یک سایت واقعیPages captured from one real site ۸۳۸838 ۵۹59
رابط فارسی و راست‌به‌چپPersian, right-to-left interface داردYes نداردNo
تحلیل لاگ سرورServer-log analysis داردYes جداگانه و پولیSeparate, paid
اپ موبایلMobile app اندرویدAndroid نداردNo
کد بازOpen source داردYes نداردNo

آن ۵۹ صفحه سقف رایگان فراگ نیست؛ ابزار روی این سایت همان‌جا ایستاد. Those 59 pages are not the free cap; the tool simply stopped there on this site.

دانلود کراولر آنوبزDownload the Onwebs crawler

نسخهٔ 0.1.2 — سیستم‌عاملت را انتخاب کن. همهٔ فایل‌ها از گیت‌هاب می‌آیند. Version 0.1.2 — pick your platform. Every file comes from GitHub.

macOSApple Silicon · Intel Windows.exe Linuxdeb · rpm · AppImage Android.apk

این نسخهٔ اولیه است — با بازخورد تو کامل می‌شودThis is an early version — your feedback shapes it

آنوبز تازه شروع شده و هر چیزی که به چشمت خورد — باگ، کندی، ستونی که غلط می‌گوید، قابلیتی که جایش خالی است — دقیقاً همان چیزی است که مسیر نسخهٔ بعد را تعیین می‌کند. بنویس؛ خوانده می‌شود و جواب می‌گیرد. Onwebs has just started, and whatever you notice — a bug, slowness, a column that lies, a feature that should exist — is exactly what decides the next version. Write; it gets read and answered.

amir@onwebs.ir

یا در گیت‌هاب Issue باز کن or open an issue on GitHub

داستان کراولر آنوبزThe story of the Onwebs crawler

داستان از جایی شروع شد که می‌خواستیم Screaming Frog را نصب کنیم و مثل همیشه سایت‌ها را بررسی کنیم — ولی نسخهٔ رایگانش بیشتر از ۵۰۰ آدرس را کراول نمی‌کند، مگر اینکه لایسنس بخرید. همان‌جا تصمیم گرفتیم به‌جای دور زدن محدودیت، خودمان کراولری بسازیم که این سقف را نداشته باشد؛ و در همان آزمایش‌ها عملکردش از فراگ بهتر هم درآمد: جایی که فراگ روی ۵۹ صفحه ایستاد، آنوبز ۸۳۸ صفحه را کامل خزید. It started when we wanted to install Screaming Frog and audit sites the way we always had — but its free tier will not crawl past 500 URLs unless you buy a licence. Right there we decided that instead of working around the limit, we would build a crawler without one; and in those same tests it came out ahead of Frog — where Frog stopped at 59 pages, Onwebs walked all 838.

بعد دیدیم چرا به همین بسنده کنیم؟ Search Console، Google Analytics و Clarity را هم به همین پنل وصل کردیم تا همهٔ دادهٔ سئو یک‌جا باشد. همه‌چیز کاملاً لوکال اجرا می‌شود و هیچ اطلاعاتی به هیچ سروری فرستاده نمی‌شود — برای همین از بابت امنیت خیالتان راحت است. حتی می‌توانید API هوش مصنوعی خودتان را وصل کنید تا روی نتیجهٔ کراول تحلیل کامل بنویسد. Then we thought — why stop there? We wired Search Console, Google Analytics and Clarity into the same panel, so all the SEO data lives in one place. Everything runs entirely locally and nothing is sent to any server — so you can relax about security. You can even connect your own AI API and have it write a full analysis of the crawl.

این نسخهٔ اولیه است و مسیرش را بازخورد شما تعیین می‌کند. اگر امتحانش کردید — چه به مشکلی خوردید چه ایده‌ای داشتید — برایمان بنویسید: amir@onwebs.ir This is an early version, and your feedback sets its course. If you have tried it — whether you hit a problem or had an idea — write to us: amir@onwebs.ir

و یک پیشنهاد: برای API هوش مصنوعی، نسخهٔ رایگان Gemini برای شروع کاملاً کافی است. One suggestion: for the AI API, the free tier of Gemini is plenty to start with.

پرسش‌های پرتکرارFrequently asked

کراولر چیست و به چه دردی می‌خورد؟What is a crawler, and why would I want one?

کراولر (خزندهٔ وب) برنامه‌ای است که مثل ربات گوگل صفحه‌به‌صفحهٔ سایت را دنبال می‌کند و از هر صفحه داده جمع می‌کند: کد وضعیت، تایتل، متا، لینک‌ها، تصاویر، سرعت پاسخ. با این داده می‌فهمی سایتت از نگاه موتور جستجو چه شکلی است و کجاهایش خراب است. A crawler follows your site page by page the way Googlebot does, collecting data from each one: status codes, titles, meta, links, images, response times. That data is how you learn what your site looks like to a search engine, and where it is broken.

آیا آنوبز اولین کراولر ایرانی است؟Is Onwebs the first Iranian crawler?

آنوبز اولین کراولر سئوی دسکتاپ و متن‌باز ایران است. ابزار ابری ایرانی برای خزش سایت وجود دارد، اما کراولری که روی دستگاه خودت نصب شود، کدش باز باشد و دادهٔ کراول را روی همان دستگاه نگه دارد، پیش از آنوبز نبود. Onwebs is Iran's first desktop, open-source SEO crawler. Iranian cloud crawlers exist, but a crawler that installs on your own machine, publishes its source, and keeps the crawl data on that same machine did not — until this one.

فرق کراولر آنوبز با Screaming Frog چیست؟How is it different from Screaming Frog?

نسخهٔ رایگان فراگ سقف ۵۰۰ صفحه دارد و رابطش انگلیسی است. آنوبز سقف ندارد، فارسی و راست‌به‌چپ است، متن‌باز است و اپ اندروید دارد. در آزمایش روی یک سایت واقعی، آنوبز ۸۳۸ صفحه گرفت و فراگ روی ۵۹ ایستاد. Frog's free tier caps at 500 pages and its interface is English. Onwebs has no cap, is Persian and RTL, is open source, and ships an Android app. Against one real site, Onwebs captured 838 pages where Frog stopped at 59.

GEO یعنی چه؟What does GEO mean?

بهینه‌سازی برای موتورهای پاسخ هوش مصنوعی مثل ChatGPT و Perplexity. این موتورها هم سایتت را می‌خزند؛ ساختار تمیز، دادهٔ ساختاریافته و محتوای قابل استناد تعیین می‌کند که در جواب‌هایشان دیده شوی یا نه. آنوبز همین‌ها را بررسی می‌کند. Optimising for AI answer engines like ChatGPT and Perplexity. They crawl your site too; clean structure, structured data and citable content decide whether you appear in their answers. Onwebs checks exactly those.

دادهٔ کراول کجا ذخیره می‌شود؟Where does the crawl data live?

روی دیسک خود دستگاهت. کراول از دستگاه تو اجرا می‌شود، نتیجه روی همان می‌ماند، و هیچ سروری وسط نیست. نه حساب کاربری لازم است نه اشتراک ماهانه. On your own disk. The crawl runs from your machine, the results stay on it, and there is no server in between. No account, no subscription.

چطور بازخورد بدهم یا باگ گزارش کنم؟How do I send feedback or report a bug?

آنوبز نسخهٔ اولیه است و با بازخورد کاربران ساخته می‌شود. به amir@onwebs.ir ایمیل بزن یا در گیت‌هاب پروژه Issue باز کن. Onwebs is an early version, built on user feedback. Email amir@onwebs.ir or open an issue on the project's GitHub.