الدرس الثالث ...
3 ) انشاء ملف الروبتس ( Robots.txt ) فهو بوابة دخول جووجل اليك
بعد ما عملناه هنعرف دلوقتي ازاي تقدر تحجب مثلا فولدرات من الارشفة او الغاء صفحة محددة او الغاء محرك بحث جووجل من اي ارشفة لموقعك
3 ) انشاء ملف الروبتس ( Robots.txt ) فهو بوابة دخول جووجل اليك
الاول تعالا نتعرف علي عناكب البحث .. ما هي العناكب ؟؟
بمنهي البساطة .. كل محرك بحث ليه العناكب بتوعه .. وظيفته الدخول علي الموقع وفهرسته اي صفحة تزورها هذه العناكب
بمعني ان محرك بحث جووجل ليه عناكب غير بتاعت ياهو غير ام اس ان .. فكل واحد منهم بيدخل موقعك ويفهرسة لمحرك البحث الخاص به
بمعني ان محرك بحث جووجل ليه عناكب غير بتاعت ياهو غير ام اس ان .. فكل واحد منهم بيدخل موقعك ويفهرسة لمحرك البحث الخاص به
عشان كده تعتبر العناكب دي حلقة الوصل بينك وبين محركات البحث .. ودي اللي بتزود ارشفة موقعك بالـتأكيد
وان شاء الله بعد تطبيق هذه الدورة في البداية ستجد ان موقعك يزوره عناكب بشكل قليل الي حد ما .. يعني مثلا انا في اول شهر كان بيجيلي واحد بس من العناكب دي .. بس اخر الشهر ده وصلوا لاتنين .. وكل شوية بيزيدوا مع الوقت ... وبعد شهر ونص بقيت الاقي عناكب جووجل بتوصل الي 10 بخلاف عناكب ياهو
وان شاء الله بعد تطبيق هذه الدورة في البداية ستجد ان موقعك يزوره عناكب بشكل قليل الي حد ما .. يعني مثلا انا في اول شهر كان بيجيلي واحد بس من العناكب دي .. بس اخر الشهر ده وصلوا لاتنين .. وكل شوية بيزيدوا مع الوقت ... وبعد شهر ونص بقيت الاقي عناكب جووجل بتوصل الي 10 بخلاف عناكب ياهو
طيب دلوقتي اكيد في دماخك سؤال مهم .. ازاي اجيب العناكب دي ؟؟ ووهل بتدخل علي كل ما هب ودب في الموقع ؟؟
سؤال طبعا ممتاز .. بالنسبة للجزء الاول من السؤال انك تجيب العناكب ازاي ده شيء سهل فقط طبق ما موجود في الدورة .. خاصة الدرس الاول والدرس الثانية وستجد اول عنكبوت لديك باذن الله .. ويزيدون بعد تطبيق باقي دروس الدورة ان شاء الله
اما الجزء الثاني من السؤال انه بيدخل علي كل ماهب ودب في الموقع فالأجابة هي نعم .. يدخل الي اي موضوع او صفحة بموقعك مهما كانت بعيدة
- طيب انا عندي صفحات حساسة و مهمة لا اريد ارشفتها فما العمل ؟؟
لهذا السؤال تم عمل شيء اسمه ملف الروبتس robots.txt
- ايه فايدة ملف الروبتس ده ؟؟
فائدته كبيرة جدا .. فهذا كالطريق الذي ترشد به العناكب الي موقعك .. وتمنعهم من رؤية وفهرسة صفحات ومواضيع تختارها انت .. ولذلك هذا الملف حل هذه المشكلة واصبحنا الان نتحكم فيما يظهر في نتائح البحث وفيما لا نريد ان يظهر
- طيب ايه خطوات عمل الملف ده ؟؟
هو ده اللي هنتعلمه في الدرس ده انك ازاي تعمل ملف الروبتس .. وايه اللي هنكتب جواه ... وفين هنعرفه
نبدأ بسم الله
اولا نبدا بعمل ملف نصي جديد ونسمية
اولا نبدا بعمل ملف نصي جديد ونسمية
رمز PHP:
robots.txt
ملاحظة :: يتم رفع ملف الروبتس في المجلد الرئيسي للموقع .. اي يمكننا فتحه عن طريق هذا الرابط
www.xxxx.com/robots.txt
www.xxxx.com/robots.txt
اولا .. اذا كنا نريد ان نجعل كل محركات البحث تأرشف موقعنا كله فنكتب هذا الكود في ملف الروبتس اللي عمناه
يبقي هذا الكود يجعل موقعك مفتوح علي مصرعية لاي محرك بحث
رمز PHP:
User-agent: *
يبقي هذا الكود يجعل موقعك مفتوح علي مصرعية لاي محرك بحث
-طيب افرض نحن لا نريد ارشفة مثلا لوحة تحكم المنتدي اذا عندنا منتدي؟؟
يبقي هنكتب الكود هكذا :
يبقي دلوقتي فهمنا ازاي نقدر نمنع جووجل من ارشفه اشياء معينة
رمز PHP:
User-agent: *
Disallow: /vb/admincp/
.. طيب اذا كنت تريد الغاء ارشفة موقعك من محركات البحث نهائيا ؟؟
نكتب الكود هكذا :
وهنا نحن لم نحدد فولدر معين اي ان الموقع كله سيتم الغاء ارشفته
رمز PHP:
User-agent: *
Disallow: /
وهنا نحن لم نحدد فولدر معين اي ان الموقع كله سيتم الغاء ارشفته
ويمكنك الغاء محرك بحث جووجل فقط عن طريقة هذا الكود :
اي ان Googlebot هو اسم جووجل الحركي ولكل محرك بحث اسم خاص به .. وتجد محرك البحث ياهو اسمه Yahoo slurp!
رمز PHP:
User-agent: Googlebot
Disallow: /
اي ان Googlebot هو اسم جووجل الحركي ولكل محرك بحث اسم خاص به .. وتجد محرك البحث ياهو اسمه Yahoo slurp!
وهذا الكود ايضا لالغاء ومنع ارشفة الصور لديك اذا كانت موجودة بملف images
حيث انه الصور المتأرشفه تظهر في محرك بحث جووجل للصور كما نعرف .. اذا كنت تريد الغاء ارشفه الصور موجوده في فولدر معين هتبقي كده
حيث انه الصور المتأرشفه تظهر في محرك بحث جووجل للصور كما نعرف .. اذا كنت تريد الغاء ارشفه الصور موجوده في فولدر معين هتبقي كده
رمز PHP:
User-agent: *
Disallow: /images/
وبالتبعية اذا دمجنا الاكودا واردنا كود يمنع محرك بحث جووجل فقط من الدخول علي فولدر الصور هيكون كده :
ونقدر نمسح اسم فولدر ايمج من الكود اللي فات وبالتالي هنمنع جووجل من ارشفه اي صورة بالموقع
يبقي احنا نقدر نسوي ما نريد عن طريق ادخال الكل في بضعه
مثال : نريد ان نصنع ملف روبتس بحيث اننا نمتلك منتدي و لدينا ثلاث مجلدات باسم 1 و 2 و 3 حساسين ولا نريد ارشفتهما موجودين بفولدر اسمه مثلا vip .. اذن كيف تتوقع يكون الملف عامل ازاي ؟؟؟ ياريت تطبق قبل ما تشوف الطريقة
.
.
.
.
.
راح يكون هكذا :
يبقي في النهاية .. هذا الكود :
يفتح لك الارشفة لكل محركات البحث
رمز PHP:
User-agent: Googlebot-Image
Disallow: /images/
يبقي احنا نقدر نسوي ما نريد عن طريق ادخال الكل في بضعه
مثال : نريد ان نصنع ملف روبتس بحيث اننا نمتلك منتدي و لدينا ثلاث مجلدات باسم 1 و 2 و 3 حساسين ولا نريد ارشفتهما موجودين بفولدر اسمه مثلا vip .. اذن كيف تتوقع يكون الملف عامل ازاي ؟؟؟ ياريت تطبق قبل ما تشوف الطريقة
.
.
.
.
.
راح يكون هكذا :
رمز PHP:
User-agent: *
Disallow: /vb/admincp/
Disallow: /vb/includes/
Disallow: /vb/modcp/
Disallow: /vip/1
Disallow: /vip/2
Disallow: /vip/3
يبقي في النهاية .. هذا الكود :
رمز PHP:
User-agent: *
يفتح لك الارشفة لكل محركات البحث
وهذا الكود لمنع ارشفة الفولدرات الي تحددها :
انصحك به بشدة ..
قم بوضع هذا الكود لملف الروبتس ( لاصحاب المنتديات كما قلنا )
طبعا اذا كان لديك مجلدات اخري خارج المنتدي تريد منعها من الفهرسة تضفها بعد الكود السابق كما تعلمنا
رمز PHP:
User-agent: *
وافضل ملف روبتس يمكن اضافة لموقعك اذا كنت تمتلك منتدي هو هذا الكود القادم .. هتلاقيني مانع من فهرسة المجلدات والملفات غير المهمة والتي لا يوجد منها نفع اذا دخلتها العناكب حيث انها لا تأرشفها كما انها توفر الباندويدث لموقعك بشكل ملحوظ وتخفف اللود علي السيرفر ايضا
انصحك به بشدة ..
قم بوضع هذا الكود لملف الروبتس ( لاصحاب المنتديات كما قلنا )
رمز PHP:
User-agent: *
Disallow: /forums/admincp/
Disallow: /forums/clientscript/
Disallow: /forums/cpstyles/
Disallow: /forums/customavatars/
Disallow: /forums/customprofilepics/
Disallow: /forums/images/
Disallow: /forums/modcp/
Disallow: /forums/ajax.php
Disallow: /forums/attachment.php
Disallow: /forums/calendar.php
Disallow: /forums/cron.php
Disallow: /forums/editpost.php
Disallow: /forums/global.php
Disallow: /forums/image.php
Disallow: /forums/inlinemod.php
Disallow: /forums/joinrequests.php
Disallow: /forums/login.php
Disallow: /forums/member.php
Disallow: /forums/memberlist.php
Disallow: /forums/misc.php
Disallow: /forums/moderator.php
Disallow: /forums/newattachment.php
Disallow: /forums/newreply.php
Disallow: /forums/newthread.php
Disallow: /forums/online.php
Disallow: /forums/poll.php
Disallow: /forums/postings.php
Disallow: /forums/printthread.php
Disallow: /forums/private.php
Disallow: /forums/profile.php
Disallow: /forums/register.php
Disallow: /forums/report.php
Disallow: /forums/reputation.php
Disallow: /forums/search.php
Disallow: /forums/sendmessage.php
Disallow: /forums/showgroups.php
Disallow: /forums/subscription.php
Disallow: /forums/threadrate.php
Disallow: /forums/usercp.php
Disallow: /forums/usernote.php
طبعا اذا كان لديك مجلدات اخري خارج المنتدي تريد منعها من الفهرسة تضفها بعد الكود السابق كما تعلمنا
واذا ارشفت جووجل لاي صفحات لا تريد ارشفتها يمكنك الغاء ارشفتها بسهولة من هذا الرابط .. فهي هتلاقي كل اللي هتحتاجة في الحالات الحرجة اللي ذي دي
http://www.google.com/webmasters/remove.html
http://www.google.com/webmasters/remove.html
وهذه ايضا اداة مفيدة جدا وهي لعمل اختبار لملف الروبتس اللي عندك .. لو فيه اخطاء راح يقولك ويكتبلك سبب الخطأ اللي عندك وانت تحاول تعمل اللي بيقولك عليه اذا كان عندك اي اخطاء
http://tool.motoricerca.info/robots-checker.phtml
http://tool.motoricerca.info/robots-checker.phtml
مع العلم في النهاية ان جووجل لا تأرشف اي ملفات مرفوعة الي موقعك .. يعني علي سبيل المثال لن تأرشف الباك اب الخاص بك .. لكن يفضل منع ارشفه الفولدرات التي تحتوي علي مثل هذه الملفات حتي ان كانت لن تتأرشف وذلك لتوفير الترافيك والباندويدث
وبكده نكون خلصنا الدرس الثالث علي خير .. يارب تكون استفادتم وطبعا زي كل مرة ياريت اللي عنده سؤال يسألني وانا في الخدمة ان شاء الله
