питання про файл robots.txt

Обговорення питань оптимізації сайтів на Joomla для просування в пошукових системах та соціальних мережах.
inf4mi
Користувач
Користувач
Повідомлень: 120
З нами з: 24 січня 2007, 10:04
Подякували: 1 раз

питання про файл robots.txt

Повідомлення inf4mi » 10 лютого 2007, 20:32

Можливо не в тему. - сорі за флуд.
питання про файл robots.txt
За умовченням там такий файл:
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/

Як правильно приписать  - щоб дозволити роботам сканувати ту інформацію, що на сайті (контент).
"Содержание"  - воно зберігається в папці components ???

Дякую!!!

mr.Z
Користувач
Користувач
Повідомлень: 47
З нами з: 17 листопада 2006, 17:56

Re: питання про файл robots.txt

Повідомлення mr.Z » 10 лютого 2007, 21:06

Тобто? Що значить знаходиться в папці components?
Взагалі-то, файл robots.txt показує які папки не сканувати роботу.
Аватар користувача
Dutch
Адміністратор
Адміністратор
Повідомлень: 1166
З нами з: 28 жовтня 2006, 18:49
Звідки: Київ
Дякував (ла): 2 рази
Подякували: 12 рази
Контактна інформація:

Re: питання про файл robots.txt

Повідомлення Dutch » 10 лютого 2007, 21:09

inf4mi писав:Можливо не в тему. - сорі за флуд.
питання про файл robots.txt
За умовченням там такий файл:
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/

Як правильно приписать  - щоб дозволити роботам сканувати ту інформацію, що на сайті (контент).
"Содержание"  - воно зберігається в папці components ???

Дякую!!!

Нічого не потрібно прописувати.
В index.php вже вписано що потрібно роботу сканувати все що він знайде по лінках.
Єдине, що в цьому файлі ми блокуємо доступ до якоїсь інформації.
Постараюсь на днях дати більше інформації про robots.txt
inf4mi
Користувач
Користувач
Повідомлень: 120
З нами з: 24 січня 2007, 10:04
Подякували: 1 раз

Re: питання про файл robots.txt

Повідомлення inf4mi » 10 лютого 2007, 23:58

mr.Z писав:Тобто? Що значить знаходиться в папці components?
Взагалі-то, файл robots.txt показує які папки не сканувати роботу.
Це було припущення!!!
Тоді так в яку папку чи куди вписуються всі статті, матеріали, що розміщені на сайті, щоб цю папку випадково не закрити для сканування!!!???
Аватар користувача
Dutch
Адміністратор
Адміністратор
Повідомлень: 1166
З нами з: 28 жовтня 2006, 18:49
Звідки: Київ
Дякував (ла): 2 рази
Подякували: 12 рази
Контактна інформація:

Re: питання про файл robots.txt

Повідомлення Dutch » 11 лютого 2007, 04:38

Всі папки, які вписані у роботі - по своїй суті і виконують роль своєрідного ядра, у якомі міститься вся інформація.
Інформація, яку ви бачите на сайті побудованого на Joomla у такому спрощеному собі та абстрагованому варіанті (не будемо зараз вдаватись в усі тонкощі), викликається через index.php та index2.php, останній виводить тільки контент без оформлення та модулів (використовується для принту чи інших завдань).

Тобто, що можна сказати:
те що все вас цікавить, вже все зроблено. :)

Дещо про структуру Joomla:
1. User_manual - Joomla.org (pdf)
2. Все про структуру Joomla для адміністратора  - Joomla.org
3. Термінологія Joomla -  - Joomla.org
4. Форум по питаннях із роботою системи - Документація - Joomla.org

Про robots.txt:
1. Все о файле robots.txt по-русски
2. Как использовать инструмент анализа файла robots.txt? - Google
3. Что неправильного в моем файле robots.txt? Почему Яндекс не подчиняется тому, что там написано? - Yandex
Востаннє редагувалось 11 лютого 2007, 04:47 користувачем Dutch, всього редагувалось 1 раз.

mr.Z
Користувач
Користувач
Повідомлень: 47
З нами з: 17 листопада 2006, 17:56

Re: питання про файл robots.txt

Повідомлення mr.Z » 11 лютого 2007, 14:18

inf4mi писав:Це було припущення!!!
Тоді так в яку папку чи куди вписуються всі статті, матеріали, що розміщені на сайті, щоб цю папку випадково не закрити для сканування!!!???
Всі статті зберігають не в папках, а на SQL-сервері і справді видаються через ті два файли, що описані вище. Тобто, для зчитування роботом контенту достатньо відкрити доступ лише для кореневої папки.
Kris
Користувач
Користувач
Повідомлень: 2
З нами з: 14 жовтня 2008, 14:07

Re: питання про файл robots.txt

Повідомлення Kris » 05 грудня 2008, 10:31

дякую
Аватар користувача
Tanatus
Користувач
Користувач
Повідомлень: 9
З нами з: 20 жовтня 2012, 19:13
Контактна інформація:

питання про файл robots.txt

Повідомлення Tanatus » 17 жовтня 2015, 09:57

Стандартні налаштування файлу robots.txt для Joomla:

Joomla як сайт/блог

Код: Виділити все

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /index.php*
Disallow: /index2.php*
Disallow: /*com_mailto #форма відправлення листів
Disallow: /*pop= #поп-ап вікна
Disallow: /*lang=ru #мовні версії (якщо треба)
Disallow: /*format= #формати
Disallow: /*print= #друк сторінок
Disallow: /*task=vote #форма голосування
Disallow: /*=watermark #водяні знаки
Disallow: /*=download #посилання на скачування
Disallow: /*user/ #користувачі
Disallow: /404 #помилка 404
Disallow: /index.php? #сторінки з параметрами
Disallow: /*? #посилання із запитаннями
Disallow: /*% #посилання з відсотками
Disallow: /*& #посилання зі знаком &
Disallow: /index2.php #дублі
Disallow: /*tag #хмаринка тегів
Disallow: /*.pdf #файли ПДФ
Disallow: /*.swf #файли Флеш
Disallow: /*=atom #RSS
Disallow: /*=rss #RSS
Allow: /images/ #відкриваємо зображення для індексації
Allow: /index.php?option=com_xmap&sitemap=1&view=xml #відкриваємо карту сайту (посилання змінюєте на власне, якщо відрізняється)
Host: site.com
Sitemap: http://site.com/адреса_карти_сайту
Host: site.com #якщо є або немає www
Для Joomla + VirtueMart

Код: Виділити все

User-agent: *
Allow: /sitemap-xml.html?sitemap=1        #доступ до карти сайтів
Allow: /components/com_virtuemart/shop_image/category      #доступ до зображень категорій
Allow: /components/com_virtuemart/shop_image/product        #доступ до зображень товарів
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /shop/ask/
Disallow: /index.php?
Disallow: /index2.php
Disallow: /*keyword=           #пошук за ключовими словами
Disallow: /*pop=0               #проблема sh404
Disallow: /*product-search    #пошук
Disallow: /*flypage=            #товари з результатів пошуку
Disallow: /*cart                   #кошик
Disallow: /*feed                   #RSS та atom
Disallow: /404                 #помилка 404
Disallow: /*?                       #посилання з ?
Disallow: /*%                     #посилання з %
Crawl-delay: 5                    #таймаут в 5 секунд
Host: site.com
Sitemap: http://site.com/адреса_карти_сайту
Аватар користувача
Dutch
Адміністратор
Адміністратор
Повідомлень: 1166
З нами з: 28 жовтня 2006, 18:49
Звідки: Київ
Дякував (ла): 2 рази
Подякували: 12 рази
Контактна інформація:

питання про файл robots.txt

Повідомлення Dutch » 17 жовтня 2015, 10:16

Ці правила можна виключити з файлу robots.txt!

Код: Виділити все

Allow: /sitemap-xml.html?sitemap=1        #доступ до карти сайтів
Карта сайту й так індексується, оскільки вона в корені сайту.

Код: Виділити все

Disallow: /*keyword=           #пошук за ключовими словами
Disallow: /*product-search    #пошук
Disallow: /*flypage=            #товари з результатів пошуку
Пошук можна залишити доступним для пошукових систем. Іноді через такі сторінки найбільше заходять

Код: Виділити все

Disallow: /*feed                   #RSS та atom
Дайте індексацію й фідів. Іноді деяки читалки можуть закриті фіди і не прочитати!

Код: Виділити все

Crawl-delay: 5                    #таймаут в 5 секунд
Краще цей параметр не задавати — нехай пошукові системи визначають коли і як індексувати. Популярні пошукові системи не радять цього, про це навіть у вебмастері гугла вказано.
Аватар користувача
Tanatus
Користувач
Користувач
Повідомлень: 9
З нами з: 20 жовтня 2012, 19:13
Контактна інформація:

питання про файл robots.txt

Повідомлення Tanatus » 17 жовтня 2015, 10:30

Dutch писав:Джерело цитати Ці правила можна виключити з файлу robots.txt!

Код: Виділити все

Allow: /sitemap-xml.html?sitemap=1        #доступ до карти сайтів
Карта сайту й так індексується, оскільки вона в корені сайту.

Код: Виділити все

Disallow: /*keyword=           #пошук за ключовими словами
Disallow: /*product-search    #пошук
Disallow: /*flypage=            #товари з результатів пошуку
Пошук можна залишити доступним для пошукових систем. Іноді через такі сторінки найбільше заходять

Код: Виділити все

Disallow: /*feed                   #RSS та atom
Дайте індексацію й фідів. Іноді деяки читалки можуть закриті фіди і не прочитати!

Код: Виділити все

Crawl-delay: 5                    #таймаут в 5 секунд
Краще цей параметр не задавати — нехай пошукові системи визначають коли і як індексувати. Популярні пошукові системи не радять цього, про це навіть у вебмастері гугла вказано.
Можу погодитись.
Я дав просто загальні формати файлів. А кожен вже підганяє їх під свої потреби.


  • Similar Topics
    Відповіді
    Перегляди
    Останнє повідомлення

Повернутись до “Пошукова оптимізація (SEO) та соціальні мережі”

Хто зараз онлайн

Зараз переглядають цей форум: 0 і 0 гостей