питання про файл robots.txt

[inf4mi]

Можливо не в тему. - сорі за флуд.
питання про файл robots.txt
За умовченням там такий файл:
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/

Як правильно приписать  - щоб дозволити роботам сканувати ту інформацію, що на сайті (контент).
"Содержание"  - воно зберігається в папці components ???

Дякую!!!

[mr.Z]

Тобто? Що значить знаходиться в папці components?
Взагалі-то, файл robots.txt показує які папки не сканувати роботу.

[Dutch]

Можливо не в тему. - сорі за флуд.
питання про файл robots.txt
За умовченням там такий файл:
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/

Як правильно приписать  - щоб дозволити роботам сканувати ту інформацію, що на сайті (контент).
"Содержание"  - воно зберігається в папці components ???

Дякую!!!

Нічого не потрібно прописувати.
В index.php вже вписано що потрібно роботу сканувати все що він знайде по лінках.
Єдине, що в цьому файлі ми блокуємо доступ до якоїсь інформації.
Постараюсь на днях дати більше інформації про robots.txt

[inf4mi]

Тобто? Що значить знаходиться в папці components?
Взагалі-то, файл robots.txt показує які папки не сканувати роботу.

Це було припущення!!!
Тоді так в яку папку чи куди вписуються всі статті, матеріали, що розміщені на сайті, щоб цю папку випадково не закрити для сканування!!!???

[Dutch]

Всі папки, які вписані у роботі - по своїй суті і виконують роль своєрідного ядра, у якомі міститься вся інформація.
Інформація, яку ви бачите на сайті побудованого на джумлі у такому спрощеному собі та абстрагованому варіанті (не будемо зараз вдаватись в усі тонкощі), викликається через index.php та index2.php, останній виводить тільки контент без оформлення та модулів (використовується для принту чи інших завдань).

Тобто, що можна сказати:
те що все вас цікавить, вже все зроблено.

Дещо про структуру Joomla:
1. User_manual - Joomla.org (pdf)
2. Все про структуру джумли для адміністратора  - Joomla.org
3. Термінологія джумли -  - Joomla.org
4. Форум по питаннях із роботою системи - Документація - Joomla.org

Про robots.txt:
1. Все о файле robots.txt по-русски
2. Как использовать инструмент анализа файла robots.txt? - Google
3. Что неправильного в моем файле robots.txt? Почему Яндекс не подчиняется тому, что там написано? - Yandex

[mr.Z]

Це було припущення!!!
Тоді так в яку папку чи куди вписуються всі статті, матеріали, що розміщені на сайті, щоб цю папку випадково не закрити для сканування!!!???

Всі статті зберігають не в папках, а на SQL-сервері і справді видаються через ті два файли, що описані вище. Тобто, для зчитування роботом контенту достатньо відкрити доступ лише для кореневої папки.

[Kris]

дякую

[Tanatus]

Стандартні налаштування файлу robots.txt для Joomla:

Joomla як сайт/блог

Код:

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /index.php*
Disallow: /index2.php*
Disallow: /*com_mailto #форма відправлення листів
Disallow: /*pop= #поп-ап вікна
Disallow: /*lang=ru #мовні версії (якщо треба)
Disallow: /*format= #формати
Disallow: /*print= #друк сторінок
Disallow: /*task=vote #форма голосування
Disallow: /*=watermark #водяні знаки
Disallow: /*=download #посилання на скачування
Disallow: /*user/ #користувачі
Disallow: /404 #помилка 404
Disallow: /index.php? #сторінки з параметрами
Disallow: /*? #посилання із запитаннями
Disallow: /*% #посилання з відсотками
Disallow: /*& #посилання зі знаком &
Disallow: /index2.php #дублі
Disallow: /*tag #хмаринка тегів
Disallow: /*.pdf #файли ПДФ
Disallow: /*.swf #файли Флеш
Disallow: /*=atom #RSS
Disallow: /*=rss #RSS
Allow: /images/ #відкриваємо зображення для індексації
Allow: /index.php?option=com_xmap&sitemap=1&view=xml #відкриваємо карту сайту (посилання змінюєте на власне, якщо відрізняється)
Host: site.com
Sitemap: http://site.com/адреса_карти_сайту
Host: site.com #якщо є або немає www

Для Joomla + VirtueMart

Код:

User-agent: *
Allow: /sitemap-xml.html?sitemap=1        #доступ до карти сайтів
Allow: /components/com_virtuemart/shop_image/category      #доступ до зображень категорій
Allow: /components/com_virtuemart/shop_image/product        #доступ до зображень товарів
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /shop/ask/
Disallow: /index.php?
Disallow: /index2.php
Disallow: /*keyword=           #пошук за ключовими словами
Disallow: /*pop=0               #проблема sh404
Disallow: /*product-search    #пошук
Disallow: /*flypage=            #товари з результатів пошуку
Disallow: /*cart                   #кошик
Disallow: /*feed                   #RSS та atom
Disallow: /404                 #помилка 404
Disallow: /*?                       #посилання з ?
Disallow: /*%                     #посилання з %
Crawl-delay: 5                    #таймаут в 5 секунд
Host: site.com
Sitemap: http://site.com/адреса_карти_сайту

[Dutch]

Ці правила можна виключити з файлу robots.txt!

Код:

Allow: /sitemap-xml.html?sitemap=1        #доступ до карти сайтів

Карта сайту й так індексується, оскільки вона в корені сайту.

Код:

Disallow: /*keyword=           #пошук за ключовими словами
Disallow: /*product-search    #пошук
Disallow: /*flypage=            #товари з результатів пошуку

Пошук можна залишити доступним для пошукових систем. Іноді через такі сторінки найбільше заходять

Код:

Disallow: /*feed                   #RSS та atom

Дайте індексацію й фідів. Іноді деяки читалки можуть закриті фіди і не прочитати!

Код:

Crawl-delay: 5                    #таймаут в 5 секунд

Краще цей параметр не задавати — нехай пошукові системи визначають коли і як індексувати. Популярні пошукові системи не радять цього, про це навіть у вебмастері гугла вказано.

[Tanatus]

Ці правила можна виключити з файлу robots.txt!

Код:

Allow: /sitemap-xml.html?sitemap=1        #доступ до карти сайтів

Карта сайту й так індексується, оскільки вона в корені сайту.

Код:

Disallow: /*keyword=           #пошук за ключовими словами
Disallow: /*product-search    #пошук
Disallow: /*flypage=            #товари з результатів пошуку

Пошук можна залишити доступним для пошукових систем. Іноді через такі сторінки найбільше заходять

Код:

Disallow: /*feed                   #RSS та atom

Дайте індексацію й фідів. Іноді деяки читалки можуть закриті фіди і не прочитати!

Код:

Crawl-delay: 5                    #таймаут в 5 секунд

Краще цей параметр не задавати — нехай пошукові системи визначають коли і як індексувати. Популярні пошукові системи не радять цього, про це навіть у вебмастері гугла вказано.

Можу погодитись.
Я дав просто загальні формати файлів. А кожен вже підганяє їх під свої потреби.