Robots.txt via MenuManager

Met een robots.txt bestand kan je een zoekmachine-robot instructies geven om een pagina of document op je CMS Made Simple website wel of niet te indexeren.

Wil je niet voor iedere site aanpassing ook je robots.txt file aanpassen zet dan de CMSMS MenuManager in om een dynamische gegenereerde robots.txt bestand te maken.

Voordat je van start gaat zorg ervoor dat je url rewriting, pretty urls werkend hebt.

Maak een nieuwe template aan met hierin de {content} tag

• Opmaak -> Sjablonen [Sjabloon toevoegen]
• Naam: sitemap
• Inhoud: {content}
• Versturen

Maak een gebruikers gedefinieerde tag (UDT) aan voor content-type 'text/plain'

Pagina's die binnen CMSMS aangemaakt worden zijn over het algemeen html pagina's. Op het moment van weergave zet CMSMS standaard een http-header Content-Type: text/html Dit is prima voor html pagina's maar voor .txt pagina's / bestanden is het mooier om Content-Type: text/plain te gebruiken.

• Uitbreidingen -> Gebruikersgedefinieerde tag
• Naam: content-type
• Code:

global $gCms;

if (! empty($params['type'])  ) {
    $type = $params['type'];
} else {
    $type = 'text/html';
}

$gCms->variables['content-type'] = $type;

Maak een nieuw menu voor de weergave van alle zichtbare pagina's

• Opmaak -> Menu Manager [Add Template]
• New Template Name: robots
• Template Content:

{capture assign="root_url"}{root_url|regex_replace:"/\//":"\/"}{/capture}
{foreach from=$nodelist item=node}
{if $node->type != 'sectionheader' and $node->type != 'separator'}
Allow: {$node->url|regex_replace:"/^$root_url/":""|lower}
{/if}
{/foreach}

Wil je in je sitemap bijvoorbeeld ook Blog, Nieuws berichten of Gallery albums opnemen dan is dit mogelijk:

{capture assign="cgblog"}{CGBlog}{/capture}
{foreach from=$items item=entry}
Allow: {$entry->detail_url|regex_replace:"/^$root_url/":""|lower}
{/foreach}

Maak een nieuwe pagina aan met hierin de udt en menu aanroep

• Inhoud Pagina's -> [Nieuwe inhoud toevoegen]

[start]

titel: robots
menutext: robots
inhoud:

{content_type type='text/plain'}

User-agent: * 
Disallow: /admin/ 
Disallow: /contrib/ 
Disallow: /doc/ 
Disallow: /lib/ 
Disallow: /modules/ 
Disallow: /plugins/ 
Disallow: /scripts/ 
Disallow: /tmp/

{menu template="robots"}

[opties]
sjabloon: sitemap -> template met alleen {content}

{} toon in menu
{x} actief
{} doorzoekbaar

Voeg rewrite rule toe aan .htaccess

RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^robots.txt$ index.php?page=robots&showtemplate=false [L,T=text/plain]

Testen

Ga naar http://www.jouw-web-site.nl/robots.txt om te controleren of alles werkt.