Robots.txt для wordpress

Как создать файл robots.txt для wordpress.

ВП автоматически генерирует файл роботс для того что бы можно програмно управлять содержимым. Например дописывать разные директивы плагинам и темам, закрывая индексацию для определенных файлов.

Как изменить роботс?

Добавляем в файл functions темы или в файл своего плагина.

add_action( 'do_robotstxt', 'newrobots' );
function newrobots(){
	$lines = [
		'User-agent: *',
		'Disallow: /wp-admin/',
		'Disallow: /wp-includes/',
		'Disallow: /wp-',
		'Disallow: *?s=',
		'Disallow: *&s=',
		'/trackback',
	];
	echo implode( "\r\n", $lines );
	die;
}