GROUP домен из URL в MySql

Question

У меня есть большая база данных, которая содержит много URL-адресов, много повторяющихся доменов, и я пытаюсь получить только домен. например:

http://example.com/someurl.html
http://example.com/someurl_on_the_same_domain.html
http://example.net/myurl.php
http://example.org/anotherurl.php

и я хочу получить только домены, например:

http://example.com
http://example.net
http://example.org

Мой запрос:

ВЫБРАТЬ id, site ОТ table ГРУППА BY site ЗАКАЗАТЬ ПО id DESC LIMIT 50

Мне нужно использовать регулярные выражения, я думаю, но я не MySQL гуру.

Answer 1

SELECT
    SUBSTR(site, 1 , LOCATE('/', site, 8)-1)
        as OnlyDomain
    FROM table
    GROUP BY OnlyDomain
    ORDER BY id DESC LIMIT 50

[EDIT]: После запроса OP, вот обновленный ответ, который покажет правильные результаты, даже если у доменных имен нет завершающих слешей:

SELECT
    SUBSTR(site, 1 , IF(LOCATE('/', site, 8), LOCATE('/', site, 8)-1, LENGTH(site)))
        as OnlyDomain
    FROM tablename
    GROUP BY OnlyDomain
    ORDER BY id DESC LIMIT 50

Answer 2

SELECT 
COUNT(*) AS nCount,
SUBSTRING_INDEX(REPLACE(REPLACE(REPLACE(site,'http://',''),'https://',''),'www.',''),'/',1) AS sDomain 
FROM tbl_table
GROUP BY sDomain 
ORDER BY 1 DESC

Аддон после растворения JQman также с www.заменил и группу на + count

Answer 3

SELECT id,
       SUBSTRING_INDEX(REPLACE(REPLACE(site,'http://',''),'https://',''),'/',1) as domain 
       FROM table
       GROUP BY domain 
       ORDER BY id DESC 
       LIMIT 50

Это сработало для меня, если кому-то это нужно.

Answer 4

Вы можете использовать замену строки. Предполагая, что столбец "site" содержит URL:

select id, 
substr(site,1,locate('/', site ,locate('//',site)+2)-1)
from table 
group by site
order by id
desc limit 50;

Будьте внимательны, чтобы убедиться, что несколько косых черт закодированы, например:

http://example.com/somethingelse/someurl.html

Answer 5

Вы можете выбрать домены с помощью:

select left(site,6+locate('/',substring(site,8)))