Использовать начальный запрос для объединения запросов в нескольких базах данных? - PullRequest
Новая
       44

Использовать начальный запрос для объединения запросов в нескольких базах данных?

0 голосов
/ 16 сентября 2018

Используя Data Explorer (SEDE), я хотел бы выяснить, какие пользователи имеют более 200000 репутации на Переполнение стека , а затем найти сведения о любых учетных записях, которые они имеют в другихСайты Stack Exchange.

Вот запрос, который предоставляет список с этим пороговым значением: 

Select id, reputation, accountid
From users
Where reputation > 200000

AccountId - ключ для всех сайтов Stack Exchange.

Iнашли этот запрос для агрегирования по базам данных SEDE , но как это можно сделать на основе динамических результатов предыдущего / базового запроса?

Вот тип вывода I 'м стремится к: 

id_so, reputation_so, accounted, other_stackexchange_site_name, reputation_othersite, number_of_answers_other_site, number_of_questions_other_site
1, 250000, 23, serverfault, 500, 5, 1
1, 250000, 23, superuser, 120, 1, 0
2, 300000, 21, serverfault, 300, 3, 2
2, 300000, 21, webmasters, 230, 1, 1
3, 350000, 20, NA, NA, NA, NA
#the case with id 3 has an SO profile with reputation but it has no other profile in other Stack Exchange site

1 Ответ

0 голосов
/ 17 сентября 2018

Для выполнения нетривиальных запросов к базам данных на основе исходного запроса:

  1. Определите общий ключ во всех базах данных.В данном случае это AccountId (это идентификатор пользователя для Stack-Exchange).

  2. Создайте исходный запрос для и введите этот ключ во временную таблицу .В этом случае: 

    CREATE TABLE #UsersOfInterest (AccountId INT)
INSERT INTO  #UsersOfInterest  
    SELECT  u.AccountId
    FROM    Users u
    Where   u.Reputation > 200000
  3. Создать другую временную таблицу для хранения окончательных результатов (см. Ниже).

  4. Определить запрос, для запуска на каждом сайте , который получает необходимую информацию.EG: 

    SELECT  u.AccountId, u.DisplayName, u.Reputation, u.Id
        , numQst = (SELECT COUNT(q.Id)  FROM Posts q  WHERE q.OwnerUserId = u.Id  AND q.PostTypeId = 1)
        , numAns = (SELECT COUNT(q.Id)  FROM Posts q  WHERE q.OwnerUserId = u.Id  AND q.PostTypeId = 2)
FROM    Users u
WHERE   u.AccountId = ##seAccntId##

  5. Используйте системный запрос для получения соответствующих баз данных.Для Data Explorer (SEDE) запрос такого типа: 

    SELECT      name
FROM        sys.databases
WHERE       CASE    WHEN state_desc = 'ONLINE'
                    THEN OBJECT_ID (QUOTENAME (name) + '.[dbo].[PostNotices]', 'U')
            END
            IS NOT NULL

  6. Создайте курсор для указанного выше запроса и используйте пройти через базы данных .
    Для каждой базы данных:

    1. Создать строку запроса, которая принимает запрос шага 4 и помещает его во временную таблицу шага 3.
    2. Запустите строку запроса, используя sp_executesql.

  7. Когда курсор будет сделан, выполните последний запрос к временной таблице из шага 3.

Обратитесь к этому другому ответу , чтобы узнать рабочий шаблон для запроса всех сайтов Stack Exchange.

Соберите все вместе,приводит к следующему запросу , который вы можете запустить в прямом эфире на SEDE : 

-- MinMasterSiteRep: User's must have this much rep on whichever site this query is run against
-- MinRep: User's must have this much rep on all other sites

CREATE TABLE #UsersOfInterest (
    AccountId       INT NOT NULL
    , Reputation    INT
    , UserId        INT
    , PRIMARY KEY (AccountId)
)
INSERT INTO  #UsersOfInterest
    SELECT  u.AccountId, u.Reputation, u.Id
    FROM    Users u
    Where   u.Reputation > ##MinMasterSiteRep:INT?200000##

CREATE TABLE #AllSiteResults (
      [Master Rep]          INT
      , [Mstr UsrId]        NVARCHAR(777)
      , AccountId           NVARCHAR(777)
      , [Site name]         NVARCHAR(777)
      , [Username on site]  NVARCHAR(777)
      , [Rep]               INT
      , [# Ans]             INT
      , [# Qst]             INT
)

DECLARE @seDbName       AS NVARCHAR(777)
DECLARE @seSiteURL      AS NVARCHAR(777)
DECLARE @sitePrettyName AS NVARCHAR(777)
DECLARE @seSiteQuery    AS NVARCHAR(max)

DECLARE seSites_crsr CURSOR FOR
WITH dbsAndDomainNames AS (
    SELECT      dbL.dbName
                , STRING_AGG (dbL.domainPieces, '.')    AS siteDomain
    FROM (
        SELECT      TOP 50000   -- Never be that many sites and TOP is needed for order by, below
                    name        AS dbName
                    , value     AS domainPieces
                    , row_number ()  OVER (ORDER BY (SELECT 0)) AS [rowN]
        FROM        sys.databases
        CROSS APPLY STRING_SPLIT (name, '.')
        WHERE       CASE    WHEN state_desc = 'ONLINE'
                            THEN OBJECT_ID (QUOTENAME (name) + '.[dbo].[PostNotices]', 'U') -- Pick a table unique to SE data
                    END
                    IS NOT NULL
        ORDER BY    dbName, [rowN] DESC
    ) AS dbL
    GROUP BY    dbL.dbName
)
SELECT      REPLACE (REPLACE (dadn.dbName, 'StackExchange.', ''), '.', ' ' )  AS [Site Name]
            , dadn.dbName
            , CASE  -- See https://meta.stackexchange.com/q/215071
                    WHEN dadn.dbName = 'StackExchange.Mathoverflow.Meta'
                    THEN 'https://meta.mathoverflow.net/'
                    -- Some AVP/Audio/Video/Sound kerfuffle?
                    WHEN dadn.dbName = 'StackExchange.Audio'
                    THEN 'https://video.stackexchange.com/'
                    -- Ditto
                    WHEN dadn.dbName = 'StackExchange.Audio.Meta'
                    THEN 'https://video.meta.stackexchange.com/'
                    -- Normal site
                    ELSE 'https://' + LOWER (siteDomain) + '.com/'
            END AS siteURL
FROM        dbsAndDomainNames dadn
WHERE       (dadn.dbName = 'StackExchange.Meta'  OR  dadn.dbName NOT LIKE '%Meta%')

-- Step through cursor
OPEN    seSites_crsr
FETCH   NEXT FROM seSites_crsr INTO @sitePrettyName, @seDbName, @seSiteURL
WHILE   @@FETCH_STATUS = 0
BEGIN
    SET @seSiteQuery = '
        USE [' + @seDbName + ']

        INSERT INTO #AllSiteResults
            SELECT
                        uoi.Reputation                                                                                  AS [Master Rep]
                        , ''site://u/'' + CAST(uoi.UserId AS NVARCHAR(88)) + ''|'' + CAST(uoi.UserId AS NVARCHAR(88))   AS [Mstr UsrId]
                        , [AccountId] = ''https://stackexchange.com/users/'' + CAST(u.AccountId AS NVARCHAR(88)) + ''?tab=accounts|'' + CAST(u.AccountId AS NVARCHAR(88))
                        , ''' + @sitePrettyName + '''                                                                   AS [Site name]
                        , ''' + @seSiteURL + ''' + ''u/'' + CAST(u.Id AS NVARCHAR(88)) + ''|'' + u.DisplayName          AS [Username on site]
                        , u.Reputation                                                                                  AS [Rep]
                        , (SELECT COUNT(q.Id)  FROM Posts q  WHERE q.OwnerUserId = u.Id  AND q.PostTypeId = 2)          AS [# Ans]
                        , (SELECT COUNT(q.Id)  FROM Posts q  WHERE q.OwnerUserId = u.Id  AND q.PostTypeId = 1)          AS [# Qst]
            FROM        #UsersOfInterest uoi
            INNER JOIN  Users u                ON uoi.AccountId = u.AccountId
            WHERE       u.Reputation > ##MinRep:INT?200##
    '
    EXEC sp_executesql @seSiteQuery

    FETCH NEXT FROM seSites_crsr INTO @sitePrettyName, @seDbName, @seSiteURL
END
CLOSE       seSites_crsr
DEALLOCATE  seSites_crsr

SELECT      *
FROM        #AllSiteResults
ORDER BY    [Master Rep] DESC, AccountId, [Rep] DESC

Он дает такие результаты, как:

Query output

- где синие значения имеют гиперссылки.

Обратите внимание, что у пользователя должно быть 200 повторений на сайте, чтобы он был "значимым".Это также представитель, необходимый для включения сайта в состав Stack Exchange.

...