Данные Globcolour и ошибка проекции в Python - PullRequest
0 голосов
/ 22 апреля 2020

У меня проблемы с отображением некоторых данных из Globcolour ( 1 ) из-за проекции, используемой с определением matplotlib и cartopy изображения.

Я загрузил изображение Total Suspended Matter в формате NetCDF (вот данные введите здесь описание ссылки ), и когда я попытался отобразить его вместе с береговой линией из пакета картографических данных, есть пресловутый разрыв между береговой линией и данными. Как вы можете видеть ниже, пиксели должны быть рядом с береговой линией (черная линия), а не выходить за пределы земли (желтые пиксели на изображении флагов) enter image description here

Это не должно не бывает Я проверяю с помощью QGIS и загружаю напрямую файл netcdf, береговая линия установлена ​​правильно.

Изначально я использовал проекцию PlateeCarrer для изображения, считая, что если бы изображение было в WGS84, то оно совпадало бы, но ясно, что нет. Я попытался использовать опцию преобразования в функции matplotlib, но я не сделал это работать. Либо пропасть остается, либо координаты фигуры меняются на проекционные, а мои данные (в географических координатах) исчезают.

Атрибутами файла NetCDF являются:

  'grid_type': 'Equirectangular',
 'spatial_resolution': 4.6383123,
 'nb_equ_bins': 55,
 'registration': 5,
 'lat_step': 0.041666668,
 'lon_step': 0.041666668,
 'earth_radius': 6378.137,
 'max_north_grid': 11.124998,
 'max_south_grid': 9.27,
 'max_west_grid': -86.25,
 'max_east_grid': -83.97,
 'northernmost_latitude': 11.124998,
 'southernmost_latitude': 9.249998,
 'westernmost_longitude': -86.25,
 'easternmost_longitude': -84.0,
 'nb_grid_bins': 2475,
 'nb_bins': 2475,
 'pct_bins': 100.0,
 'nb_valid_bins': 1089,
 'pct_valid_bins': 44.0,
 'netcdf_version': '4.3.3.1 of Jul  8 2016 18:15:50 $',
 'DPM_reference': 'GC-UD-ACRI-PUG',
 'IODD_reference': 'GC-UD-ACRI-PUG'}

Код, который я использую для построения изображения:

import pandas as pd
import matplotlib.pyplot as plt
import matplotlib
import cartopy.crs as ccrs
import dill as pickel



def paint_maps(df_std=None, fecha=1, attributes=None,
               savefol='/media/felipe/TOSHIBA EXT/iMARES/Investigacion/2019_MariculturaPacifico/DB/figures/',
               disp_fig=0):

    """Función para dibujar los datos contenidos en los archivos netCDF de SST, Salinidad y propiedad ópticas del agua.
    Recibe el dataframe con la información en formato de Pandas Dataframe, y selecciona según una fecha establecida,
    el conjunto de datos con coordenadas Lat-Lon que debe dibujar. Esos los dibuja y transforma a formato raster. Unido
    se dibuja también la línea de costa proveniente de un archivo shapefile. La función dibuja toda la información
    contenida en el dataframe aportado (datos, anomalías, flags, y cualquier otro dato que tenga.

    Recibe:
        df_std: dataframe con la información a dibujar. Debe venir indexado por fecha, lat y lon.

        fecha: día que se elige dibujar. Formato string 'yyyymmdd'. Valor 1 significa que grafica el valor promedio de todas las fechas en cada
            píxel. Promedio simple ignorando NaN's

        attributes: diccionario con los atributos del netcdf de donde se obtiene nombre de variable y unidades. Creado
        con open_netcdf.py

        savefol: carpeta donde se guardan las imágenes dibujadas

        disp_fig: booleano para imprimir figura en pantalla.


    Devuelve:
            Nada. Solo crea y guarda figuras"""

    # Identifica la fecha solicitada (cuando se ha especificado) y confirma que sea parte del registro. Extrae la
    # información del Dataframe en la fecha que se solicitó, o calcula el promedio de todas las fechas para graficar
    # el valor promedio.
    if fecha != 1:

        if isinstance(fecha, str):
            fecha = pd.to_datetime(fecha + '120000')
        else:
            print('La fecha indicada no está en formato String. Reinicie la ejecución.')

        try:
            idx = pd.IndexSlice
            df_map = df_std.loc[idx[:, :, fecha], :]
        except:
            print('Se generó un error. Posiblemente fecha no está dentro del registro. La fecha debe estar entre el ' + df_std.index[0][-1].strftime('%d/%m/%Y') + ' y el ' + df_std.index[-1][-1].strftime('%d/%m/%Y'))
            raise
    else:
        df_map = df_std.groupby(['lat', 'lon']).mean()

    # Reestructura la información para tenerla en forma de matriz y dibujarla de forma más simple. Extrae los valores y
    # las latitudes y longitudes correspondientes, así como los valores de la variable y sus flags.
    df_map2 = df_map.unstack(level=0)

    vari = df_map2['mean_val'].values

    flags = df_map2['flag_val'].values

    lat = df_map2['mean_val'].columns.get_level_values('lat')
    lon = df_map2['mean_val'].index.get_level_values('lon')

    # Extrae de los atributos del netcdf el nombre de la variable a graficar y las unidades
    variable_str = attributes['variable']['long_name']

    variable_units = attributes['variable']['units']

    # Dibuja el mapa que se haya seleccionado según fecha (valor promedio del valor o fecha específica)
    fig, ax = plt.subplots(1, 2, figsize=(10, 10), subplot_kw={'projection': ccrs.PlateCarree()})

    extend = [lon[1], lon[-1], lat[1], lat[-1]]

    # Primera figura. Variable a graficar. Usa línea de costa del cartopy y coloca una leyenda abajo
    ax[0].set_extent(extend)
    ax[0].coastlines(resolution='10m')


    #cs = ax[0].pcolormesh(lon, lat, vari.T)

    cs = ax[0].pcolormesh(lon, lat, vari.T, transform=ccrs.PlateCarree())
    ax[0].set_title(variable_str)
    cax, kw = matplotlib.colorbar.make_axes(ax[0], location='bottom', pad=0.05, shrink=0.7)
    out = fig.colorbar(cs, cax=cax, extend='both', **kw)
    out.set_label('Units: '+variable_units, size=10)

    # Segunda figura. Flags de la figura. Usa la leyenda directamente de los datos usados.
    ax[1].set_extent(extend)
    ax[1].coastlines(resolution='10m')
    cs2 = ax[1].pcolormesh(lon, lat, flags.T)
    ax[1].set_title('Flags')
    cax, kw = matplotlib.colorbar.make_axes(ax[1], location='bottom', pad=0.05, shrink=0.7)
    out = fig.colorbar(cs2, cax=cax, extend='both', **kw)
    out.set_label('Flags', size=10)

    # Salva la figura
    plt.savefig(savefol+variable_str+'.jpg', bbox_inches='tight')

    with open(savefol+'fig_'+variable_str+'.pickel', 'wb') as f:
        pickel.dump(fig, f)


    # Imprime figura si se elige opción con disp_fig
    if disp_fig == 1:
        plt.show()

    return

Он получает данные как Pandas фрейм данных. NetCDF был открыт с помощью xarray.open_dataset и затем преобразован в Pandas с to_dataframe()

Я использую Python 3.7 в Ubuntu.

Последнее. При загрузке пакета cartopy.crs возникает эта ошибка:

ERROR 1: PROJ: proj_create_from_database: Open of /home/felipe/anaconda3/envs/personal/share/proj failed

Может ли это повлиять?

Ответы [ 2 ]

0 голосов
/ 24 апреля 2020

мы ответили Фелипе по электронной почте, я копирую / вставляю здесь:

Небольшой Python скрипт для создания карты вашего региона из продукта TSM GlobColour (я использовал ежемесячный продукт, чтобы иметь хороший покрытие):

    import netCDF4 as nc
    import numpy as np
    import matplotlib.pyplot as plt
    import cartopy.crs as ccrs


    fig, ax = plt.subplots(figsize=(5, 5), subplot_kw=dict(projection=ccrs.PlateCarree()))

    # my region of interest
    ax.set_extent([-86, -84, 9, 11])

    ax.coastlines(resolution='10m', color='red')

    nc_dst = nc.Dataset('L3m_20100101-20100131__GLOB_4_AV-MER_TSM_MO_00.nc')
    # extent of the product
    data_extent = [nc_dst.max_west_grid, nc_dst.max_east_grid,
                   nc_dst.max_south_grid, nc_dst.max_north_grid]
    data = nc_dst.variables['TSM_mean'][:]
    flags = nc_dst.variables['TSM_flags'][:]
    land = flags & 8 # LAND == 3rd bit == 2^3 == 8
    data_noland = np.ma.masked_where(land, data)

    ax.imshow(data_noland, origin='upper', extent=data_extent)
    plt.savefig('TSM_noland.png')

    ax.imshow(data, origin='upper', extent=data_extent)
    plt.savefig('TSM.png')

Я думаю, что вы сталкиваетесь с 2 проблемами:

1) Наши продукты могут перекрывать некоторые участки земли из-за повторного объединения уровня 3 во время обработки GlobColour: если Пиксель 4 км имеет только угол на воде, мы будем заполнять полный пиксель. Мы сохраняем их, потому что они могут быть полезны для некоторых нужд (например, для областей, где лимит земли / воды меняется), но в флагах качества мы предоставляем маску LAND, которая может использоваться для удаления этих пикселей. Вы также можете использовать свою собственную маску LAND, если хотите. В приведенном ниже примере Python показано, как использовать маску LAND.

2) Я подозреваю, что ваш код Python вводит сдвиг на восток / юг по меньшей мере на половину пикселя, возможно, потому что массивы широт / долгот для центра каждого пикселя, но экстент, необходимый для картографии, является внешним пределом.

Флаги GlobColour определены в Руководстве пользователя продукта http://www.globcolour.info/CDR_Docs/GlobCOLOUR_PUG.pdf стр. 76.

Команда GlobColour

0 голосов
/ 24 апреля 2020

Вы уверены, что ваши данные находятся в WGS84? Глядя на метаданные, я вижу только:

'earth_radius': 6378.137

, что, я имею в виду, подразумевает сферическую Землю с радиусом 6378,137 км. У меня нет доступа к вашим данным, но я бы попытался настроить экземпляр cartopy.crs.Globe с этим радиусом.

...