Обслуживание медиа-файлов и stati c файлов из Amazon S3 в Django / Heroku - PullRequest
Новая
       2

Обслуживание медиа-файлов и stati c файлов из Amazon S3 в Django / Heroku

0 голосов
/ 07 февраля 2020

У меня есть вопрос об обслуживании медиа-файлов и stati c файлов из корзины S3. Я был бы чрезвычайно признателен, если бы кто-нибудь мог дать несколько советов о том, как решить эту проблему.

Справочная информация

  • Я прошел ряд уроков по получить основную c идею о том, как Django работает. Чтобы закрепить полученные знания, я решил перенести многие концепции в простое веб-приложение и развернуть его в Интернете.

https://tbdcl-allconf-production.herokuapp.com/

https://www.allconf.io/

  • На сайте представлен список конференций , которые имеют отношение один-ко-многим с конференцией серия (например, DjangoCon родитель с DjangoCon 2019 и DjangoCon 2020 как дети ).
  • Серия конференций имеет изображение lo go как часть своей модели. Изображение отображается как часть карты в списке всех конференций:

https://tbdcl-allconf-production.herokuapp.com/conferences/

https://www.allconf.io/conferences/

  • Все они добавляются через администратора, поскольку пользователи не могут обновлять список конференций.

Проблема

  • Все работало нормально при локальной работе, НО при развертывании в Heroku логотипы не отображались (даже если файлы были видны в представлении администратора в развернутом приложении).
  • Быстрый поиск выяснилось, что Heroku не может обслуживать медиафайлы, поэтому я выбрал (казалось бы) наиболее распространенный подход - добавление boto3 и django -хранилищ в мой проект и указание на Amazon S3 bucket.
  • Я следовал ряду популярных руководств, чтобы настроить это.

  • Однако похоже, что приложение все еще ищет "себя" в средствах массовой информации и стати c файлы, а не ведро S3. Я могу сказать это, потому что:

  • Проще, медиа-файлы и файлы stati c не находятся в корзине S3, хотя я следовал инструкциям и добавил AWS учетные данные для Django.

  • Когда я открываю представление разработчика в Chrome, источник для файлов изображений + CSS выглядит как локальный путь (нет ссылки на "aws "или" s3 "в пути к каждому файлу).

Возможные решения

  • После еще нескольких копаний + базовых c устранения неполадок, я думаю, что это может быть несколько вещей:
    1. Whitenoise все еще настроен в моем проекте (с тех пор, когда я работал локально только с файлами stati c). Это должно быть удалено? Это конфликтует с хранилищами boto3 и django?
    2. Нужно ли каким-либо образом обновлять мои модели (например, методом def __save__)?
    3. Нужно ли переносить база данных (или любая другая задача базы данных) для обновления URL-адресов для файла изображения каждой модели?
    4. Является ли тот факт, что приложение работает в контейнере Docker, причиной проблемы с передачей "out" в корзину S3 ?

Хотя, если честно, я совершенно потерян! Я не могу найти в Интернете никаких ресурсов, которые бы объяснили эту проблему и как ее решить.

Буду крайне признателен за любые советы.

Если вам нужно просмотреть настройки Файлы .py и conference / models.py , я вставил их ниже.

Большое спасибо!

settings.py 

import os

# Build paths inside the project like this: os.path.join(BASE_DIR, ...)
BASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))

ENVIRONMENT = os.environ.get('ENVIRONMENT', default='production')

# Quick-start development settings - unsuitable for production
# See https://docs.djangoproject.com/en/2.2/howto/deployment/checklist/

# SECURITY WARNING: keep the secret key used in production secret!
SECRET_KEY = os.environ.get('SECRET_KEY')

# SECURITY WARNING: don't run with debug turned on in production!
DEBUG = int(os.environ.get('DEBUG', default=0))

ALLOWED_HOSTS = ['tbdcl-allconf-production.herokuapp.com', '.allconf.io', 'localhost', '127.0.0.1']


# Application definition

INSTALLED_APPS = [
    'django.contrib.admin',
    'django.contrib.auth',
    'django.contrib.contenttypes',
    'django.contrib.sessions',
    'django.contrib.messages',
    'whitenoise.runserver_nostatic',
    'django.contrib.staticfiles',

    # Third party
    'debug_toolbar',
    'storages',

    # Local
    'users.apps.UsersConfig',
    'pages.apps.PagesConfig',
    'conferences.apps.ConferencesConfig',
]

MIDDLEWARE = [
    'django.middleware.cache.UpdateCacheMiddleware',
    'django.middleware.security.SecurityMiddleware',
    'whitenoise.middleware.WhiteNoiseMiddleware',
    'django.contrib.sessions.middleware.SessionMiddleware',
    'django.middleware.common.CommonMiddleware',
    'django.middleware.csrf.CsrfViewMiddleware',
    'django.contrib.auth.middleware.AuthenticationMiddleware',
    'django.contrib.messages.middleware.MessageMiddleware',
    'django.middleware.clickjacking.XFrameOptionsMiddleware',
    'debug_toolbar.middleware.DebugToolbarMiddleware',
    'django.middleware.cache.FetchFromCacheMiddleware',
]

CACHE_MIDDLEWARE_ALIAS = 'default'
CACHE_MIDDLEWARE_SECONDS = 600
CACHE_MIDDLEWARE_KEY_PREFIX = ''

ROOT_URLCONF = 'allconf_project.urls'

TEMPLATES = [
    {
        'BACKEND': 'django.template.backends.django.DjangoTemplates',
        'DIRS': [os.path.join(BASE_DIR, 'templates')],
        'APP_DIRS': True,
        'OPTIONS': {
            'context_processors': [
                'django.template.context_processors.debug',
                'django.template.context_processors.request',
                'django.contrib.auth.context_processors.auth',
                'django.contrib.messages.context_processors.messages',
            ],
        },
    },
]

WSGI_APPLICATION = 'allconf_project.wsgi.application'


# Database
# https://docs.djangoproject.com/en/2.2/ref/settings/#databases

DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.postgresql',
        'NAME': 'SQL_NAME',
        'USER': 'SQL_USER',
        'PASSWORD': 'SQL_PASSWORD',
        'HOST': 'db',
        'PORT': 5432
    }
}

# Password validation
# https://docs.djangoproject.com/en/2.2/ref/settings/#auth-password-validators

AUTH_PASSWORD_VALIDATORS = [
    {
        'NAME': 'django.contrib.auth.password_validation.UserAttributeSimilarityValidator',
    },
    {
        'NAME': 'django.contrib.auth.password_validation.MinimumLengthValidator',
    },
    {
        'NAME': 'django.contrib.auth.password_validation.CommonPasswordValidator',
    },
    {
        'NAME': 'django.contrib.auth.password_validation.NumericPasswordValidator',
    },
]


# Internationalization
# https://docs.djangoproject.com/en/2.2/topics/i18n/

LANGUAGE_CODE = 'en-us'

TIME_ZONE = 'America/New_York'

USE_I18N = True

USE_L10N = True

USE_TZ = True


# Static files (CSS, JavaScript, Images)
# https://docs.djangoproject.com/en/2.2/howto/static-files/

USE_S3 = os.environ.get('USE_S3') == 'TRUE'

if USE_S3:
    # aws settings
    AWS_ACCESS_KEY_ID = os.environ.get('AWS_ACCESS_KEY_ID')
    AWS_SECRET_ACCESS_KEY = os.environ.get('AWS_SECRET_ACCESS_KEY')
    AWS_STORAGE_BUCKET_NAME = os.environ.get('AWS_STORAGE_BUCKET_NAME')
    AWS_S3_FILE_OVERWRITE = False
    AWS_DEFAULT_ACL = None
    AWS_S3_CUSTOM_DOMAIN = f'{AWS_STORAGE_BUCKET_NAME}.s3.amazonaws.com'
    AWS_S3_OBJECT_PARAMETERS = {'CacheControl': 'max-age=86400'}
    # s3 static settings
    STATIC_LOCATION = 'static'
    STATIC_URL = f'https://{AWS_S3_CUSTOM_DOMAIN}/{STATIC_LOCATION}/'
    STATICFILES_STORAGE = 'hello_django.storage_backends.StaticStorage'
    # s3 public media settings
    PUBLIC_MEDIA_LOCATION = 'media'
    MEDIA_URL = f'https://{AWS_S3_CUSTOM_DOMAIN}/{PUBLIC_MEDIA_LOCATION}/'
    DEFAULT_FILE_STORAGE = 'hello_django.storage_backends.PublicMediaStorage'
    # s3 private media settings
    PRIVATE_MEDIA_LOCATION = 'private'
    PRIVATE_FILE_STORAGE = 'hello_django.storage_backends.PrivateMediaStorage'
else:
    STATIC_URL = '/staticfiles/'
    STATIC_ROOT = os.path.join(BASE_DIR, 'staticfiles')
    MEDIA_URL = '/mediafiles/'
    MEDIA_ROOT = os.path.join(BASE_DIR, 'mediafiles')

STATICFILES_DIRS = (os.path.join(BASE_DIR, 'static'),)
STATICFILES_FINDERS = [
    "django.contrib.staticfiles.finders.FileSystemFinder",
    "django.contrib.staticfiles.finders.AppDirectoriesFinder",
]


# User authentication

AUTH_USER_MODEL = 'users.CustomUser'


# django-debug-toolbar

import socket
hostname, _, ips = socket.gethostbyname_ex(socket.gethostname())
INTERNAL_IPS = [ip[:-1] + "1" for ip in ips]


# production

if ENVIRONMENT == 'production':
    SECURE_BROWSER_XSS_FILTER = True
    X_FRAME_OPTIONS = 'DENY'
    SECURE_SSL_REDIRECT = True
    SECURE_HSTS_SECONDS = 3600
    SECURE_HSTS_INCLUDE_SUBDOMAINS = True
    SECURE_HSTS_PRELOAD = True
    SECURE_CONTENT_TYPE_NOSNIFF = True
    SESSION_COOKIE_SECURE = True
    CSRF_COOKIE_SECURE = True
    SECURE_PROXY_SSL_HEADER = ('HTTP_X_FORWARDED_PROTO', 'https')


# heroku

import dj_database_url
db_from_env = dj_database_url.config(conn_max_age=500)
DATABASES['default'].update(db_from_env)

storage_backends.py 

from storages.backends.s3boto3 import S3Boto3Storage
from django.conf import settings


class StaticStorage(S3Boto3Storage):
    location = 'static'
    default_acl = 'public-read'


class PublicMediaStorage(S3Boto3Storage):
    location = 'media'
    default_acl = 'public-read'
    file_overwrite = False


class PrivateMediaStorage(S3Boto3Storage):
    location = 'private'
    default_acl = 'private'
    file_overwrite = False
    custom_domain = False

conference / models.py 

import uuid
from django.conf import settings
from django.contrib.auth import get_user_model
from django.db import models
from django.urls import reverse


class Series(models.Model):
    slug = models.SlugField(null=False, unique=True)
    title = models.CharField(max_length=200)
    description = models.CharField(max_length=300)
    series_logo = models.ImageField(upload_to='series_logos/', blank=True)

    class Meta: 
        indexes = [
            models.Index(fields=['slug'], name='slug_index'),
        ]

    def __str__(self):
        return self.title

    def get_absolute_url(self):
        return reverse('series_detail', kwargs={'slug': self.slug})


class Conference(models.Model):
    id = models.UUIDField(
        primary_key=True,
        default=uuid.uuid4,
        editable=False,
    )
    title = models.CharField(max_length=255)
    start_date = models.DateField()
    end_date = models.DateField()
    location = models.CharField(max_length=255)
    conf_url = models.CharField(max_length=255)
    conf_series = models.ForeignKey(
        Series,
        null=True,
        on_delete=models.CASCADE,
        related_name='conferences',
    )

    def __str__(self):
        return self.title

    def get_absolute_url(self):
        return reverse('conference_detail', args=[str(self.id)])
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.

Нет похожих вопросов

...