vbevdev/vbev.dev
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

matrix

Browse Source
This commit is contained in:
vbevdev
2026-09-06 01:43:27 +03:00
parent 73fb5a3f5f
commit be43c85569
9 changed files with 351 additions and 8 deletions
Download Patch File Download Diff File Expand all files Collapse all files
.gitea/workflows/deploy.yaml
+108 -1
View File
@@ -67,7 +67,50 @@ jobs:
cat > \"docker-compose-$REF_NAME.yml\"" \
< docker-compose.yml
- name: 🔐 Create secrets and envs
- name: 🧩 Prepare configs
env:
MATRIX_SERVER_NAME: ${{ vars.MATRIX_SERVER_NAME }}
MATRIX_PUBLIC_BASEURL: ${{ vars.MATRIX_PUBLIC_BASEURL }}
ELEMENT_WEB_URL: ${{ vars.ELEMENT_WEB_URL }}
SYNAPSE_POSTGRES_PASSWORD: ${{ secrets.SYNAPSE_POSTGRES_PASSWORD }}
SYNAPSE_REGISTRATION_SHARED_SECRET: ${{ secrets.SYNAPSE_REGISTRATION_SHARED_SECRET }}
run: |
rm -rf .deploy
python3 - << 'PY'
import json
import os
from pathlib import Path
replacements = {
"MATRIX_SERVER_NAME": os.environ["MATRIX_SERVER_NAME"],
"MATRIX_PUBLIC_BASEURL": os.environ["MATRIX_PUBLIC_BASEURL"].rstrip("/") + "/",
"ELEMENT_WEB_LOCATION": os.environ["ELEMENT_WEB_URL"].rstrip("/") + "/",
"SYNAPSE_POSTGRES_PASSWORD": os.environ["SYNAPSE_POSTGRES_PASSWORD"],
"SYNAPSE_REGISTRATION_SHARED_SECRET": os.environ["SYNAPSE_REGISTRATION_SHARED_SECRET"],
}
def render(template_path, output_path):
config = template_path.read_text(encoding="utf-8")
for key, value in replacements.items():
config = config.replace(f"__{key}__", json.dumps(value))
output_path.parent.mkdir(parents=True, exist_ok=True)
output_path.write_text(config, encoding="utf-8")
render(
Path("config/synapse/homeserver.yaml.template"),
Path(".deploy/secrets/synapse_homeserver_config.yaml"),
)
render(
Path("config/element/config.json.template"),
Path(".deploy/secrets/element_config.json"),
)
PY
find .deploy -type d -exec chmod 700 {} \;
find .deploy -type f -exec chmod 644 {} \;
- name: 🔐 Create env, secrets and config
env:
SSHPASS: ${{ secrets.SSH_PASSWORD }}
SSH_USERNAME: ${{ secrets.SSH_USERNAME }}
@@ -81,7 +124,14 @@ jobs:
VAULTWARDEN_ADMIN_TOKEN: ${{ secrets.VAULTWARDEN_ADMIN_TOKEN }}
NEXTCLOUD_DOMAIN: ${{ vars.NEXTCLOUD_DOMAIN }}
RUSTDESK_DOMAIN: ${{ vars.RUSTDESK_DOMAIN }}
POSTGRES_ADMIN_PASSWORD: ${{ secrets.POSTGRES_ADMIN_PASSWORD }}
SYNAPSE_POSTGRES_PASSWORD: ${{ secrets.SYNAPSE_POSTGRES_PASSWORD }}
run: |
tar -C .deploy -czf - secrets | sshpass -e ssh -p 22 "$SSH_USERNAME@$SSH_HOST" \
"mkdir -p \"$DEPLOY_DIRECTORY\" && \
cd \"$DEPLOY_DIRECTORY\" && \
tar -xzf -"
sshpass -e ssh -p 22 "$SSH_USERNAME@$SSH_HOST" bash -s << EOT
set -e
cd "$DEPLOY_DIRECTORY"
@@ -111,10 +161,67 @@ jobs:
$VAULTWARDEN_ADMIN_TOKEN
EOF_SECRET
cat << 'EOF_SECRET' > secrets/postgres_admin_password.txt
$POSTGRES_ADMIN_PASSWORD
EOF_SECRET
cat << 'EOF_SECRET' > secrets/synapse_postgres_password.txt
$SYNAPSE_POSTGRES_PASSWORD
EOF_SECRET
chmod 700 secrets
chmod 600 secrets/*.txt
chmod 644 secrets/synapse_homeserver_config.yaml secrets/element_config.json
EOT
- name: 🗄️ Initialize databases
env:
SSHPASS: ${{ secrets.SSH_PASSWORD }}
SSH_USERNAME: ${{ secrets.SSH_USERNAME }}
SSH_HOST: ${{ secrets.SSH_HOST }}
DEPLOY_DIRECTORY: ${{ vars.DEPLOY_DIRECTORY }}
REF_NAME: ${{ env.CLEAN_REF_NAME }}
DRY_RUN_ENABLED: ${{ vars.DEPLOY_DRY_RUN_ENABLED }}
run: |
if [ "${DRY_RUN_ENABLED}" = "true" ]; then
echo "Dry run enabled, database initialization skipped."
exit 0
fi
sshpass -e ssh -p 22 "$SSH_USERNAME@$SSH_HOST" bash -s << EOT
set -e
cd "$DEPLOY_DIRECTORY"
docker compose -f "docker-compose-${REF_NAME}.yml" pull db
docker compose -f "docker-compose-${REF_NAME}.yml" up -d db
for attempt in \$(seq 1 30); do
if docker compose -f "docker-compose-${REF_NAME}.yml" exec -T db pg_isready -U postgres; then
break
fi
if [ "\${attempt}" -eq 30 ]; then
echo "PostgreSQL is not ready after 30 attempts."
exit 1
fi
sleep 2
done
EOT
sshpass -e ssh -p 22 "$SSH_USERNAME@$SSH_HOST" \
"cd \"$DEPLOY_DIRECTORY\" && \
docker run --rm -i \
--entrypoint /bin/sh \
--network vbevdev \
-e PGHOST=db \
-e PGPORT=5432 \
-e PGUSER=postgres \
-e PGPASSWORD_FILE=/run/secrets/postgres_admin_password.txt \
-e SYNAPSE_POSTGRES_PASSWORD_FILE=/run/secrets/synapse_postgres_password.txt \
-v \"$DEPLOY_DIRECTORY/secrets:/run/secrets:ro\" \
postgres:16-alpine \
-s" < ops/postgres/init-services.sh
- name: 🚀 Run new containers
env:
SSHPASS: ${{ secrets.SSH_PASSWORD }}
.gitignore
+1
View File
@@ -3,3 +3,4 @@ data
secrets
.env
.DS_Store
.deploy
AGENTS.md
+7
View File
@@ -11,17 +11,22 @@
- `.gitignore`
- `.gitea/workflows/*.yaml`
- `.gitea/actions/*`
- `ops/*`
- `README.md`
- `CHANGELOG.md`
- `AGENTS.md`
Текущие service aliases в Compose:
```text
prx
db
pwd
mon
mon-agent
cld
msg
msg-web
git
git-runner
sup-hbbs
@@ -52,6 +57,7 @@ sup-hbbr
- Не запускайте `docker compose down -v`, volume pruning, recursive deletion, database migrations или service resets, если пользователь не запросил именно это.
- При добавлении или изменении Compose-переменной обновляйте `.env.example`, `README.md` и Gitea deploy workflow, если значение нужно при деплое.
- При добавлении или изменении Compose-секрета обновляйте блок `secrets:`, создание секретов в deploy workflow, `README.md` и соответствующий service environment.
- При заметном изменении состава сервисов, Docker image versions, deploy-поведения, backup/restore, переменных, секретов или эксплуатационных правил обновляйте `CHANGELOG.md`.
- Сохраняйте стиль YAML: короткие service aliases, single quotes там, где они уже используются, и существующую indentation-схему.
- Избегайте unrelated formatting churn в workflow и Compose-файлах.
@@ -70,6 +76,7 @@ docker compose config
- service names совпадают с `docker-compose.yml`;
- environment variables совпадают с `.env.example`;
- secret filenames совпадают с Compose-блоком `secrets:`;
- заметные изменения отражены в `CHANGELOG.md`;
- реальные secret values и runtime-данные не попали в документацию.
## Операционный контекст
CHANGELOG.md
+49
View File
@@ -8,6 +8,55 @@
Пока нет.
## 2026-09-06
### Добавлено
- Добавлен общий PostgreSQL service `db` на `postgres:16-alpine`.
- Добавлен Matrix homeserver `msg` на `matrixdotorg/synapse:v1.160.0`.
- Добавлен браузерный Matrix-клиент `msg-web` на `vectorim/element-web:v1.12.27`.
- Добавлены шаблоны runtime-конфигов:
- `config/synapse/homeserver.yaml.template`;
- `config/element/config.json.template`.
- Добавлен идемпотентный PostgreSQL init script `ops/postgres/init-services.sh` для создания/обновления service users/databases.
- Добавлены Docker secrets для generated runtime-конфигов:
- `synapse_homeserver_config`;
- `element_config`.
### Изменено
- Deploy workflow теперь подготавливает Matrix/Element config secrets из Gitea variables/secrets в шаге `Prepare configs`.
- Deploy workflow теперь создает на сервере generated config secrets в `secrets/`, а не хранит отдельную runtime-директорию `config/`.
- Deploy workflow теперь перед запуском всего стека поднимает `db` и выполняет PostgreSQL initialization через временный `postgres:16-alpine` контейнер, передавая `ops/postgres/init-services.sh` через SSH stdin.
- `.env.example` оставлен только для переменных, которые напрямую использует Compose runtime; Matrix-переменные перенесены в documented Gitea variables.
- Обновлены `README.md` и `AGENTS.md` под новые service aliases `db`, `msg` и `msg-web`.
### Конфигурация
- Добавлены Gitea variables:
- `MATRIX_SERVER_NAME`;
- `MATRIX_PUBLIC_BASEURL`;
- `ELEMENT_WEB_URL`.
- Добавлены Gitea secrets:
- `POSTGRES_ADMIN_PASSWORD`;
- `SYNAPSE_POSTGRES_PASSWORD`;
- `SYNAPSE_REGISTRATION_SHARED_SECRET`.
- Добавлены runtime secret files:
- `secrets/postgres_admin_password.txt`;
- `secrets/synapse_postgres_password.txt`;
- `secrets/synapse_homeserver_config.yaml`;
- `secrets/element_config.json`.
### Эксплуатация
- Для `msg` и `msg-web` нужно настроить proxy hosts в Nginx Proxy Manager:
- `matrix.example.com -> http://msg:8008`;
- `chat.example.com -> http://msg-web:80`.
- `MATRIX_SERVER_NAME` нужно выбрать до первого запуска Matrix homeserver, так как он становится частью Matrix ID пользователей.
- Регистрация в Synapse закрыта; пользователей нужно создавать вручную через `register_new_matrix_user`.
- Generated config files в `secrets/` считаются sensitive, но должны оставаться читаемыми для Docker Compose file secrets.
- В `AGENTS.md` добавлено правило обновлять `CHANGELOG.md` при заметных изменениях инфраструктуры, деплоя, переменных, секретов и эксплуатационных правил.
## 2026-08-23
### Документация
README.md
+55 -4
View File
@@ -9,10 +9,13 @@ Self-hosted инфраструктурный стек, управляемый ч
| Сервис | Image | Назначение |
| --- | --- | --- |
| `prx` | `jc21/nginx-proxy-manager:2.15.1` | Nginx Proxy Manager для reverse proxy, HTTP/HTTPS и сертификатов. |
| `db` | `postgres:16-alpine` | Общий PostgreSQL для сервисов стека; сейчас используется Synapse. |
| `pwd` | `vaultwarden/server:1.37.1` | Vaultwarden, менеджер паролей. |
| `mon` | `henrygd/beszel` | Beszel monitoring hub. |
| `mon-agent` | `henrygd/beszel-agent` | Beszel monitoring agent с доступом к Docker socket. |
| `cld` | `nextcloud:30.0.6` | Nextcloud. |
| `msg` | `matrixdotorg/synapse:v1.160.0` | Matrix homeserver Synapse для чатов, E2EE, файлов и клиентского API. |
| `msg-web` | `vectorim/element-web:v1.12.27` | Element Web, браузерный клиент Matrix. |
| `git` | `docker.gitea.com/gitea:1.26.2` | Gitea server. |
| `git-runner` | `gitea/act_runner:latest` | Gitea Actions runner. |
| `sup-hbbs` | `rustdesk/rustdesk-server:latest` | RustDesk ID/rendezvous server. |
@@ -37,9 +40,15 @@ GITEA_URL=http://git:3000
RUSTDESK_DOMAIN=sup.local
```
Matrix-переменные задаются не в `.env`, а в Gitea variables: deploy workflow использует их для генерации config secrets. `MATRIX_SERVER_NAME` выбирайте заранее: это часть Matrix ID пользователей, например `@alice:matrix.example.com`, и менять это имя после запуска нельзя без миграции на новый homeserver. `MATRIX_PUBLIC_BASEURL` должен быть публичным URL Synapse через reverse proxy, обычно `https://matrix.example.com`. `ELEMENT_WEB_URL` должен указывать на браузерный Element Web, например `https://chat.example.com`.
Перед запуском сервисов, которым нужны секреты, создайте файлы:
```text
secrets/postgres_admin_password.txt
secrets/synapse_postgres_password.txt
secrets/synapse_homeserver_config.yaml
secrets/element_config.json
secrets/vaultwarden_admin_token.txt
secrets/beszel_agent_key.txt
secrets/beszel_agent_token.txt
@@ -51,9 +60,10 @@ secrets/gitea_runner_registration_token.txt
```sh
chmod 700 secrets
chmod 600 secrets/*.txt
chmod 644 secrets/synapse_homeserver_config.yaml secrets/element_config.json
```
Не коммитьте `.env`, `secrets/` и `data/`. В них находятся локальная конфигурация, credentials, базы данных, пользовательские файлы, сгенерированные ключи, сертификаты и другое runtime-состояние.
Не коммитьте `.env`, `secrets/` и `data/`. `.env` содержит несекретные значения окружения; `secrets/` содержит секреты и generated runtime-конфиги. Credential-файлы в `secrets/*.txt` закрываются как `600`; config-файлы для Docker mounts остаются `644`, потому что Docker Compose file secrets монтируются как bind mounts и должны читаться non-root контейнерами. На хосте доступ к ним ограничен правами `700` на директорию `secrets/`. В `data/` находятся базы данных, пользовательские файлы, сгенерированные ключи, сертификаты и другое runtime-состояние.
## Локальные операции
@@ -100,6 +110,8 @@ data/nginx-proxy-manager/
data/vaultwarden/
data/beszel/
data/nextcloud/
data/postgres/
data/synapse/
data/gitea/
data/rustdesk/
```
@@ -117,9 +129,11 @@ Workflow деплоя:
3. Настраивает SSH через `.gitea/actions/configure-ssh-client`.
4. Опционально создает архив `data/`, если `DEPLOY_BACKUP_ENABLED` равен `true`.
5. Копирует `docker-compose.yml` на сервер как `docker-compose-<ref>.yml`.
6. Создает на сервере `.env` и `secrets/*.txt` из Gitea variables и secrets.
7. Скачивает images и запускает `docker compose -f docker-compose-<ref>.yml up -d --remove-orphans`.
8. Отправляет Telegram-уведомление об успехе или ошибке и прикладывает deploy log.
6. Подготавливает generated runtime-конфиги из шаблонов и Gitea variables/secrets.
7. Создает на сервере `.env`, `secrets/*.txt` и generated config secrets.
8. Запускает `db` и выполняет идемпотентную инициализацию PostgreSQL через `ops/postgres/init-services.sh`.
9. Скачивает images и запускает `docker compose -f docker-compose-<ref>.yml up -d --remove-orphans`.
10. Отправляет Telegram-уведомление об успехе или ошибке и прикладывает deploy log.
Используемые Gitea variables:
@@ -131,6 +145,9 @@ BESZEL_HUB_URL
GIT_URL
NEXTCLOUD_DOMAIN
RUSTDESK_DOMAIN
MATRIX_SERVER_NAME
MATRIX_PUBLIC_BASEURL
ELEMENT_WEB_URL
```
Используемые Gitea secrets:
@@ -141,6 +158,9 @@ SSH_USERNAME
SSH_PASSWORD
BESZEL_AGENT_KEY
BESZEL_AGENT_TOKEN
POSTGRES_ADMIN_PASSWORD
SYNAPSE_POSTGRES_PASSWORD
SYNAPSE_REGISTRATION_SHARED_SECRET
RUNNER_REGISTRATION_TOKEN
VAULTWARDEN_ADMIN_TOKEN
TELEGRAM_DEPLOY_BOT_TOKEN
@@ -150,6 +170,37 @@ PROXY_URL
Workflow `.gitea/workflows/test_telegram_deploy_bot.yaml` можно запускать вручную для проверки Telegram-уведомлений через настроенный proxy.
## Matrix
Matrix-компоненты в текущем стеке:
```text
db PostgreSQL, общая БД стека
msg Synapse homeserver
msg-web Element Web
```
PostgreSQL users/databases подготавливаются deploy workflow через `ops/postgres/init-services.sh`. Скрипт передается в init-контейнер через SSH stdin, поэтому не остается на сервере отдельным файлом. Скрипт идемпотентный: его можно запускать повторно, он создает недостающие сущности и не пересоздает уже существующие.
Для Nginx Proxy Manager создайте два proxy host:
```text
matrix.example.com -> http://msg:8008
chat.example.com -> http://msg-web:80
```
Для Synapse proxy host нужен WebSocket support и стандартные forwarded headers. На этом этапе federation и TURN не добавлены: scope ограничен БД, Synapse и Element Web.
Synapse читает runtime-конфиг из Docker secret `synapse_homeserver_config`, а Element Web - из Docker secret `element_config`. Deploy workflow создает source-файлы этих secrets в `secrets/synapse_homeserver_config.yaml` и `secrets/element_config.json` из шаблонов. В Git хранятся только `config/synapse/homeserver.yaml.template` и `config/element/config.json.template`. Для локального запуска создайте оба runtime-файла в `secrets/` из шаблонов и подставьте свои значения.
Регистрация в Synapse закрыта; пользователей создавайте вручную после запуска:
```sh
docker compose exec msg register_new_matrix_user -c /run/secrets/synapse_homeserver_config http://localhost:8008
```
Gitea secret `SYNAPSE_REGISTRATION_SHARED_SECRET` попадает в generated `secrets/synapse_homeserver_config.yaml` и используется для админского создания пользователей через эту команду. Не меняйте его после первого запуска без причины.
## Сопровождение
- Запускайте `docker compose config` после изменений в `docker-compose.yml`.
config/element/config.json.template
+12
View File
@@ -0,0 +1,12 @@
{
"default_server_config": {
"m.homeserver": {
"base_url": __MATRIX_PUBLIC_BASEURL__,
"server_name": __MATRIX_SERVER_NAME__
}
},
"disable_custom_urls": true,
"disable_guests": true,
"disable_3pid_login": true,
"brand": "Element"
}
config/synapse/homeserver.yaml.template
+43
View File
@@ -0,0 +1,43 @@
server_name: __MATRIX_SERVER_NAME__
public_baseurl: __MATRIX_PUBLIC_BASEURL__
pid_file: /data/homeserver.pid
web_client_location: __ELEMENT_WEB_LOCATION__
listeners:
- port: 8008
tls: false
type: http
x_forwarded: true
resources:
- names: [client]
compress: false
database:
name: psycopg2
txn_limit: 10000
args:
user: synapse
password: __SYNAPSE_POSTGRES_PASSWORD__
dbname: synapse
host: db
port: 5432
cp_min: 1
cp_max: 5
keepalives_idle: 10
keepalives_interval: 10
keepalives_count: 3
media_store_path: /data/media_store
uploads_path: /data/uploads
max_upload_size: 100M
enable_registration: false
enable_registration_without_verification: false
registration_shared_secret: __SYNAPSE_REGISTRATION_SHARED_SECRET__
report_stats: false
presence:
enabled: false
url_preview_enabled: false
suppress_key_server_warning: true
signing_key_path: /data/signing.key
docker-compose.yml
+57 -1
View File
@@ -18,6 +18,24 @@ services:
interval: 60s
timeout: 3s
db:
image: 'postgres:16-alpine'
restart: unless-stopped
shm_size: 128mb
volumes:
- ./data/postgres:/var/lib/postgresql/data
secrets:
- postgres_admin_password
environment:
POSTGRES_USER: postgres
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_admin_password
POSTGRES_INITDB_ARGS: '--encoding=UTF8 --locale=C'
healthcheck:
test: ['CMD-SHELL', 'pg_isready -U postgres']
interval: 30s
timeout: 5s
retries: 5
pwd:
image: 'vaultwarden/server:1.37.1'
restart: unless-stopped
@@ -72,6 +90,39 @@ services:
timeout: 10s
retries: 3
msg:
image: 'matrixdotorg/synapse:v1.160.0'
restart: unless-stopped
depends_on:
db:
condition: service_healthy
volumes:
- ./data/synapse:/data
secrets:
- synapse_homeserver_config
environment:
SYNAPSE_CONFIG_PATH: /run/secrets/synapse_homeserver_config
healthcheck:
test: ['CMD', 'curl', '-fSs', 'http://localhost:8008/health']
interval: 30s
timeout: 5s
retries: 5
msg-web:
image: 'vectorim/element-web:v1.12.27'
restart: unless-stopped
depends_on:
msg:
condition: service_healthy
secrets:
- source: element_config
target: /app/config.json
healthcheck:
test: ['CMD', 'wget', '--no-verbose', '--tries=1', '--spider', 'http://localhost']
interval: 30s
timeout: 5s
retries: 5
git:
image: 'docker.gitea.com/gitea:1.26.2'
restart: unless-stopped
@@ -130,12 +181,17 @@ networks:
name: vbevdev
secrets:
postgres_admin_password:
file: secrets/postgres_admin_password.txt
vaultwarden_admin_token:
file: secrets/vaultwarden_admin_token.txt
beszel_agent_key:
file: secrets/beszel_agent_key.txt
beszel_agent_token:
file: secrets/beszel_agent_token.txt
synapse_homeserver_config:
file: secrets/synapse_homeserver_config.yaml
element_config:
file: secrets/element_config.json
gitea_runner_registration_token:
file: secrets/gitea_runner_registration_token.txt
ops/postgres/init-services.sh
Executable
+17
View File
@@ -0,0 +1,17 @@
#!/usr/bin/env sh
set -eu
export PGPASSWORD="$(cat "$PGPASSWORD_FILE")"
synapse_password="$(cat "$SYNAPSE_POSTGRES_PASSWORD_FILE")"
psql -v ON_ERROR_STOP=1 -v synapse_password="$synapse_password" <<'EOSQL'
SELECT 'CREATE USER synapse WITH PASSWORD ' || quote_literal(:'synapse_password')
WHERE NOT EXISTS (SELECT FROM pg_catalog.pg_roles WHERE rolname = 'synapse')\gexec
ALTER USER synapse WITH PASSWORD :'synapse_password';
SELECT 'CREATE DATABASE synapse ENCODING ''UTF8'' LC_COLLATE ''C'' LC_CTYPE ''C'' TEMPLATE template0 OWNER synapse'
WHERE NOT EXISTS (SELECT FROM pg_database WHERE datname = 'synapse')\gexec
ALTER DATABASE synapse OWNER TO synapse;
EOSQL