Senior Go Interview Prep - Core Go: https://go.vbloher.org/docs/01-core-go/ - Механика defer в Go: https://go.vbloher.org/docs/01-core-go/defer/ - Встраивание структур и интерфейсов (Embedding): https://go.vbloher.org/docs/01-core-go/embedding/ - Ошибки в Go: error, wrapping, errors.Is/As/Join: https://go.vbloher.org/docs/01-core-go/errors/ - Дженерики в Go (1.18+): https://go.vbloher.org/docs/01-core-go/generics/ - Интерфейсы в Go: https://go.vbloher.org/docs/01-core-go/interfaces/ - Устройство map в Go: https://go.vbloher.org/docs/01-core-go/maps/ - panic / recover: механика, раскрутка стека и runtime-паники: https://go.vbloher.org/docs/01-core-go/panic-recover/ - Указатели в Go: https://go.vbloher.org/docs/01-core-go/pointers/ - Рефлексия в Go (reflect): https://go.vbloher.org/docs/01-core-go/reflection/ - Внутреннее устройство слайсов в Go: https://go.vbloher.org/docs/01-core-go/slices/ - Строки, руны и байты в Go: https://go.vbloher.org/docs/01-core-go/strings-runes-bytes/ - Система типов Go: defined types, alignment, memory layout: https://go.vbloher.org/docs/01-core-go/type-system/ - Concurrency: https://go.vbloher.org/docs/02-concurrency/ - sync/atomic: https://go.vbloher.org/docs/02-concurrency/atomic/ - Буферизованные vs небуферизованные каналы: https://go.vbloher.org/docs/02-concurrency/buffered-unbuffered/ - Канал vs Mutex: когда что выбрать: https://go.vbloher.org/docs/02-concurrency/channel-vs-mutex/ - Каналы: устройство hchan: https://go.vbloher.org/docs/02-concurrency/channels/ - Утечки горутин, дедлоки, livelock, starvation: https://go.vbloher.org/docs/02-concurrency/common-leaks-deadlocks/ - sync.Cond: https://go.vbloher.org/docs/02-concurrency/cond/ - context: https://go.vbloher.org/docs/02-concurrency/context/ - Горутины: жизненный цикл, стоимость, стек: https://go.vbloher.org/docs/02-concurrency/goroutines-lifecycle/ - sync.Mutex и sync.RWMutex: https://go.vbloher.org/docs/02-concurrency/mutex-rwmutex/ - sync.Once: https://go.vbloher.org/docs/02-concurrency/once/ - Паттерны конкурентности: https://go.vbloher.org/docs/02-concurrency/patterns/ - Race Detector (гонки данных и -race): https://go.vbloher.org/docs/02-concurrency/race-detector/ - Планировщик GMP: https://go.vbloher.org/docs/02-concurrency/scheduler-gmp/ - select: https://go.vbloher.org/docs/02-concurrency/select/ - sync.WaitGroup: https://go.vbloher.org/docs/02-concurrency/waitgroup/ - Runtime и память: https://go.vbloher.org/docs/03-runtime-memory/ - Паттерны аллокаций и снижение давления на GC: https://go.vbloher.org/docs/03-runtime-memory/allocation-patterns/ - Escape Analysis: когда переменная убегает в кучу: https://go.vbloher.org/docs/03-runtime-memory/escape-analysis/ - Сборщик мусора Go: concurrent tri-color mark-sweep: https://go.vbloher.org/docs/03-runtime-memory/gc/ - Тюнинг GC: GOGC и GOMEMLIMIT: https://go.vbloher.org/docs/03-runtime-memory/gogc-gomemlimit/ - GOMAXPROCS: параллелизм планировщика и проблема контейнеров: https://go.vbloher.org/docs/03-runtime-memory/gomaxprocs/ - Утечки горутин (goroutine leaks): https://go.vbloher.org/docs/03-runtime-memory/goroutine-leaks/ - Утечки памяти в Go (несмотря на GC): https://go.vbloher.org/docs/03-runtime-memory/memory-leaks/ - Модель памяти Go (Go Memory Model): happens-before и синхронизация: https://go.vbloher.org/docs/03-runtime-memory/memory-model/ - pprof: профилирование CPU, памяти и блокировок в Go: https://go.vbloher.org/docs/03-runtime-memory/pprof/ - Execution Tracer и runtime/trace: тайминги вместо агрегатов: https://go.vbloher.org/docs/03-runtime-memory/runtime-tracing/ - Стек vs Куча: где живут данные в Go: https://go.vbloher.org/docs/03-runtime-memory/stack-vs-heap/ - Тестирование: https://go.vbloher.org/docs/04-testing/ - testify, assert/require и golden files: https://go.vbloher.org/docs/04-testing/assertions-testify/ - Бенчмарки в Go: https://go.vbloher.org/docs/04-testing/benchmarks/ - Покрытие, -race и флаки-тесты: https://go.vbloher.org/docs/04-testing/coverage-race/ - Нативный fuzzing в Go (1.18+): https://go.vbloher.org/docs/04-testing/fuzzing/ - Интеграционные тесты, testcontainers-go, TestMain: https://go.vbloher.org/docs/04-testing/integration-testcontainers/ - Моки, стабы и тестируемость: https://go.vbloher.org/docs/04-testing/mocks/ - Table-driven тесты, subtests и параллельность: https://go.vbloher.org/docs/04-testing/table-driven/ - Backend: https://go.vbloher.org/docs/05-backend/ - Аутентификация и авторизация: AuthN/AuthZ, сессии vs токены, RBAC/ABAC, API keys, mTLS, секреты: https://go.vbloher.org/docs/05-backend/auth-authz/ - Graceful Shutdown HTTP/gRPC сервера в Go: https://go.vbloher.org/docs/05-backend/graceful-shutdown/ - gRPC: типы RPC, интерсепторы, контекст, метаданные, error model: https://go.vbloher.org/docs/05-backend/grpc/ - JWT (JSON Web Token): https://go.vbloher.org/docs/05-backend/jwt/ - Middleware-паттерн в Go: https://go.vbloher.org/docs/05-backend/middleware/ - net/http: Server, Handler, ServeMux, таймауты, Client и контекст: https://go.vbloher.org/docs/05-backend/net-http/ - OAuth2: роли, grant types, OIDC, токены и типовые ошибки: https://go.vbloher.org/docs/05-backend/oauth2/ - OpenAPI/Swagger, code generation, contract-first vs code-first, валидация: https://go.vbloher.org/docs/05-backend/openapi/ - Protocol Buffers: схемы, wire format, эволюция и совместимость: https://go.vbloher.org/docs/05-backend/protobuf/ - REST: принципы, версионирование, идемпотентность, статусы, пагинация, ошибки: https://go.vbloher.org/docs/05-backend/rest/ - Сети и протоколы: https://go.vbloher.org/docs/06-networking/ - Пулы соединений: http.Transport, БД, утечки: https://go.vbloher.org/docs/06-networking/connection-pooling/ - DNS: записи, резолвинг, кэширование, DNS в Go: https://go.vbloher.org/docs/06-networking/dns/ - Версии HTTP: 1.1, 2, 3: https://go.vbloher.org/docs/06-networking/http-versions/ - TCP/IP: модель, транспорт и что важно бэкендеру: https://go.vbloher.org/docs/06-networking/tcp-ip/ - TLS: handshake, сертификаты, mTLS, производительность: https://go.vbloher.org/docs/06-networking/tls/ - UDP и надёжность поверх UDP: https://go.vbloher.org/docs/06-networking/udp/ - WebSocket: upgrade, фреймы, масштабирование: https://go.vbloher.org/docs/06-networking/websocket/ - Базы данных: https://go.vbloher.org/docs/07-databases/ - Пул соединений к PostgreSQL в Go: database/sql, pgx, pgxpool, PgBouncer: https://go.vbloher.org/docs/07-databases/connection-pooling-pgx/ - Взаимоблокировки (Deadlocks) в PostgreSQL: https://go.vbloher.org/docs/07-databases/deadlocks/ - Индексы в PostgreSQL: https://go.vbloher.org/docs/07-databases/indexes/ - Уровни изоляции транзакций в PostgreSQL: https://go.vbloher.org/docs/07-databases/isolation-levels/ - MVCC в PostgreSQL: версии строк, видимость, VACUUM и bloat: https://go.vbloher.org/docs/07-databases/mvcc/ - Обзор NoSQL и Redis: https://go.vbloher.org/docs/07-databases/nosql-redis/ - Партиционирование таблиц в PostgreSQL: https://go.vbloher.org/docs/07-databases/partitioning/ - Архитектура PostgreSQL: https://go.vbloher.org/docs/07-databases/postgresql-architecture/ - Планирование и оптимизация запросов в PostgreSQL: https://go.vbloher.org/docs/07-databases/query-planning/ - Репликация в PostgreSQL: https://go.vbloher.org/docs/07-databases/replication/ - Шардирование (горизонтальное масштабирование): https://go.vbloher.org/docs/07-databases/sharding/ - Транзакции в PostgreSQL и Go (database/sql, pgx): https://go.vbloher.org/docs/07-databases/transactions/ - Распределённые системы: https://go.vbloher.org/docs/08-distributed-systems/ - CAP теорема: https://go.vbloher.org/docs/08-distributed-systems/cap-theorem/ - Circuit Breaker: https://go.vbloher.org/docs/08-distributed-systems/circuit-breaker/ - Консенсус и Raft: репликация состояния в присутствии отказов: https://go.vbloher.org/docs/08-distributed-systems/consensus-raft/ - Модели согласованности: https://go.vbloher.org/docs/08-distributed-systems/consistency/ - Гарантии доставки сообщений: at-most-once / at-least-once / exactly-once: https://go.vbloher.org/docs/08-distributed-systems/delivery-guarantees/ - Eventual Consistency: https://go.vbloher.org/docs/08-distributed-systems/eventual-consistency/ - Идемпотентность в распределённых системах: https://go.vbloher.org/docs/08-distributed-systems/idempotency/ - Apache Kafka: https://go.vbloher.org/docs/08-distributed-systems/kafka/ - Transactional Outbox: https://go.vbloher.org/docs/08-distributed-systems/outbox/ - RabbitMQ: AMQP 0-9-1, маршрутизация, надёжность доставки и сравнение с Kafka: https://go.vbloher.org/docs/08-distributed-systems/rabbitmq/ - Ретраи: backoff, jitter, budgets и идемпотентность: https://go.vbloher.org/docs/08-distributed-systems/retries/ - Saga Pattern: https://go.vbloher.org/docs/08-distributed-systems/saga/ - Observability: https://go.vbloher.org/docs/09-observability/ - Grafana: https://go.vbloher.org/docs/09-observability/grafana/ - Метрики: RED, USE, Golden Signals: https://go.vbloher.org/docs/09-observability/metrics/ - OpenTelemetry: https://go.vbloher.org/docs/09-observability/opentelemetry/ - Prometheus: https://go.vbloher.org/docs/09-observability/prometheus/ - SLI / SLO / SLA: https://go.vbloher.org/docs/09-observability/slo-sli/ - Структурированное логирование (slog): https://go.vbloher.org/docs/09-observability/structured-logging/ - Distributed Tracing: https://go.vbloher.org/docs/09-observability/tracing/ - System Design: https://go.vbloher.org/docs/10-system-design/ - Analytics Pipeline: https://go.vbloher.org/docs/10-system-design/analytics-pipeline/ - Chat System: https://go.vbloher.org/docs/10-system-design/chat/ - Фреймворк System Design интервью: https://go.vbloher.org/docs/10-system-design/framework/ - Notification Service: https://go.vbloher.org/docs/10-system-design/notification-service/ - Order Service: https://go.vbloher.org/docs/10-system-design/order-service/ - Payment Service: https://go.vbloher.org/docs/10-system-design/payment-service/ - Rate Limiter: https://go.vbloher.org/docs/10-system-design/rate-limiter/ - URL Shortener: https://go.vbloher.org/docs/10-system-design/url-shortener/ - DevOps: https://go.vbloher.org/docs/11-devops/ - CI/CD: пайплайны, стадии, стратегии деплоя: https://go.vbloher.org/docs/11-devops/cicd/ - Облака (AWS / GCP) для бэкендера: https://go.vbloher.org/docs/11-devops/cloud-aws-gcp/ - Docker для Go-разработчика: https://go.vbloher.org/docs/11-devops/docker/ - GitHub Actions и GitLab CI: https://go.vbloher.org/docs/11-devops/github-gitlab-ci/ - Kubernetes для Go-разработчика: https://go.vbloher.org/docs/11-devops/kubernetes/ - Terraform / Infrastructure as Code: https://go.vbloher.org/docs/11-devops/terraform/ - Алгоритмы: https://go.vbloher.org/docs/12-algorithms/ - Типовые алгоритмические задачи и паттерны: https://go.vbloher.org/docs/12-algorithms/common-problems/ - Асимптотическая сложность (Big-O): https://go.vbloher.org/docs/12-algorithms/complexity/ - Структуры данных в Go: https://go.vbloher.org/docs/12-algorithms/data-structures/ - Специфика live-coding на Go: https://go.vbloher.org/docs/12-algorithms/go-specifics/ - Behavioral: https://go.vbloher.org/docs/13-behavioral/ - Конфликты, разногласия и работа со стейкхолдерами: https://go.vbloher.org/docs/13-behavioral/conflicts/ - Как проходит senior-интервью: этапы, оценка, оффер: https://go.vbloher.org/docs/13-behavioral/interview-flow/ - Лидерство и менторство: https://go.vbloher.org/docs/13-behavioral/leadership-mentoring/ - Типовые поведенческие вопросы для Senior: https://go.vbloher.org/docs/13-behavioral/senior-questions/ > Модуль: Concurrency · Уровень: Senior ## TL;DR Главные болезни конкурентного Go: **deadlock** (взаимная блокировка — никто не двигается), **livelock** (горутины активны, но прогресса нет), **starvation** (горутина не получает ресурс), и **goroutine leak** (горутина навсегда заблокирована и не собирается GC). Чаще всего утечки происходят из-за каналов: отправка без получателя, чтение из канала, который никто не закроет, отсутствие ветки `ctx.Done()`. Диагностика — `runtime.NumGoroutine`, goroutine-профиль pprof, дамп стеков (SIGQUIT), `go test -race` и встроенный детектор полного дедлока. ## Теория ### Deadlock Все горутины (в подграфе) ждут друг друга — прогресса нет. - **Полный дедлок** (все горутины процесса спят) рантайм детектит и роняет процесс: `fatal error: all goroutines are asleep - deadlock!`. - **Частичный дедлок** (живёт хоть одна горутина, например, обслуживает HTTP) рантайм **не** обнаружит — это тихая утечка/зависание подсистемы. Классика: ```go ch := make(chan int) // небуферизованный ch <- 1 // некому принять → блок навсегда (полный дедлок, если один) ``` Inversion lock order (две блокировки в разном порядке): ```go // G1: A.Lock(); B.Lock() // G2: B.Lock(); A.Lock() → циклическое ожидание ``` Решение: единый глобальный порядок захвата блокировок (как `lockorder` в `selectgo`). ### Livelock Горутины не заблокированы, постоянно что-то делают, но не продвигаются — реагируют друг на друга и откатываются. Пример: два процесса вежливо уступают ресурс и оба снова пытаются. CPU занят, прогресса нет. Часто возникает в наивных схемах «попробовать-откатиться» без рандомизированного backoff. Лечится экспоненциальным backoff с джиттером, очередями, отказом от busy-retry. ### Starvation Горутина систематически не получает ресурс/CPU, хотя могла бы. - На уровне мьютекса — barging в normal mode (решено starvation mode Go 1.9, см. mutex-rwmutex.md). - На уровне select — закрытый/всегда-готовый канал перетягивает выбор. - На уровне планировщика — длинный CPU-bound цикл без точек переключения (до асинхронной вытесняемости 1.14 мог монополизировать P). - Приоритетные схемы, где высокоприоритетный поток вечно опережает низкоприоритетный. ### Goroutine leak Горутина навсегда заблокирована (на канале, мьютексе, сетевом вызове без таймаута) и никогда не завершится. **GC не собирает заблокированные горутины** — их стек и захваченные объекты живут вечно. Со временем — рост памяти и числа горутин, деградация. Типичные причины (почти все — каналы): 1. **Отправка в канал, который никто не читает** (получатель ушёл по таймауту/ошибке): ```go func leak() <-chan int { ch := make(chan int) // НЕбуферизованный go func() { ch <- expensive() }() // если вызывающий не дочитал — горутина висит return ch } ``` Решение: буфер на 1 (`make(chan int, 1)`), чтобы отправка не блокировалась, или ветка `ctx.Done()`. 2. **Чтение из канала, который никто не закроет.** `for v := range ch` висит, если writer забыл `close`. 3. **Нет ветки отмены.** Долгоживущая горутина без `case <-ctx.Done()` в select. 4. **WaitGroup без Done** → `Wait` висит вечно. 5. **Сетевой вызов без таймаута/контекста** — горутина зависает на I/O. ### Диагностика - **`runtime.NumGoroutine()`** — мониторить рост числа горутин (метрика/алерт). Постоянный рост = утечка. - **pprof goroutine profile:** ```go import _ "net/http/pprof" // go tool pprof http://host/debug/pprof/goroutine // или ?debug=2 для полного дампа стеков с местом блокировки ``` Дамп покажет, на какой строке (канал/мьютекс) висят сотни одинаковых горутин — это и есть точка утечки. - **SIGQUIT / `kill -QUIT`** (или паника) печатает стеки всех горутин — видно, где заблокированы. - **`GODEBUG=schedtrace=1000`** — телеметрия планировщика. - **Block profile** (`runtime.SetBlockProfileRate`) — где горутины блокируются дольше всего. - **Mutex profile** (`runtime.SetMutexProfileFraction`) — contention на мьютексах. - **`-race`** — гонки (косвенно связаны). - **Тесты на утечки:** сравнить `NumGoroutine` до/после теста, либо `go.uber.org/goleak` (`goleak.VerifyNone(t)`). ## Подводные камни / gotchas - **Частичный дедлок не ловится рантаймом.** «Программа не падает» ≠ «всё хорошо»; подсистема могла тихо зависнуть. Нужны таймауты/мониторинг. - **Небуферизованный канал в «отдал и забыл».** Producer-горутина зависнет, если consumer ушёл. Буфер 1 или ctx спасают. - **`time.After` в цикле** держит таймеры до срабатывания — не утечка горутин, но утечка памяти/таймеров (см. select.md). - **Забытый `close`** → вечный `range`. Закрывает только writer. - **context передан, но не проверяется.** Передать ctx мало — горутина должна реагировать на `ctx.Done()`, иначе отмена бесполезна. - **defer cancel() пропущен** у `context.WithCancel/Timeout` → утечка контекста (внутренняя горутина таймера/связи живёт). go vet (lostcancel) предупреждает. - **Рост горутин под нагрузкой, стабильный в покое** — классический признак утечки на запрос (на каждый запрос порождается горутина, которая не завершается). - **GC не спасёт.** Заблокированная горутина недостижима для сборки — память течёт, пока процесс жив. ## Вопросы на собеседовании **В:** Чем отличаются deadlock, livelock и starvation? **О:** Deadlock — все участники заблокированы, ждут друг друга, ноль активности. Livelock — участники активны (жгут CPU), но прогресса нет (бесконечно реагируют/откатываются). Starvation — конкретная горутина не получает ресурс/CPU, хотя система в целом работает. **В:** Когда Go-рантайм обнаруживает дедлок, а когда нет? **О:** Только **полный** дедлок — когда все горутины процесса спят и работы нет: `fatal error: all goroutines are asleep - deadlock!`. Частичный (живёт хоть одна горутина) не детектится — это тихое зависание/утечка, требующее таймаутов и мониторинга. **В:** Почему утечки горутин опасны, ведь есть GC? **О:** GC не собирает заблокированные горутины — они достижимы через рантайм и удерживают свой стек и все захваченные объекты. Утечка растит память и число горутин, постепенно деградируя процесс вплоть до OOM. **В:** Назовите самую частую причину утечки на каналах. **О:** Отправка в небуферизованный канал, который никто не дочитает (получатель ушёл по таймауту/ошибке), и чтение `range` из канала, который writer забыл закрыть. Лечится буфером на 1, веткой `ctx.Done()` и дисциплиной закрытия (закрывает writer). **В:** Как продиагностировать утечку горутин в проде? **О:** Мониторить `runtime.NumGoroutine()` (алерт на рост), снять goroutine-профиль через `net/http/pprof` (`?debug=2` — полные стеки): сотни горутин, висящих на одной строке канала/мьютекса, укажут точку. SIGQUIT даёт дамп стеков. В тестах — `goleak`. **В:** Как избежать инверсии порядка блокировок? **О:** Установить и соблюдать **единый глобальный порядок** захвата мьютексов во всём коде. Так циклического ожидания не возникнет. Именно так рантайм блокирует каналы в `selectgo` (по адресам). **В:** Как защитить «отдал и забыл» горутину от утечки? **О:** Дать каналу буфер на 1 (отправка не заблокируется, даже если получатель ушёл) или добавить `select` с `case <-ctx.Done(): return`. Тогда при уходе потребителя горутина завершится, а не зависнет. **В:** Что такое livelock на практике и как лечить? **О:** Например, два потока берут ресурсы, обнаруживают конфликт, оба откатываются и сразу повторяют синхронно — бесконечно. CPU занят, прогресса нет. Лечится рандомизированным экспоненциальным backoff с джиттером, очередью с справедливым порядком, отказом от busy-retry. **В:** Передал context в горутину, но отмена не работает. Почему? **О:** Передать ctx недостаточно — горутина должна **проверять** `ctx.Done()` (в select на каждой блокирующей операции). Без этого она не узнает об отмене. Плюс не забыть `defer cancel()` у WithCancel/Timeout, иначе утечёт сам контекст. **В:** Какие профили pprof помогают с конкурентностью? **О:** goroutine (где висят), block (`SetBlockProfileRate` — где дольше всего блокируются), mutex (`SetMutexProfileFraction` — contention). Плюс schedtrace через GODEBUG для телеметрии планировщика. ## На что копают на senior+ - Почему частичный дедлок невидим рантайму и какие архитектурные средства (таймауты, дедлайны, мониторинг NumGoroutine) его компенсируют. - Жизненный цикл заблокированной горутины и почему GC её не собирает (достижимость через рантайм, удержание стека). - Инверсия порядка блокировок, граф ожидания, единый lock ordering; аналогия с `lockorder` в selectgo. - Backoff-стратегии против livelock: экспоненциальный + джиттер, и почему синхронный retry создаёт livelock. - Тестирование на утечки: goleak, сравнение NumGoroutine, стресс с -race; ограничения каждого подхода. - Интерпретация goroutine-дампа: чтение состояний (`chan receive`, `semacquire`, `select`, `IO wait`) и локализация причины по агрегированным стекам.