Библиотека Go (Golang) разработчика

⚡Memory Alignment: Когда порядок полей стоит гигабайты Часто при проектировании структур мы группируем поля логически: ID рядом с Name, флаги рядом с конфигами. Но с точки зрения железа и аллокатора Go - это может быть расточительством. Для Senior-разработчика понимание padding (отступов) и alignm…

⚡Memory Alignment: Когда порядок полей стоит гигабайты Часто при проектировании структур мы группируем поля логически: ID рядом с Name, флаги рядом с конфигами. Но с точки зрения железа и аллокатора Go - это может быть расточительством. Для Senior-разработчика понимание padding (отступов) и alignment (выравнивания) - мастхэв, особенно в HighLoad проектах, где крутятся миллионы объектов в памяти. 🔍CPU читает память машинными словами (обычно 64 бита / 8 байт). Чтобы доступ был атомарным и быстрым, компилятор Go выравнивает поля по адресам, кратным их размеру. Если поля идут в «неудачном» порядке, компилятор вставляет пустые байты (padding). Сравним две структуры: // ❌ Bad layout type BadStruct struct { Flag bool // 1 byte // +7 bytes padding Counter int64 // 8 bytes Active bool // 1 byte // +7 bytes padding (для выравнивания всей структуры) } // Итог: 24 байта (Sizeof) // ✅ Good layout type GoodStruct struct { Counter int64 // 8 bytes Flag bool // 1 byte Active bool // 1 byte // +6 bytes padding } // Итог: 16 байт (Sizeof) 📉 Кажется, что 8 байт разницы - ерунда. Но: 1. Масштаб: Если у вас слайс из 10 миллионов таких структур, вы экономите ~76 МБ RAM просто переставив поля. 2. CPU Cache & Spatial Locality: Меньший размер структуры = больше структур влезает в кэш-линию процессора (обычно 64 байта). Это снижает Cache Miss rate и ускоряет итерацию по слайсам. 🛠 Не нужно считать байты в уме. Используйте fieldalignment из официальных тулзов: go install golang.org/x/tools/go/analysis/passes/fieldalignment/cmd/fieldalignment@latest fieldalignment -fix ./... Внимание: -fix может нарушить вашу «логическую» группировку полей и добавить комментарии, так что используйте с умом (или добавьте в линтер как варнинг). 💡 В Go 1.20+ и новее аллокатор стал умнее, но физику не обманешь. Если вы пишете под архитектуры с жестким выравниванием (например, ARM или WASM), игнорирование alignment может привести не просто к оверхеду, а к панике при атомарных операциях (хотя Go старается это хэндлить). #golang #optimization #architecture #memory 👉 @golang_lib

Как мы ускорили Golang-тесты на CI В этой статье я расскажу о том, как желание улучшить свой рабочий процесс CI помогло ускорить все golang-пайплайны в PaaS СберМаркета. В СберМаркете микросервисная архитектура. В качестве CI/CD используется GitLab. На CI гоняются вполне типовые задачи по тестиров…

Как мы ускорили Golang-тесты на CI В этой статье я расскажу о том, как желание улучшить свой рабочий процесс CI помогло ускорить все golang-пайплайны в PaaS СберМаркета. В СберМаркете микросервисная архитектура. В качестве CI/CD используется GitLab. На CI гоняются вполне типовые задачи по тестированию, различным проверкам, сборкам образов и т. д. Часть job предоставляется самим сервисом, часть — внедряется в пайплайн сервиса нашей платформой. Во всех golang-сервисах пишут тесты на свой код. В разных сервисах подход к тестированию немного различается, но сейчас я не буду углубляться в виды тестирования. Общее между всеми сервисами — «в среднем по больнице» тесты гоняются на CI более 5 минут. Я пришел в СберМаркет в конце августа 2023 года. Глядя на набор Unit-тестов в одном из наших сервисов Odin, я немного расстроился. Каждый раз нужно было ждать на CI больше 6 минут, чтобы узнать, все ли хорошо с тестами. Их в наборе было около 400. Я подумал, что неплохо было бы разобраться со скоростью. Предположил, что проблема может быть связана с базой данных, неоптимальным сидированием, что можно улучшить очистку и добавить параллелизма. И даже начал накидывать в голове план ускорения... https://habr.com/ru/companies/kuper/articles/806725/ 👉 @golang_lib

Ты не все знаешь о массивах и слайсах в Go Таймкоды: 00:00 - Введение 00:47 - Устройство массивов в Go 01:40 - Работа с массивами в Go 10:00 - Перемещение массива в стеке 11:29 - Итерация по массивам в Go 15:11 - Где аллоцируются массивы в Go 17:22 - Педедача массива в функцию 18:16 - Слайсы в Go 2…

Ты не все знаешь о массивах и слайсах в Go Таймкоды: 00:00 - Введение 00:47 - Устройство массивов в Go 01:40 - Работа с массивами в Go 10:00 - Перемещение массива в стеке 11:29 - Итерация по массивам в Go 15:11 - Где аллоцируются массивы в Go 17:22 - Педедача массива в функцию 18:16 - Слайсы в Go 21:34 - Реаллокация слайса в Go 24:45 - Резервирование памяти под слайс 25:44 - Создание слайса без инициализации 27:38 - Модификация строк в Go 28:35 - Приведение слайсов в строки и обратно без копирования 30:13 - Передача слайса в функцию 31:12 - Итерация по слайсам в Go 33:55 - Оптимизация итерации по слайсам в Go 35:42 - Получение слайсов в Go 42:40 - Получение слайса из массива в Go 43:15 - Конвертация слайса в массив в Go 44:15 - Конвертация слайса в указатель на массив в Go 45:02 - Указатель на нулевой массив в Go 46:18 - Удаление из конца слайса в Go 46:51 - Удаление из начала слайса в Go 49:02 - Реализация стека и очереди в Go 50:00 - Как увеличить размер слайса в Go 50:48 - Как уменьшить емкость слайса в Go 54:05 - Где аллоцируются слайсы в Go 59:12 - Как очистить слайс в Go 01:01:51 - В чем разница пустых и нулевых слайсов в Go 01:05:17 - Как сравнивать слайсы в Go 01:07:53 - Как скопировать данные слайса в Go 01:09:47 - Почему функция appeng возвращает слайсв в Go 01:12:39 - Потенциальные проблемы с функцией append в Go 01:14:10 - Реализация функции append в Go 01:15:32 - Утечки памяти при работе со слайсами в Go 01:21:59 - Курс по глубокому Go источник 👉 @golang_lib

🧠 Планировщик Go (GMP): Как 100 000 горутин работают на 4 ядрах Джуны часто думают, что горутины это магия. Написал go func(), и оно как-то само параллелится. Сеньоры знают, что под капотом работает безжалостная и гениальная машина Go Scheduler. Понимание того, как он работает, спасает от жестких…

🧠 Планировщик Go (GMP): Как 100 000 горутин работают на 4 ядрах Джуны часто думают, что горутины это магия. Написал go func(), и оно как-то само параллелится. Сеньоры знают, что под капотом работает безжалостная и гениальная машина Go Scheduler. Понимание того, как он работает, спасает от жестких просадок производительности в Kubernetes. Погнали в хардкор. ОС (Linux/Windows) ничего не знает про горутины. Она умеет работать только с потоками ОС (OS Threads). Но потоки ОС тяжелые: у них большой стек (1-8 МБ) и их очень дорого переключать (context switch). Если создать 100 000 потоков ОС, ваш сервер умрет. Поэтому создатели Go написали свой планировщик (уровня user-space), который работает по модели G-M-P. • G (Goroutine) - Сама горутина. Легкая (стек всего ~2 КБ), содержит код, который нужно выполнить. • M (Machine) - Поток операционной системы. Именно он выполняет инструкции на процессоре. • P (Processor) - Логический процессор / Контекст. У него есть локальная очередь (Local Run Queue) из горутин (G), которые ждут выполнения. Количество P строго ограничено и по умолчанию равно количеству ядер вашего процессора (переменная GOMAXPROCS). Как это работает в динамике? Поток ОС (M) берет логический процессор (P), достает из его очереди горутину (G) и начинает её выполнять. Если горутина делает сетевой запрос или засыпает (time.Sleep), поток M не блокируется! Он откладывает эту G в сторону, берет из очереди P следующую G и продолжает работу. Безотходное производство. А что если горутина сделала тяжелый системный вызов (CGO или чтение файла)? Тут поток M неизбежно блокируется на уровне ОС. В этот момент планировщик Go делает финт ушами: он отрывает логический процессор P от заблокированного M, создает (или берет из пула) новый поток ОС M_new, прикрепляет к нему этот P и продолжает выполнять оставшиеся в очереди горутины. Старый M остается спать вместе со своей системной горутиной. 🔥 Киллер-фича: Work Stealing (Кража работы) Представьте, что один P быстро выполнил все свои горутины, а у другого P в очереди их еще 100. Чтобы ядра не простаивали, свободный P пойдет к соседу и украдет у него ровно половину горутин из очереди. Коммунизм в чистом виде. ☝️ Senior Tip: Ловушка Kubernetes и CFS Quota Вот ради чего всё это писалось. Если вы деплоите Go-сервис в Docker/K8s и ставите ему лимит limits.cpu: "2", вы думаете, что приложению дадут 2 ядра. Но Go при старте смотрит не на лимиты контейнера, а на железо хост-машины! Если на ноде 64 ядра, Go создаст 64 P (логических процессора) и наплодит 64 потока ОС. Linux увидит, что контейнер с лимитом в 2 ядра пытается выполнить 64 потока, и начнет их жестко троттлить (душить). Ваш сервис начнет дико тормозить на ровном месте. Лечение: Всегда синхронизируйте GOMAXPROCS с лимитами контейнера. Лучший способ - добавить один импорт в main.go, который сделает это автоматически при старте: import _ "go.uber.org/automaxprocs" #golang #underhood #architecture #performance #devops 👉 @golang_lib

Препроцессоры на Go: нарушение границ или сила -toolexec Мы в Смартомато — супер продуктовые ребята. Со временем у нас скопились недовольство по поводу работы с Golang, захотелось залезть в технические дебри. Произошла гиперкомпенсация и мы придумали препроцессинг в Go. Да, несмотря на то, что этот…

Препроцессоры на Go: нарушение границ или сила -toolexec Мы в Смартомато — супер продуктовые ребята. Со временем у нас скопились недовольство по поводу работы с Golang, захотелось залезть в технические дебри. Произошла гиперкомпенсация и мы придумали препроцессинг в Go. Да, несмотря на то, что этот язык официально не поддерживает препроцессоры — мы всё равно сделали. А сейчас делимся результатами этой работы с вами. Эта статья по мотивам моего доклада на Golang Conf X 2025 о болях шаблонного кода и вариантах их решения с помощью препроцессинга на базе стандартного тулчейна Go. В тексте не будет сравнения с препроцессорами в других языках и морально-этической оценки решения. https://habr.com/ru/companies/oleg-bunin/articles/958946/ 👉 @golang_lib

Counterfeiter — инструмент для генерации самостоятельных, типобезопасных тестовых заглушек в Go При модульном тестировании часто нужны поддельные реализации зависимостей. В Go такие заглушки трудно создавать автоматически во время выполнения, а ручная реализация отнимает время. Counterfeiter упроща…

Counterfeiter — инструмент для генерации самостоятельных, типобезопасных тестовых заглушек в Go При модульном тестировании часто нужны поддельные реализации зависимостей. В Go такие заглушки трудно создавать автоматически во время выполнения, а ручная реализация отнимает время. Counterfeiter упрощает задачу, автоматически генерируя тестовые фейки для заданного интерфейса. https://github.com/maxbrunsfeld/counterfeiter 👉 @golang_lib

🚧 Errors in Go: Хватит сравнивать ошибки через == Знакомая картина? Вы пишете запрос к базе, получаете ошибку, оборачиваете её для логов и возвращаете наверх: // Слой репозитория func GetUser() error { err := db.QueryRow(...) if err != nil { // Обернули, чтобы дать контекст …

🚧 Errors in Go: Хватит сравнивать ошибки через == Знакомая картина? Вы пишете запрос к базе, получаете ошибку, оборачиваете её для логов и возвращаете наверх: // Слой репозитория func GetUser() error { err := db.QueryRow(...) if err != nil { // Обернули, чтобы дать контекст return fmt.Errorf("getUser failed: %v", err) } } А на слое выше (в хендлере) кто-то пытается проверить, не была ли это ошибка "пользователь не найден": // Слой хендлера err := GetUser() // 🤡 Ошибка! Это условие НИКОГДА не выполнится if err == sql.ErrNoRows { return 404 } Почему не выполнится? Потому что fmt.Errorf с глаголом %v создал новую строку. Оригинальная ошибка sql.ErrNoRows стерлась. Чтобы это починить, джуны начинают парсить текст ошибки через strings.Contains() - и это прямой путь в ад. С версии Go 1.13 язык предлагает элегантное решение - распаковку "матрешки" ошибок. 1. Упаковываем: глагол %w Чтобы добавить контекст, но сохранить оригинальную ошибку внутри, используйте %w (wrap): return fmt.Errorf("getUser failed: %w", err)Теперь ваша ошибка это матрешка. Снаружи текст "getUser failed", а внутри лежит sql.ErrNoRows. 2. Распаковываем значения: errors.Is Забудьте про оператор == при работе с ошибками, если есть хотя бы малейший шанс, что ошибка обернута. Используйте errors.Is. Эта функция рекурсивно заглядывает внутрь каждой матрешки и ищет совпадение: if errors.Is(err, sql.ErrNoRows) { // Выполнится успешно, даже если ошибка была обернута 10 раз! return 404 } 3. Распаковываем типы: errors.As errors.Is нужен для проверки конкретных переменных-синглтонов (sentinel errors). Но что если вы используете кастомные структуры ошибок с дополнительными полями (например, HTTP статус-код)? Встречайте errors.As. Это безопасный способ достать конкретный тип из цепочки ошибок: type MyDomainError struct { Msg string Code int } func (e *MyDomainError) Error() string { return e.Msg } // ... где-то в коде проверяем: var domainErr *MyDomainError // Если в цепочке err есть тип *MyDomainError, // errors.As запишет его в переменную domainErr и вернет true if errors.As(err, &domainErr) { fmt.Println("HTTP Status:", domainErr.Code) } 🔥 Senior Tip: Не оборачивайте всё подряд Если вы оборачиваете ошибку через %w, она становится частью вашего публичного API. Если слой базы данных возвращает обернутую pgx.ErrNoRows, а слой HTTP-хендлера проверяет её через errors.Is, вы создали жесткую связность (coupling). Хендлер теперь знает про базу данных! • Используйте %w, когда хотите позволить вызывающему коду реагировать на причину. • Используйте %v (или создавайте новую чистую ошибку), когда хотите скрыть детали реализации нижнего уровня. #golang #errors #cleancode #bestpractices 👉 @golang_lib

Qrcp Передавайте файлы по Wi-Fi с компьютера на мобильное устройство, сканируя QR-код, не отходя от терминала. https://github.com/claudiodangelis/qrcp 👉 @golang_lib

Tetrigo Играйте в Тетрис на своём терминале. Реализация Тетриса на Golang, соответствующая официальному руководству по дизайну Тетриса 2009 года. https://github.com/Broderick-Westrope/tetrigo 👉 @golang_lib

Go sync.Mutex: Normal and Starvation Mode Go sync.WaitGroup and The Alignment Problem Go sync.Pool and the Mechanics Behind It (We’re here) Go sync.Cond, the Most Overlooked Sync Mechanism Go sync.Map: The Right Tool for the Right Job Go Sync.Once is Simple… Does It Really? Go Singleflight Melts in …

Go sync.Mutex: Normal and Starvation Mode Go sync.WaitGroup and The Alignment Problem Go sync.Pool and the Mechanics Behind It (We’re here) Go sync.Cond, the Most Overlooked Sync Mechanism Go sync.Map: The Right Tool for the Right Job Go Sync.Once is Simple… Does It Really? Go Singleflight Melts in Your Code, Not in Your DB https://victoriametrics.com/blog/go-sync-mutex/index.html 👉 @golang_lib