Strizzle!

Работаю в техподдержке софтовой фирмы. Придя на смену, получаю задание с пометкой к исполнению «ещё вчера». Сегодня суббота, и за выходные надо всё сделать.

Суть задания: обновить софт на сервере и перенести часть БД на второй сервак. Дело не самое сложное, но может потребовать времени. Копирую нужные файлы на флешку, запускаю программу обновления и понимаю, что база лежит.
Вскрытие показывает, что повреждены блоки в файлах БД, а это значит, что база полностью неработоспособна. Бэкапов нет, Oracle настолько древний, что никаких RMAN ещё нет и в помине.

Поднял БД с помощью хекс-редактора и такой-то матери. Читаю логи и нахожу дату, когда эта ошибка всплыла впервые: 24 декабря 2008 года.

Теги: IT happens, истории, импорт, базы данных, сисадминское

Часто читал про IT-сны и сам их периодически смотрел. По всеобщему заблуждению предполагал, что это реальный кошмар админа — а вот и нет.

Три дня переводил бухов на новую жёлтую платформу. Сегодня приснился суперужастик «Баланс». Всю ночь ловил по углам и собирал в папки зелёные, скользкие и хитрые проводки, которые разбегались с криками: «Я не сальдо», «Покрасьте сторно», «Дебет в топку». Пьяный и жирный оборот, похожий на шефа, в рваной тельняшке читал «Комбинацию» под хип-хоп. Адская белочка с паучками и кудяпликами отдыхала.

Вернитесь же, мои наивные мелодрамы про горящие циски и подтопление серверной!

Теги: IT happens, истории, импорт, бухгалтерия, сисадминское

Понедельник. Звонят бухи. 1С не работает, сервер не включается. Всего-то нужно было поднять бэкап на серваке, но было лень. Говорю:

— У вас два дня выходных.
— Честно?
— Да.
— Оплачиваемых?
— Если будете исправно появляться на работе и молча пить в кабинете чай, никому ничего не говоря, то да.
— Вот спасибо! А если честно, сколько ремонт времени займёт?
— Полчаса.

В конце месяца дали премию и грамоту подготовили: «Честный лентяй».

Теги: IT happens, истории, импорт, бухгалтерия, сисадминское

Когда у нас там пошли процессоры K6-2? Году в 98-м? Примерно тогда и было. Одно точно помню — после деноминации.

Вышел в нашем банковском царстве указ: филиал не имеет права приобретать ничего дороже 100 рублей за единицу без согласования с головной конторой. Причина тому была простая: филиал какого-то райцентра приобрёл «услугу „банкет“ — 1 шт.» на изрядную сумму казённых денег. Крайними, как обычно, оказались асушники: в те времена даже хороший печатающий калькулятор стоил гораздо дороже сотни, а нам хотелось большего.

Сидим мы с шефом и думаем. Вот есть у нас две материнки Asus T2P4, которые понимают процы К6-2. В каждой стоит аж по 32 мега памяти и модные-модные винты по два гига, а процов-то и нету. Есть, конечно, P-100, но в Half-Life поиграть охота.

Как известно, на свете есть только два извращения: балет на льду и хоккей на траве. Мы придумали третье. Счёт от очень дружественной конторы гласил:

1. Корпус процессора AMD типовой.
2. Крышка процессора AMD.
3. Ножки процессора AMD чётные правые.
4. Ножки процессора AMD нечётные правые.
5. Ножки процессора AMD чётные левые.
6. Ножки процессора AMD нечётные левые.
7. Ядро процессора AMD K6-2 266 МГц.
8. Вентилятор процессора AMD K6-2.
9. Радиатор процессора AMD K6-2.
10. Термопаста процессора AMD K6-2.

Естественно, каждая позиция стоила меньше сотни. Комиссия породила бумаги о сборке процессоров, внесении их в реестр запчастей, выходе из строя P-100 и вводе отремонтированных машин в эксплуатацию. А Half-Life быстро надоел, и мы перешли на Carmageddon.

Теги: IT happens, истории, импорт, бухгалтерия, сисадминское

Начало декабря. Мы с телефонистом работаем в серверной. Я занимаюсь настройкой кондиционера; чтобы оперативно проверять температуру выдуваемого воздуха, залез на серверные шкафы, расстелил бумагу и лёг, дабы не биться о потолок. Телефонист что-то делает с платами на телефонной станции и надел на запястье антистатический браслет, соединённый токопроводящей полоской со шкафом. Ради шутки он решил изображать робота: все движения механические и прямолинейные.

В серверную заходит директор, а за ним — гендир головного подразделения со свитой, которые приехали с внезапной проверкой, чтобы мы не расслаблялись. Ни я, ни телефонист об их присутствии не догадываемся из-за сильного шума. Один лежит на шкафах с вытянутой рукой, другой вообще непонятно кто и подключён к шкафу. Делегаты уходят, желают успехов и улетают обратно в Москву.

Не знаю, какие эмоции они испытали, но новогодние премии у нас в отделе были просто сказочные.

Теги: IT happens, истории, импорт, бывает же, начальство, сисадминское

Удалённо админю сервер. Суббота, вечер. Чувствую себя киллером-неудачником, когда, желая убить на сервере скрипт, у которого сегодня закончился период тестирования, захожу по SSH, вызываю список процессов, которые необходимо отключить, и при вводе одного из них в оператор kill ошибаюсь всего на одну циферку. Всего на одну — и всё, больше у меня нет доступа к серверу по SSH, и завтра с утра придётся пять часов на электричке ехать в серверную, чтобы поднять службу, а потом столько же обратно.

Не повторяйте моих ошибок. Если кого-то убиваете, пожалуйста, перепроверьте несколько раз, того ли. Иначе последствия будут серьёзными и, возможно, уже необратимыми.

Теги: IT happens, истории, импорт, сисадминское, факапы

Могуч автор истории «Постпараноидальная терапия» в раскручивании. А гарантия на машины не поломалась ли? В близких к аналогичному случаю условиях я ношу с собой кроссовер — вынул хвост из сетевушки, вставил (господа офицеры, молчать!), настроил связь с лаптопом — и ломай (строй) что хочешь. Ещё параллельный порт есть для той же цели. Мало какой брандмауэр следит за ним, а ведь туда можно и флопарь подвесить, и наружный диск, и сидюк. Загружаться с него до-о-олго, а так — ничего.

Мудрецы говорят: «Если к твоему компьютеру есть физический доступ, это больше не твой компьютер». И отвёртка не нужна…

Теги: IT happens, истории, импорт, мысли о вечном, сисадминское

Из корпоративного трекера:

ФИО: К*** Владимир Иванович.
Описание проблемы: Привод DVD-RW не читает 50% дисков.
Срочность: По возможности.
Ответ исполнителя: Выкинуть половину дисков. Остальные будут читаться на 100 процентов.

Теги: IT happens, истории, импорт, носители данных, сисадминское, юзвери

Регламента о форме одежды системного администратора в нашей организации нет. Регламентирована только одежда судей (мантии) и приставов — у них своя чёрная униформа. Суров наш председатель, посему и помощники, и специалисты ходят почти как пингвины: белый верх, чёрный низ. Сисадмин после пары часов своей обычной работы в таком праздничном наряде будет похож на очень зачуханного пингвина и станет наводить страх и ужас на истцов, ответчиков и третьих лиц.

А ведь системный администратор у нас нужная штатная единица, с введением ГАС «Правосудие» и вовсе жизненно необходимая. А ходить в свитере нельзя. Можно ходить в рабочем комбинезоне — но это срам какой-то. В тех, что у нас есть, только по подвалам в безлунную ночь от людей прятаться, а не по коридорам суда щеголять. Эффект будет похлеще, чем от свитера Фредди Крюгера.

Выход нашёлся неожиданно. Ушлые товарищи из службы судебных приставов пригрели один комплект униформы своей чёрной и страшной, но он не пригодился, так как на всех приставах висел мешком, уж больно здоровенный был. А наш системный администратор — приличный такой шкафчик. Ему форма оказалась почти впору. Отдали, разумеется, без нашивок и знаков отличия.

Ёлки-палки! Оказывается, он в детстве в солдатиков не наигрался. Админ тут же купил себе берцы под цвет формы, самостоятельно смастерил эмблему из отвёртки и обжимки на фоне монитора, на ремень навешал каких-то сумочек с инструментами. Вершиной всего явилась опять-таки самодельная кобура, в которой он носил напоказ небольшой шуруповёрт. Прямо солдат невидимого фронта. Председатель инициативу одобрил и даже выделил премию, к которой от себя добавил плакат «Враг не пройдёт».

Теги: IT happens, истории, импорт, госконторы, сисадминское

Доводили мы до ума на заводе с богатой бюрократической практикой новую программу. Продукт был большой, серьёзный, работал круглосуточно, потреблял много серверов и был уже практически готов. Осталось навешать плюшек и оперативно реагировать на запросы и ситуации.

Как-то в конце зимы возникла проблема: ночью программа работала, следила за оборудованием и ничего криминального не находила. Вообще ничего не находила. Совсем. А утром оказалось, что на сервере тихо слетели демоны обработки данных от датчиков, главная программа этого не заметила и полную тишину из цеха воспринимала как вполне законный покой и порядок. Проблема решилась простым перезапуском сервера, а программисты получили втык и выпустили патч. Теперь, если программа совсем ничего не видит в логах данных с периферии заданное время, то поначалу вежливо интересуется у оператора: «А не отказали ли у тебя, друг мой, датчики? Может, канал связи? Сервер не сбоит случайно?» После этого программа начинает активно паниковать и ругаться и требует проверить, почему не поступает данных из цеха. Запустили в работу. Всем нравится, сменные довольны новой проверке с гарантией.

Март. Выходные. Стрелки переводят на час вперёд. Сменный сидит за пультом, рядом монитор с работающей программой. Все хорошо и спокойно. Программа зарегистрировала и записала в базу сигнал с датчика о повышении температуры на 0,1 градуса. На часах 01:59:59. Проходит секунда, на часах ровно два. Операционка помнит, что как раз сегодня нужно отработать перевод часов, и выставляет на часах 03:00:00. Программа обнаруживает, что с 01:59:59 она не регистрировала данных. Вообще. Совсем. Аж целый час. Жуткая паника…

Утро. Программистам втык. Снова патч.

Конец октября. Выходные. Смена времени с летнего на зимнее. Все ошибки учтены, все возможные и невозможные проблемы пофикшены. На часах 02:59:59. Всё хорошо. Операционка планово отрабатывает перевод стрелок — на часах ровно 02:00:00, 01, 02… Однако час назад, в два часа три секунды по летнему времени, программа зарегистрировала и обработала сообщение с очередного датчика из цеха. Но на часах снова ровно два часа ночи и три секунды — и сменный за пультом сосредоточенно глядит на сritical exсeption.

Утро. Программистам втык. Снова патч.

Теги: IT happens, истории, импорт, сисадминское, факапы