четверг, 10 февраля 2011 г.

По причине непрохождения бэкапа Exchange 2007 посредствоом NetBackup - переустановка пассивного узла CCR кластера Exchange 2007

Приняли решение переустановить пассивный узел CCR кластера Exchange 2007, по причине невозможности сделать резервную копию баз Exchange посредством NetBackup версии 7.0.1
На самом деле он стал пассивным на время переустановки.
Подробности:
На одном из узлов (MAIL-MBS-02) Exchange 2007 CCR кластера столкнулись с ошибкой:

Нашел в интернете: http://support.microsoft.com/kb/940184
Проверил:

т.е. ни одного «писателя» не отобразилось, в то время, как на пассивном узле кластера (MAIL_MBS-01) всё нормально:

на MAIL-MBS-02 опробовал методы описанный в вышеприведенной статье Microsoft:

1. Click Start, click Run, type Regedit, and then click OK.
2. Locate and then click the following registry subkey:
HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\EventSystem\{26c409cc-ae86-11d1-b616-00805fc79216}\Subscriptions
3. On the Edit menu, click Delete, and then click Yes to confirm that you want to delete the subkey.
4. Exit Registry Editor.
5. Click Start, click Run, type services.msc, and then click OK.
6. Right-click the following services one at a time. For each service, click Restart:
o COM+ Event System
o COM+ System Application
o Microsoft Software Shadow Copy Provider
o Volume Shadow Copy
7. Click Start, click Run, type cmd, and then click OK.
8. At the command prompt, type vssadmin list writers, and then press ENTER.
9. If the VSS writers are now listed, close the Command Prompt window. You do not have to complete the remaining steps.

If the VSS writers are not listed, type the following commands at the command prompt. Press ENTER after each command.
o cd /d %windir%\system32
o net stop vss
o net stop swprv
o regsvr32 ole32.dll
o regsvr32 oleaut32.dll
o regsvr32 /i eventcls.dll
o regsvr32 vss_ps.dll
o vssvc /register
o regsvr32 /i swprv.dll
o regsvr32 es.dll
o regsvr32 stdprov.dll
o regsvr32 vssui.dll
o regsvr32 msxml.dll
o regsvr32 msxml3.dll
o regsvr32 msxml4.dll
Note The last command may not run successfully.
10. At the command prompt, type vssadmin list writers, and then press ENTER.
11. Confirm that the VSS writers are now listed.


После чего в получил:

Как видно, ситуация улучшилась, но не достигла показателей MAIL_MBS-02 - здесь их значительно меньше.

После этого я выкачал и опробовал Microsoft Fix it 50498 из статьи базы знаний http://support.microsoft.com/kb/940184
думая, что то улучшиться, но этого не произошло – осталась такая же картина как на последнем скриншоте.

Таким образом, появились только:

Writer name: 'MSDEWriter'
Writer Id: {f8544ac1-0611-4fa5-b04b-f7ee00b03277}
Writer Instance Id: {82b36d12-14f4-454b-93ad-5d22bf02d33c}
State: [1] Stable
Last error: No error

Writer name: 'Registry Writer'
Writer Id: {afbab4a2-367d-4d15-a586-71dbb18f8485}
Writer Instance Id: {bc6c04b6-f138-4752-91af-6ca239d48fa5}
State: [1] Stable
Last error: No error

Writer name: 'Event Log Writer'
Writer Id: {eee8c692-67ed-4250-8d86-390603070d00}
Writer Instance Id: {fa8822f7-8daf-425a-8dfa-ad82c0164705}
State: [1] Stable
Last error: No error

Writer name: 'COM+ REGDB Writer'
Writer Id: {542da469-d3e1-473c-9f4f-7847f01fc64f}
Writer Instance Id: {1dcd4ff3-b0bd-44dd-953e-72b715fb3a88}
State: [1] Stable
Last error: No error


в то время, как должны были:

Writer name: 'System Writer'
Writer Id: {e8132975-6f93-4464-a53e-1050253ae220}
Writer Instance Id: {4c2f53f9-8cc2-48e5-b4dd-cb9079f4fbd4}
State: [1] Stable
Last error: No error

Writer name: 'Microsoft Exchange Writer'
Writer Id: {76fe1ac4-15f7-4bcd-987e-8e1acb462fb7}
Writer Instance Id: {dabee982-dbe6-4d4f-88be-75bad5e5c83b}
State: [5] Waiting for completion
Last error: No error

Writer name: 'MSDEWriter'
Writer Id: {f8544ac1-0611-4fa5-b04b-f7ee00b03277}
Writer Instance Id: {04978613-5a51-454f-9c34-2ebb4be70514}
State: [1] Stable
Last error: No error

Writer name: 'Registry Writer'
Writer Id: {afbab4a2-367d-4d15-a586-71dbb18f8485}
Writer Instance Id: {edc80bc2-5950-4334-a9a3-5a3b1af09284}
State: [1] Stable
Last error: No error

Writer name: 'Event Log Writer'
Writer Id: {eee8c692-67ed-4250-8d86-390603070d00}
Writer Instance Id: {30302354-ff23-428b-9c84-30860b6bf226}
State: [1] Stable
Last error: No error

Writer name: 'COM+ REGDB Writer'
Writer Id: {542da469-d3e1-473c-9f4f-7847f01fc64f}
Writer Instance Id: {3e149704-f637-419f-90ea-e9e1f7a72c4c}
State: [1] Stable
Last error: No error

Writer name: 'Cluster Service Writer'
Writer Id: {41e12264-35d8-479b-8e5c-9b23d1dad37e}
Writer Instance Id: {c131f870-2b6a-4ae5-99a9-5c97a3e5a5f7}
State: [1] Stable
Last error: No error

Writer name: 'IIS Metabase Writer'
Writer Id: {59b1f0cf-90ef-465f-9609-6ca8b2938366}
Writer Instance Id: {70284a8b-c170-43db-9e15-1c2f04ee3af1}
State: [1] Stable
Last error: No error

Writer name: 'BITS Writer'
Writer Id: {4969d978-be47-48b0-b100-f328f07ac1e0}
Writer Instance Id: {7aecd6c9-9734-4c1d-80ce-8a0e6efd29a0}
State: [1] Stable
Last error: No error

Writer name: 'WMI Writer'
Writer Id: {a6ad56c2-b509-4e6c-bb19-49d8f43532f0}
Writer Instance Id: {c322e2ac-568c-41a8-83e4-37dd3b978004}
State: [1] Stable
Last error: No error


Детали переустановки:
1.Удаление Exchange 2007 с узла, через установка - удаление.

2.Извлечение ноды из кластера, нажатием "Evict node" через контекстное меню в кластерной оснастке, после перевода ноды в offline. После чего кластер забывает про эту ноду.(Предварительно наделал скриншотов - члены группы администраторов, настройки сетевых интерфейсов - пригодятся после переустановки)

3.Установка операционной системы Windows Enterprise с нуля (драйвера, ввод в домен, настройка сети, установка апдейтов с WSUS и т.п.)

4.Добавление с активной ноды в windows кластер вновь установленного узла, при установке указываем учетные данные пользователя от имени которого будет запукаться служба кластера и игнорируем предупреждения о DHCP на сетевых интерфейсах (у нас Teaming - LACP 802.3ad).

5.Установка Exchange на пассивном узле с ролью "Passive Clustered Mailbox Role". Надо сказать, что данные почтовых групп после вывода из кластера я не удалял, а здесь самое время, так как диск для почтовых ящиков подан с SAN то данные на нем остались, но теперь они не нужны - удаляем.

В моем случае по окончании возникла ошибка:

Не могла стартовать служба MSExchangeTransportLogSearch при этом и перезагрузка сервера не помогала, помня прежнее решение этой проблемы добавил в файл host на пассивном узле (на активном она уже была) строчку вида:
127.0.0.1 crl.microsoft.com
после чего служба смогла нормально стартовать.

В итоге получили нормальный список теневых писателей ))):


после чего осталось выполнить скрипт ресинхронизации баз с нуля на пассивную ноду:


####################################
#Shiryaev.DE
#скрипт выполняет перезаливку баз группы хранения с активной на пассивную ноду
#предварительно группе хранения нужно сказать Suspend Storage Group Copy - можно через GUI

$Array_SGs = Get-StorageGroup | select-object server, name, replicated | Sort-Object -Property name
#$Array_SGs = Get-StorageGroup | select-object name | Sort-Object -Property name

"Count of Storage Groups=" + ([string] $Array_SGs.Length)

for($i=0;$i -le $Array_SGs.Length-1;$i++)
{
$SG_NAME = ([string] $Array_SGs[$i].server)+"\"+([string] $Array_SGs[$i].Name)
If ( ([string] $Array_SGs[$i].replicated) -eq "Clustered")
{
"[" + ($i+1) + "]" + "Storage Group name <<" + $SG_NAME + ">> is Clustered"
"reseed processing..."

"---Suspend-StorageGroupCopy <<" + $SG_NAME + ">>"
Suspend-StorageGroupCopy -Identity $SG_NAME -SuspendComment "Suspending CCR to reseed." -Confirm:$false
Start-sleep -s 6
"---Update-StorageGroupCopy <<" + $SG_NAME + ">>"
Update-StorageGroupCopy -Identity $SG_NAME -DeleteExistingFiles -force
Start-sleep -s 6
"---Resume-StorageGroupCopy <<" + $SG_NAME + ">>"
Resume-StorageGroupCopy -Identity $SG_NAME
}
else
{
"[" + ($i+1) + "]" + "Storage Group name" + $SG_NAME + " is NOT Clustered nothing to do."
}
}

После чего все двенадцать групп хранения с общим объемом данных 350Гб получили (Exchange Management Console->Server Configuration->Mailbox->Cluster) "Copy Status" = "Healthy"
Копирование завершилось примерно за 5 часов.
На всё про всё ушло времени с 9-00 по 18-00 с учетом синхронизации, то есть 9 часов.

понедельник, 7 февраля 2011 г.

Как смонтировать сетевой ресурс с Windows сервера в папку Linux

Пусть мы хотим смонтировать сетевой ресурс:

//backup/backup/SVN-02

В локальную папку на сервере

/home/backup

И при этом что бы эта папка автоматически монтировалась при загрузке.
Шаг 0.
проверяем, что в системе установлен пакет smbfs командой:

dpkg --get-selections | smbfs

если его нету устанавливаем из-под пользователя root:

apt-ger install smbfs

Шаг 1.

Для этих целей в домене создали учетную запись пользователя domuser с паролем password123
И предоставляем ей доступ к сетевому ресурсу //backup/backup/SVN-02
Шаг 2.

Создаем файл:

/etc/backup.cred

это можно сделать командой:

touch /etc/backup.cred

Файл должен быть следущего содержания:

username=domuser
password=password123

С символом Enter после последней введённой строки.
Отредактировать файл можно редактором nano командой:

nano /etc/backup.cred


Шаг 3.
Установка необходимых прав на файл /etc/backup.cred
выполняется командой:

chmod 600 /etc/backup.cred


права 600 - чтение и изменение только для владельца
права 644 - чтение и изменение только для владельца, чтение для всех остальных

Шаг 4.
Открываем на редактирование файл файловых систем монтируемых, при загрузке:

nano /etc/fstab


и в конце дописываем строки вида, где вместо пробелов символы табуляции:

//backup/Backup/SVN-02/home/backupcifscredentials=/etc/backup.cred,rw00

Вариант команды ручного монтирования1:

mount -t cifs //backup/backup/SVN-02/home/backup -o credentials=/etc/backup.cred,workgroup=corp.kaus.ru,wr


Вариант команды ручного монтирования2:

mount -t cifs //backup/backup/SVN-02 /home/backup -o credentials=/etc/backup.cred,wr


Оба варианта рабочих.
Здесь можно использовать в качестве адресов-источников монтирования:

//10.1.224.185/backup/SVN-02
или
//margarita/backup/SVN-02
или
//backup/backup/SVN-02 где backup это DNS-алиас


Шаг 5.
Проверяем смонтированные файловые системы командой:

mount

Содержимое смотнтированного каталога смотрим камандой:

ls -l /home/backup


Ссылки по теме:

http://www.cyberciti.biz/tips/how-to-mount-remote-windows-partition-windows-share-under-linux.html

http://www.opennet.ru/docs/RUS/mount/mount04.html

http://ubuntuforums.org/showthread.php?t=1292552

http://www.go2linux.org/wrong-fs-type-bad-option-bad-superblock

четверг, 20 января 2011 г.

Замедление при копировани больших файлов - есть решения

Либо файл копируется очень медленно, либо прерывается копирование с ошибкой, после некоторого продолжительного времени копирования.

При копировании больших файлов в среде WINDOWS (число файлов мало <15, а их суммарный объем в разы превышает объем оперативной памяти хоста куда происходит копирование) вот уже несколько лет наблюдаю следующую картину:

Например, копируем с того хоста куда идет копирование один 90Гб-й файл, т.е. диск куда сохраняются файлы при копировании расположен на той же машине - которая выполняет операции копирование файлов с удаленного хосте по сети. Сетевые интерфейсы при этом подняты со скоростью по 1Gb/s и ещё объединены в Teaming по 2 в основном по LACP в режиме Round Robin.

Машина куда сохраняются файлы некоторое время с большой скоростью принимает их, примерно до того момента, как создается ощущение, что пока не заполниться кэш оперативной памяти под дисковое копирование, а после этого начинается резкое замедление - поскольку этот самый "кэш" начинает сбрасывать данные на диск и резко замедляет скорость забора данных с сетевого источника, о чем свидетельствует наблюдение за сетевой нагрузкой (Windows Task Manager->Networking).


На рисунке приведено поведение при использовании eseutil.exe

После чего счетчик копирования в виндовом окошке копирования начинает резко давить на нервы админов увеличение времени, почти в двое.

Иногда есть возможность отключить кэширование записи на диск, делается это в "Диспетчере устройств"(devmgmt.msc)->"Дисковые устройства"->свойства диска->вкладка "Политика":



но у некоторых подключенных дисковых устройств (у самого нужного сервера) такой возможности нету, например СХД EMC CLARiiON CX4-120:



а у некоторых есть, например HP EVA4000:




Есть альтернативные методы копирования - в частности средством eseutil.exe, которая обычно входит в состав Exchange и служит для дефрагментации почтовых баз. Взять дистрибутив можно здесь.

Фактически нужно только два файла eseutil.exe и ese.dll

синтаксис команды:

eseutil.exe /y {source-file} /d {destination-file}


В моем случае упирались в производительность дисковой подсистемы



, а средствами винды вообще не могли нормально скопировать только теряли время - несколько часов, были ошибки вида:

на Win2003:
"Cannot copy Insufficient system resources exist to complete the requested service."


на Win2008:
"An unexpected error is keeping you from copying the file. If you continue to receive this error, you can use the error code to search for help with this problem. Error 0x8007046A:Not enough server storage is available to proceed this command"


После использования eseutil, смогли начать копирование. Индикация процесса копирования происходит так же, как при дефрагментации баз:



Ощющение что с ней происходит всё быстрее и надежнее не покидало. Скорее всего это происходит из-за того что eseutil принудительно сбрасывает "кэш" копирования на диск по каким-то условиям.

Но и в этом случае eseutil не помогла...
Иногда никак не получается скопировать, так eseutil где-то на 95-98% копирования может выдать ошибку вида:

FAILURE: GetOverlappedResult (read): Not enough server storage is available to process this command.

где-нибудь в конце 90Гбайтного файла.

Тогда есть вариант поделить файл (WinRAR, 7zip, GNU SPLIT) и копировать по частям, а потом эти части собрать (copy, 7zip).

Когда ничего не помогает - как было в моем случае - заливаем бэкап на другой диск и форматим сбойный.

Есть ещё варианты с поднятием ftp-сервера на источнике и докачкой на приемнике. в общем случае - это через другие - протоколы - не SMB: fpt, p2p(torrent например)

либо пользоваться утилитами, позволяющими прерывать копирование по сети (SMB) и продолжать с места остановки, например "CopyFile 2", KillCopy, Real Total Copy и т.п.

В нашем случае смогли скопировать файл только после перезагрузки обоих серверов и на другой диск средствами обычного виндового копирования.

Похоже что реальная причина была в отключенном кэше на дисковом сторадже, и луны задыхались от нехватки производительности.

ссылки по теме:

http://blogs.technet.com/b/askperf/archive/2007/05/08/slow-large-file-copy-issues.aspx

http://support.microsoft.com/kb/198386/

http://support.microsoft.com/kb/106167

http://support.microsoft.com/kb/332023/ru

четверг, 13 января 2011 г.

Exchange 2007 PowerShell скрипт для выгрузки данных по пользователям в csv(табличный формат)

выводит все поля в CSV - аналог команды:

###################
Get-MailboxStatistics -server | fl
###################


скрипт:


###################
$CSV_File_Name = "c:\CSV_Get-MailboxStatistics.csv"

get-date -format u

#Статистика по всем ящикам

Get-MailboxStatistics -server | Select-Object DisplayName, TotalItemSize, LastLogoffTime, AssociatedItemCount, DeletedItemCount, DisconnectDate, ItemCount, LastLoggedOnUserAccount, LastLogonTime, LegacyDN, MailboxGuid, ObjectClass, StorageLimitStatus, TotalDeletedItemSize, Database, ServerName, StorageGroupName, DatabaseName, Identity, IsValid, OriginatingServer | sort-object -property displayname | Export-Csv $CSV_File_Name -encoding "unicode"

notepad $CSV_File_Name
###################


после выгрузки что бы открыть файл в Excel 2007, например, нужно в Excel 2007 создать пустую книгу и далее через меню "Данные"->"Получить внешние данные"->"Из текста" далее выбрав разделитель табуляции запятую и соответствующий шрифт быть счастливым.

Примечательно что OpenOffice Calc откроет его без вопросов.

среда, 12 января 2011 г.

настройка рассцылки почтовых уведомлений Directum на Windows 2008 R2 кластере

Не доверяйте неоптыным внедренцам Directum, пытайтесь сами разобраться в причинах неотправки почтовых уведомлений, вобщем то первая строка в поиске google решиа проблему.

http://club.directum.ru/blog/post/Rukovodstvo-po-nastrojjke-scenarija-171Agent-rassylki-vkhodjashhikh-zadanijj187.aspx

среда:
службы Directum c шарами крутятся на одном кластере "Directum" (сервера Windows 2008 R2)
база Directum крутиться на другом кластере "SQLCluster-01" (сервера Windows 2008 не R2)
почтовый сервер - Exchange 2007

как настроили:

А.Настройки почтовой системы:
Анонимный коннектор(создается через PowerShell -щас уже точно не помню как - давно это было)(располагаются все receive connectors в "Exchange Management Console" -> "Server Confiruration" -> "Hub Transport" -> "Receive Connectors"), работающий на 8025 порту, в нем прописываем IP-адреса наших узлов кластера Directum, делается это на вкладке "Network", на вкладке "Authentication" все галки сняты, на вкладке "Permission Groups" галки выставлены только для "Anonymous users" и "Exchange users"

также создал пользователя типа Directum_mail@mydomain.ru для которого включили почтовый ящик на Exchange 2007

Б.Настройки на нодах - подробнее смотри ссылку из начала поста.
И выполнили настройки на нодах кластера Directum в secpol.msc->Local Settings разрешили указанному пользователю "Log on as batch job" и "Log on as service"

В.Системные настройки Directum - через клиента из-под администратора:
Компоненты -> Утилиты администратора -> Установки системы и администрирование БД -> Константы -> находим имя константы:"MailOutgoingSettings" в качестве "Значения":
ServerType=SMTP;Server=mail.mydomain.ru;Port=8025;AuthenticationType=None;User=;Password=
-здесь всё как есть, т.е. пользователь и пароль не указаны, только домен свой подставляем.

Г.Планировщик заданий на обоих нодах кластера
(Start->All Programs->Accessories->System Tools->Task Scheduler)
1вариант:
создали bat-файл с указанием в нем одной строки:



"C:\Program Files (x86)\DIRECTUM Company\DIRECTUM 4.7\SBLauncher.exe" -S="SQLCluster-01" -D="DABASENAME" -CT="Script" -F="Agent_emailing_inbound_tasks" -N="USERNAMEAdministrator" -W="PASSWORDAdministrator"



Надо сказать, что пока не поменяли имя скрипта в системе Directum с русского на английское(Компоненты -> Утилиты администратора -> Установки системы и администрирование БД -> Сценарии -> ) - находим сценарий с Заголовком "Агент рассылки входящих заданий", открываем его и изменяем имя, например на следующее - "Agent_emailing_inbound_tasks", без этого батник вообще не работал, поскольку ругался на русские буквы, хотя при этом в "ControlPanel" -> "Region and Language" выставлено [Format:(Russian(Russia));Location:(Russia);Administrative:(Current language for non-Unicode programs:Russian(Russia))]


2вариант:

При создании задания прямо в его свойствах указали параметры запуска файла
Action:Start a program

Settings:

Program/script:

"C:\Program Files (x86)\DIRECTUM Company\DIRECTUM 4.7\SBLauncher.exe"


Add arguments (optional):


-S="SQLCluster-01" -D="DIRECTUM47" -CT="Script" -F="Agent_emailing_inbound_tasks" -N="Administrator" -W="Directum47"


Запуск заданий подготовили от имени пользователя Directum_mail

вторник, 11 января 2011 г.

Как поменять сервер держатель OAB Exchange 2007 для CCR cluster

Слышал, но не ожидал что всё так просто:

http://technet.microsoft.com/en-us/library/dd285503%28EXCHG.80%29.aspx

Погенерировав книгу после изменений в реестре, заметил что на узле кластера, на которую изменил настройку появилась шара с OAB. При этом проверил что новые контакты появляются и удаляются в адресной книге, получаемой Outlook 2007-м

С узла кластера, который был до изменений держателем адресной книги (Offline Address book) удалил шару.

Exchange 2007 PowerShell скрипт для перезаливки всех баз на пассивную ноду в CCR Cluster-е


####################################
#скрипт выполняет перезаливку ВСЕХ баз группы хранения с активной на пассивную ноду
####################################
$Array_SGs = Get-StorageGroup | select-object server, name, replicated | Sort-Object -Property name
"Count of Storage Groups=" + ([string] $Array_SGs.Length)
for($i=0;$i -le $Array_SGs.Length-1;$i++)
{
$SG_NAME = ([string] $Array_SGs[$i].server)+"\"+([string] $Array_SGs[$i].Name)
If ( ([string] $Array_SGs[$i].replicated) -eq "Clustered")
{
"[" + ($i+1) + "]" + "Storage Group name <<" + $SG_NAME + ">> is Clustered"
"reseed processing..."
#body of processing
"Suspend-StorageGroupCopy <<" + $SG_NAME + ">>"
Suspend-StorageGroupCopy -Identity $SG_NAME -SuspendComment "Suspending CCR to reseed." -Confirm:$false
Start-sleep -s 6
"Update-StorageGroupCopy <<" + $SG_NAME + ">>"
Update-StorageGroupCopy -Identity $SG_NAME -DeleteExistingFiles -force
Start-sleep -s 6
"Resume-StorageGroupCopy <<" + $SG_NAME + ">>"
Resume-StorageGroupCopy -Identity $SG_NAME
}
else
{
"[" + ($i+1) + "]" + "Storage Group name" + $SG_NAME + " is NOT Clustered nothing to do."
}
}


ещё полезный скрипт:


Get-MailboxDatabase | foreach-object {add-member -inputobject $_ -membertype noteproperty -name mailboxdbsizeinGB -value ([math]::Round(([int64](get-wmiobject cim_datafile -computername $_.server -filter ('name=''' + $_.edbfilepath.pathname.replace("\","\\") + '''')).filesize / 1GB),2)) -passthru} | Sort-Object mailboxdbsizeinGB -Descending | format-table identity,mailboxdbsizeinGB

Для получения размеров всех баз данных
взят здесь:
http://system-administrators.info/?p=5376

Другие вкусности PowerShell для Echange 2007
http://mcp.su/active-directory/powershell-exchange-2007-ad/