Файл: Paul Troncone and Carl AlbingCybersecurity Ops with bashAttack, Defend, and Analyze from the.pdf

Скачать файл
Заказать решение

ВУЗ: Не указан

Категория: Не указан

Дисциплина: Не указана

Добавлен: 12.01.2024

Просмотров: 472

Скачиваний: 1

ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.

СОДЕРЖАНИЕ

Пример 7.7. histogram_plain.sh#!/bin/bash -## Bash и кибербезопасность# histogram_plain.sh## Описание:# Создание горизонтальной гистограммы с указанными данными без использования# ассоциативных массивов, хорошо подходит для старых версий bash## Использование: ./histogram_plain.sh# формат ввода: label value#declare -a RA_key RA_val declare -i max ndx Глава 7. Анализ данных 123max=0maxbar=50 # размер самой длинной строки ndx=0while read labl val do RA_key[$ndx]=$labl  RA_value[$ndx]=$val # сохранить наибольшее значение; для масштабирования (( val > max )) && max=$val let ndx++done# масштабировать и вывести for ((j=0; jdo printf "%-20.20s " ${RA_key[$j]} pr_bar ${RA_value[$j]} $max doneЭта.версия.сценария.позволяет.избежать.использования.ассоциативных.массивов.(например,.в.более.старых.версиях.bash.или.в.системах.macOS)..Здесь.мы.применя- ем.два.отдельных.массива:.один.для.индексного.значения.и.один.—.для.счетчиков..Поскольку.это.обычные.массивы,.мы.должны.использовать.целочисленный.индекс.и.будем.вести.простой.подсчет.в.переменной.ndx.Здесь.имена.переменных.объявляются.как.массивы..Строчная.a.указывает,.что.они.являются.массивами,.но.это.не.ассоциативные.массивы..Это.не.обязательное.требование,.зато.рекомендуемая.практика..Аналогично.в.следующей.строке.мы.за- даем.параметр.-i.для.объявления.этих.переменных.целыми.числами,.что.делает.их.более.эффективными,.чем.необъявленные.переменные.оболочки.(которые.хранятся.в.виде.строк)..Повторимся:.как.видно.из.того,.что.мы.не.объявляем.maxbar,.а.просто.используем.его,.это.необязательное.требование..Пары.«ключ/значение».хранятся.в.отдельных.массивах,.но.в.одном.и.том.же.месте.индекса..Это.ненадежный.подход.—.изменения.в.сценарии.в.какой-то.момент.могут.привести.к.тому,.что.два.массива.не.синхронизируются..Цикл.for,.в.отличие.от.предыдущего.сценария,.используется.для.простого.под- счета.целых.чисел.от.0.до.ndx..Здесь.переменная.j.выступает.препятствием.для.индекса.в.цикле.for.внутри.сценария.pr_bar,.несмотря.на.то.что.внутри.функции.мы.достаточно.аккуратно.объявляем.эту.версию.i.как.локальную.функцию..Вы..до- веряете.этой.функции?.Измените.здесь.j.на.i.и.проверьте,.работает.ли.цикл.(а.он.работает)..Затем.попробуйте.удалить.локальное.объявление.и.проверить,.успеш- но.ли.завершится.цикл. 124 Часть II • Защитные операции с использованием bashТакой.подход.с.двумя.массивами.имеет.одно.преимущество..Используя.числовой.индекс.для.хранения.метки.и.данных,.можно.получить.их.в.том.порядке,.в.котором.они.были.прочитаны.—.в.числовом.порядке.индекса.Теперь,.извлекая.соответствующие.поля.из.access.log.и.перенося.результаты.в.summer.sh,.а.затем.—.в.histogram.sh,.можно.наглядно.увидеть,.какие.хосты.пере- дали.наибольшее.количество.байтов:$ cut -d' ' -f1,10 access.log | bash summer.sh | bash histogram.sh192.168.0.36 ##################################################192.168.0.37 #############################192.168.0.11 #############################192.168.0.14 ################################192.168.0.26 #######Хотя.данный.подход.может.показаться.не.столь.эффективным.для.небольшого.объ- ема.выборочных.данных,.возможность.визуализации.имеет.неоценимое.значение.при.рассмотрении.более.крупных.наборов.данных.Помимо.количества.байтов,.передаваемых.через.IP-адрес.или.хост,.часто.ин- тересно.просмотреть.данные,.отсортированные.по.дате.и.времени..Для.этого.можно.использовать.сценарий.summer.sh,.но.из-за.формата.файла.access.log,.прежде.чем.передать.его.в.сценарий,.его.нужно.дополнительно.обработать..Если.для.извлечения.переданных.полей.с.датой/временем.и.байтов.используется.команда.cut,.остаются.данные,.которые.могут.вызвать.некоторые.проблемы.для.сценария:$ cut -d' ' -f4,10 access.log[12/Nov/2017:15:52:59 2377[12/Nov/2017:15:52:59 4529[12/Nov/2017:15:52:59 1112Как.видно.из.этого.вывода,.необработанные.данные.начинаются.с.символа.[Из-за.него.в.сценарии.появляется.проблема,.так.как.он.обозначает.начало.массива.в.bash..Чтобы.эту.проблему.устранить,.можно.использовать.дополнительную.ите- рацию.команды.cut.с.параметром.-c2,.с.помощью.которого.символ.будет.удален..Этот.параметр.указывает.команде.cut.извлекать.данные.по.символам,.начиная.с.позиции.2.и.переходя.к.концу.строки.(-)..Вот.исправленный.вывод.с.удаленной.квадратной.скобкой:$ cut -d' ' -f4,10 access.log | cut -c2-12/Nov/2017:15:52:59 2377 12/Nov/2017:15:52:59 4529 12/Nov/2017:15:52:59 1112 Глава 7. Анализ данных 125Вместо того чтобы второй раз использовать команду cut, можно добавить команду tr. Параметр -d удаляет указанный символ — в данном случае квадратную скобку.cut -d' ' -f4,10 access.log | tr -d '['Необходимо.также.определить.способ.группирования.данных,.связанных.с.датами:.по.дню,.месяцу,.году,.часу.и.т..д..Для.этого.можно.просто.изменить.параметр.для.второй.итерации.команды.cut..В.табл..7.3.показаны.параметры.команды.cut,.кото- рые.используются.для.извлечения.различных.форм.поля.даты/времени..Обратите.внимание,.что.эти.параметры.предназначены.для.файлов.журнала.Apache.Таблица 7.3. Извлечение поля даты/времени журнала ApacheИзвлечение даты/времени Образец выводаПараметры команды cut Дата/время.12/Nov/2017:19:26:09-c2-Месяц,.день.и.год12/Nov/2017-c2-12,22-Месяц.и.годNov/2017-c5-12,22-Полное.время19:26:04-c14-Час19-c14-15,22-Год2017-c9-12,22-Сценарий.histogram.sh.может.быть.особенно.полезен.при.просмотре.данных,.свя- занных.с.датами..Например,.если.в.организации.имеется.внутренний.веб-сервер,.доступ.к.которому.осуществляется.только.в.рабочее.время.с.09:00.до.17:00,.можно.с.помощью.такой.гистограммы.ежедневно.просматривать.файл.журнала.сервера,.чтобы.проверить,.имеются.ли.всплески.активности.после.обычного.рабочего.дня..Большие.всплески.активности.или.передача.данных.вне.обычного.рабочего.вре- мени.может.свидетельствовать.об.эксфильтрации.со.стороны.злоумышленника..При.обнаружении.каких-либо.аномалий.можно.отфильтровать.данные.по.конкрет- ной.дате.и.времени.и.проверять.доступ.к.странице,.чтобы.определить,.является.ли.действие.вредоносным.Например,.если.требуется.просмотреть.гистограмму.общего.объема.данных,.полу- ченных.в.определенный.день.за.каждый.час,.можно.выполнить.следующую.команду:$ awk '$4 "12/Nov/2017" {print $0}' access.log | cut -d' ' -f4,10 |cut -c14-15,22- | bash summer.sh | bash histogram.sh17 ##16 ###########15 ############19 ##18 ################################################## 126 Часть II • Защитные операции с использованием bashЗдесь.файл.access.log.пересылается.с.помощью.команды.awk.для.извлечения.запи.сей.с.определенной.датой..Обратите.внимание.на.использование.вместо.сим- волов.==.оператора.подобия.(),.поскольку.поле.4.также.содержит.информацию.о.времени..Эти.записи.передаются.команде.cut.сначала.для.извлечения.полей.даты/времени.и.переданных.байтов,.а.затем.для.извлечения.данных.о.времени..После.этого.с.помощью.сценария.summer.sh.данные.суммируются.по.времени.(часам).и.с.помощью.histogram.sh.преобразуются.в.гистограмму..Результатом.ста- новится.гистограмма,.которая.отображает.общее.количество.байтов,.передаваемых.каждый.час.12.ноября.2017.года.Чтобы получить вывод в числовом порядке, передайте его из сценария гистограммы команде sort -n. Зачем нужна сортировка? Сценарии summer.sh и histogram.sh, просматривая список индексов своих ассоциативных массивов, генерируют свои выходные данные. Поэтому их вывод вряд ли будет осмысленным (скорее данные будут выведены в порядке, определяемом внутренним алгоритмом хеширования). Если это объяснение оставило вас равнодушными, просто проигнорируйте его и не забудьте использовать сортировку на выходе.Если вы хотите, чтобы вывод был упорядочен по объему данных, вам нужно будет добавить сортировку между двумя сценариями. Необходимо также использовать histogram_plain.sh — версию сценария гистограммы, в которой не применяются ассоциативные массивы.Поиск уникальности в данныхРанее.IP-адрес.192.168.0.37.был.идентифицирован.как.система,.которая.имела.наибольшее.количество.запросов.страницы..Следующий.логический.вопрос:.ка- кие.страницы.запрашивала.эта.система?.Ответив.на.него,.можно.получить.пред- ставление.о.том,.что.система.делала.на.сервере,.и.классифицировать.это.действие.как.безопасное,.подозрительное.или.вредоносное..Для.этого.можно.использовать.команду.awk.и.cut.и.передать.вывод.в.countem.sh:$ awk '$1 == "192.168.0.37" {print $0}' access.log | cut -d' ' -f7 |bash countem.sh | sort -rn | head -5 14 /files/theme/plugin49c2.js?1490908488 14 /files/theme/mobile49c2.js?1490908488 14 /files/theme/custom49c2.js?1490908488 14 /files/main_styleaf0e.css?1509483497 3 /consulting.htmlХотя.извлечение.и.обрезка.данных.могут.быть.реализованы.путем.конвейерной.передачи.команд.и.сценариев,.для.этого.потребуется.передавать.данные.несколько.раз..Такой.метод.можно.применить.ко.многим.наборам.данных,.но.он.не.подходит. Глава 7. Анализ данных 127для.очень.больших.наборов..Метод.можно.оптимизировать,.написав.сценарий.bash,.специально.разработанный.для.извлечения.и.подсчета.количества.доступов.к.страницам,.—.для.этого.требуется.только.один.проход.данных..В.примере.7.8.по- казан.такой.сценарий.Пример 7.8. pagereq.sh# Bash и кибербезопасность# pagereq.sh## Описание:# Подсчет с помощью bash количества запросов страниц для данного IP-адреса## Использование:# pagereq < inputfile# IP-адрес для поиска#declare -A cnt while read addr d1 d2 datim gmtoff getr page therest do if [[ $1 == $addr ]] ; then let cnt[$page]+=1 ; fi done for id in ${!cnt[@]} do printf "%8d %s\n" ${cnt[$id]} $id done.Мы.объявляем.cnt.как.ассоциативный.массив.и.в.качестве.индекса.можем.ис- пользовать.строку..В.данной.программе.в.качестве.индекса.мы.будем.использовать.адрес.страницы.(URL)..${!cnt[@]}.выводит.список.всех.значений.индекса,.которые.были.обнаружены..Обратите.внимание:.они.не.будут.перечислены.в.удобном.порядке.В.ранних.версиях.bash.ассоциативных.массивов.нет..Подсчитать.количество.раз- личных.запросов.страниц.с.определенного.IP-адреса.вы.можете.с.помощью.коман- ды.awk,.потому.что.в.ней.есть.ассоциативные.массивы.(пример.7.9).Пример 7.9. pageref.awk# Bash и кибербезопасность# pagereq.awk## Описание:# Подсчет количества запросов страниц для данного IP-адреса с помощью awk## Использование:# pagereq < inputfile# IP-адрес для поиска# 128 Часть II • Защитные операции с использованием bash# подсчитать количество запросов страниц с адреса ($1)awk -v page="$1" '{ if ($1==page) {cnt[$7]+=1 } } END { for (id in cnt) {  printf "%8d %s\n", cnt[id], id }}'.В.этой.строке.есть.две.переменные.$1,.разница.между.которыми.очень.большая..Первая.переменная.$1.является.переменной.оболочки.и.ссылается.на.первый.аргумент,.предоставленный.этому.сценарию.при.его.вызове..Вторая.переменная.$1.—.это.awk..В.каждой.строке.эта.переменная.относится.к.первому.полю.ввода..Первая.переменная.$1.была.назначена.странице.переменной.awk,.чтобы.ее.можно.было.сравнить.с.каждой.переменной.$1awk.(то.есть.с.каждым.первым.полем.вход- ных.данных)..Простой.синтаксис.приводит.к.тому,.что.переменная.id.перебирает.значения.индекса.в.массиве.cnt..Это.гораздо.более.простой.синтаксис,.чем.синтаксис.обо- лочки."${!cnt[@]}",.но.такой.же.эффективный.Можно.запустить.сценарий.pagereq.sh,.указав.IP-адрес,.который.требуется.найти.и.перенаправить.access.log.в.качестве.входных.данных:$ bash pagereq.sh 192.168.0.37 < access.log | sort -rn | head -5 14 /files/theme/plugin49c2.js?1490908488 14 /files/theme/mobile49c2.js?1490908488 14 /files/theme/custom49c2.js?1490908488 14 /files/main_styleaf0e.css?1509483497 3 /consulting.htmlВыявление аномалий в данныхВ.Интернете.строка агента пользователя.представляет.собой.небольшой.фраг- мент.текстовой.информации,.отправляемый.браузером.на.веб-сервер,.который.идентифицирует.операционную.систему.клиента,.тип.браузера,.версию.и.другую.информацию..Обычно.используется.веб-серверами.для.обеспечения.совместимости.страниц.с.браузером.пользователя..Вот.пример.такой.строки:Mozilla/5.0 (Windows NT 6.3; Win64; x64; rv:59.0) Gecko/20100101 Firefox/59.0Эта.строка.идентифицирует.систему.как.Windows.NT.версии.6.3.(она.же.Windows.8.1).с.64-разрядной.архитектурой.и.с.браузером.Firefox.Строка.агента.пользователя.может.нас.заинтересовать.по.двум.причинам..Во- первых,.значительный.объем.информации,.которую.эта.строка.передает,.можно.применять.для.идентификации.типов.систем.и.браузеров,.обращающихся.к.сер- Глава 7. Анализ данных 129веру..Во-вторых,.эта.строка.настраивается.конечным.пользователем.и.может.быть.использована.для.идентификации.систем,.в.которых.не.установлен.стандартный.браузер.или.вообще.нет.браузера.(то.есть.поисковых.роботов.(web.crawler)).Вы.можете.определить.необычные.пользовательские.агенты,.предварительно.со- ставив.список.известных.безопасных.пользовательских.агентов..Для.этого.упраж- нения.мы.используем.очень.маленький.список.браузеров,.которые.не.являются.специфичными.для.конкретной.версии.(пример.7.10).Пример 7.10. useragents.txtFirefoxChromeSafariEdgeСписок популярных пользовательских агентов можно найти по адресу http://bit.ly/2WugjXl.Затем.вы.можете.прочитать.журнал.веб-сервера.и.сравнить.каждую.строку.со.списком.популярных.пользовательских.агентов.(браузеров),.пока.не.будет.по- лучено.совпадение..Если.совпадения.не.будет,.строка.должна.рассматриваться.как.аномалия.и.печататься.в.стандартном.выводе.вместе.с.IP-адресом.системы,.выполняющей.запрос..Такое.сравнение.дает.нам.дополнительную.информацию,.связанную.с.рассматриваемыми.данными,.—.с.ее.помощью.мы.сможем.идентифи- цировать.систему.с.необычным.пользовательским.агентом.и.получим.еще.один.путь.для.дальнейшего.изучения.Пример 7.11. useragents.sh#!/bin/bash -## Bash и кибербезопасность# useragents.sh## Описание:# Чтение журнала и поиск неизвестных пользовательских агентов## Использование: ./useragents.sh < # Журнал веб-сервера Apache## несовпадение — поиск по массиву известных имен# возвращает 1 (false), если совпадение найдено# возвращает 0 (true), если совпадений нет 130 Часть II • Защитные операции с использованием bash function mismatch () { local -i i  for ((i=0; i<$KNSIZE; i++)) do [[ "$1" = .*${KNOWN[$i]}.* ]] && return 1  done return 0}readarray -t KNOWN < "useragents.txt" KNSIZE=${#KNOWN[@]} # предварительная обработка лог-файла (stdin),# чтобы выбрать IP-адреса и пользовательские агенты awk -F'"' '{print $1, $6}' | \while read ipaddr dash1 dash2 dtstamp delta useragent do if mismatch "$useragent" then echo "anomaly: $ipaddr $useragent" fi done.Сценарий.будет.основан.на.функции.несовпадения..Если.обнаружится.несоот- ветствие,.будет.возвращено.значение.success.или.true..Это.значит,.что.совпадение.со.списком.известных.пользовательских.агентов.не.найдено..Данная.логика.может.показаться.нестандартной,.но.так.удобнее.читать.оператор.if,.содержащий.вызов.mismatch.Объявление.нашего.цикла.for.в.качестве.локальной.переменной.—.хорошая.идея..Данный.шаг.в.сценарии.не.является.обязательным..Здесь.представлены.две.строки.для.сравнения:.входные.данные.из.файла.журна- ла.и.строка.из.списка.известных.пользовательских.агентов..Для.гибкого.сравнения.используется.оператор.сравнения.регулярных.выражений.(the=)..Значение..*(ноль.или.более.вхождений.любого.символа),.размещенное.по.обе.стороны.ссылки.массива.$KNOWN,.говорит.о.том,.что.совпадение.известной.строки.может.быть.най- дено.в.любом.месте.другой.строки..Каждая.строка.файла.добавляется.как.элемент.к.указанному.имени.массива..Это.дает.нам.массив.известных.пользовательских.агентов..В.bash.существует.два.способа.добавить.строки.к.массиву:.использовать.либо.readarray,.как.сделано.в.этом.примере,.либо.mapfile..Опция.-t.удаляет.завершающий.символ.новой.строки.из.каждой.прочитанной.строки..Здесь.указан.файл,.содержащий.список.известных.пользовательских.агентов;.при.необходимости.его.можно.изменить. Глава 7. Анализ данных 131.Здесь.вычисляется.размер.массива..Полученное.значение.используется.внутри.функции.mismatch.для.циклического.перебора.массива..Вне.нашего.цикла.мы.вы- числяем.его.один.раз,.чтобы.при.каждом.вызове.функции.избежать.повторного.вычисления..Входная.строка.представляет.собой.сложное.сочетание.слов.и.кавычек..Чтобы.захватить.строку.агента.пользователя,.в.качестве.разделителя.полей.мы.указы- ваем.двойные.кавычки..Однако.это.означает,.что.наше.первое.поле.содержит.больше.чем.просто.IP-адрес..Используя.команду.read.для.получения.IP-адреса,.мы.можем.проанализировать.пробелы..Последний.аргумент.read.принимает.все.оставшиеся.слова,.чтобы.можно.было.захватить.все.слова.строки.пользователь- ского.агента.При.запуске.сценария.useragents.sh.будут.выведены.любые.строки.пользователь- ского.агента,.не.найденные.в.файле.useragents.txt:$ bash useragents.sh < access.log anomaly: 192.168.0.36 Mozilla/4.5 (compatible; HTTrack 3.0x; Windows 98)anomaly: 192.168.0.36 Mozilla/4.5 (compatible; HTTrack 3.0x; Windows 98)anomaly: 192.168.0.36 Mozilla/4.5 (compatible; HTTrack 3.0x; Windows 98)anomaly: 192.168.0.36 Mozilla/4.5 (compatible; HTTrack 3.0x; Windows 98)anomaly: 192.168.0.36 Mozilla/4.5 (compatible; HTTrack 3.0x; Windows 98)ВыводыВ.этой.главе.мы.рассмотрели.методы.статистического.анализа.для.выявления.необычной.и.аномальной.активности.в.файлах.журналов..Такой.анализ.даст.вам.представление.о.том,.что.происходило.ранее..В.следующей.главе.мы.рассмотрим,.как.анализировать.файлы.журналов.и.другие.данные,.чтобы.понять,.что.происходит.в.системе.в.режиме.реального.времени.Упражнения1.. В.следующем.примере.для.печати.первого.и.десятого.полей.файла.access.log используется.команда.cut:$ cut -d' ' -f1,10 access.log | bash summer.sh | sort -k 2.1 -rn 1   ...   8   9   10   11   12   13   14   15   ...   23

162 Часть II • Защитные операции с использованием bashСимвол.>.определяет.строки,.уникальные.для.filelist.txt,.которые.в.этом.случае.будут.именами.добавленных.файлов..Символ.<.показывает.строки,.находящиеся.только.в.первом.файле.(baseline.txt),.которые.в.данном.случае.являются.именами.удаленных.файлов..Символ.|.обозначает.строки,.отличающиеся.в.двух.файлах..Это.может.быть.переименованный.файл..Возможно,.один.файл.был.удален.и.в.эту.позицию.был.добавлен.новый.файл.Шаг 3. Автоматизация и уведомлениеВы.можете.автоматизировать.предыдущие.процессы,.позволяющие.собрать.и.про- верить.базовые.показатели.системы,.чтобы.с.помощью.bash.сделать.их.более.эф- фективными.и.полнофункциональными..Вывод.этого.сценария.bash.представлен.в.формате.XML.и.содержит.следующие.теги:..(который.будет.иметь.атрибуты.host.и.dir),.,.,..и...Тег.будет.иметь.атрибут.orig,.чтобы.можно.было.указать.предыдущее.местоположение.файла.(пример.10.3).Пример 10.3. baseline.sh#!/bin/bash -## Bash и кибербезопасность# baseline.sh## Описание:# Создает базовый файл или сравнивает текущее состояние# файловой системы с предыдущим базовым файлом## Использование: ./baseline.sh [-d path] []# -d Стартовый каталог для базового файла# Если указан только один файл, создать новый базовый файл# [] Предыдущий базовый файл для сравнения#function usageErr (){ echo 'usage: baseline.sh [-d path] file1 [file2]' echo 'creates or compares a baseline from path' echo 'default for path is /' exit 2} >&2 function dosumming (){ Глава 10. Инструмент: контроль файловой системы 163 find "${DIR[@]}" -type f | xargs -d '\n' sha1sum }function parseArgs (){ while getopts "d:" MYOPT  do # не проверяется MYOPT, так как существует только один вариант DIR+=( "$OPTARG" )  done shift $((OPTIND-1))  # нет аргументов? слишком много? (( $# == 0 || $# > 2 )) && usageErr (( ${#DIR[*]} == 0 )) && DIR=( "/" ) }declare -a DIR# создайте базовый файл (предоставляется только одно имя файла)# либо сделайте вторичные краткие выводы (при наличии двух имен файлов)parseArgsBASE="$1"B2ND="$2"if (( $# == 1 )) # только один аргумент then # создание "$BASE" dosumming > "$BASE" # все сделано для базового файла exit fi if [[ ! -r "$BASE" ]]then usageErr fi# если второй файл существует, сравнить оба файла# иначе создать/заполнить его if [[ ! -e "$B2ND" ]]then echo creating "$B2ND" dosumming > "$B2ND"fi 164 Часть II • Защитные операции с использованием bash# что мы имеем: создано два файла sha1sum declare -A BYPATH BYHASH INUSE # ассоциативные массивы# в качестве базового загрузите первый файл while read HNUM FNdo BYPATH["$FN"]=$HNUM BYHASH[$HNUM]="$FN" INUSE["$FN"]="X"done < "$BASE"# ------ теперь начинаем вывод# смотрим, есть ли каждое имя файла, указанное во втором файле,# по такому же месторасположению (пути), что и в первом (базовом файле)printf '\n' "$HOSTNAME" "${DIR[*]}"while read HNUM FN do WASHASH="${BYPATH[${FN}]}" # нашел ли он его? если нет, то это будет null if [[ -z $WASHASH ]] then ALTFN="${BYHASH[$HNUM]}" if [[ -z $ALTFN ]] then printf ' %s\n' "$FN" else printf ' %s\n' "$ALTFN" "$FN" INUSE["$ALTFN"]='_' # пометить как просмотренное fi else INUSE["$FN"]='_' # пометить как просмотренное if [[ $HNUM == $WASHASH ]] then continue; # ничего не изменилось; else printf ' %s\n' "$FN" fi fi done < "$B2ND" for FN in "${!INUSE[@]}"do if [[ "${INUSE[$FN]}" == 'X' ]] then printf ' %s\n' "$FN" fi done printf '\n' Глава 10. Инструмент: контроль файловой системы 165.В.этой.функции.весь.вывод.stdout.перенаправляется.в.stderr..Таким.образом,.нам.не.нужно.задавать.перенаправление.для.каждого.оператора.echo..Мы.отправляем.вывод.в.stderr,.потому.что.это.не.предполагаемый.вывод.программы,.а.просто.со- общения.об.ошибках..Данная.функция.выполняет.основную.работу.по.созданию.sha1sum.для.всех.фай- лов.в.указанных.каталогах..Программа.xargs.выведет.столько.имен.файлов,.сколько.может.поместиться.в.командной.строке.команды.sha1sum..Это.позволяет.избежать.необходимости.каждый.раз.отдельно.вызывать.sha1sum.для.каждого.файла.(вызов.sha1sum.для.всех.файлов.сильно.замедлит.работу.программы)..Вместо.этого.при.каждом.вызове.sha1sum.обрабатывает.1000.или.более.имен.файлов..Для.поиска.параметра.-d.со.связанным.с.ним.аргументом.(обозначенным.:).ис- пользуем.встроенный.цикл.getopts..Для.получения.дополнительной.информации.о.getopts.см..пример.5.4..Поскольку.нам.требуется.разрешить.указывать.несколько.каталогов,.мы.добав- ляем.каждый.каталог.в.массив.DIR.После.завершения.цикла.getopts.нам.нужно.настроить.количество.аргументов..Чтобы.избавиться.от.аргументов,.которые.были.«использованы».getopts,.при- меняем.shift.Если.каталоги.не.указаны,.то.по.умолчанию.данные.расположены.в.корне.фай- ловой.системы..Если.для.выполнения.данной.операции.ваших.прав.доступа.будет.достаточно,.все.файлы.окажутся.в.файловой.системе..Эта.строка.считывает.значение.хеша.и.имя.файла..Но.откуда.эти.данные.считы- ваются,.если.нет.конвейера.команд,.передающих.данные.на.чтение?.Ответ.можно.найти.в.конце.цикла.while.Вот.ответ,.указывающий.на.источник.данных..Помещая.перенаправление.в.оператор.while/do/done,.вы.в.этом.цикле.перенаправляете.все.операторы.в.stdin.(в.данном.случае)..Для.нашего.сценария.это.означает,.что.оператор.read.получает.входные.данные.из.файла,.указанного.в.$B2NDВот.результат.выполнения.примера:$ bash baseline.sh -d . baseline.txt baseln2.txt  ./analyze/Project1/fd2.bck  ./analyze/Project1/farm2.sh  ./caveat.sample.ch  ./x.x  166 Часть II • Защитные операции с использованием bash.Этот.тег.определяет.хост.и.относительный.путь..Данный.тег.идентифицирует.новый.файл,.созданный.после.созания.исходного.базового.файла..Данный.файл.после.создания.базового.файла.был.перемещен.в.новое.место..После.создания.базового.файла.содержимое.файла.изменилось..После.создания.базового.файла.этот.файл.был.удален.ВыводыСоздание.базового.файла.и.периодическая.его.проверка.—.это.эффективный.способ.выявления.подозрительного.поведения.в.ваших.системах..Это.особенно.полезно.для.систем,.состояние.которых.редко.изменяется.В.следующей.главе.мы.подробнее.разберем,.как.использовать.командную.строку.и.bash.для.анализа.отдельных.файлов,.чтобы.определить,.являются.ли.они.вредо- носными.Упражнения1.. Улучшите.для.baseline.sh.пользовательский.интерфейс,.предотвратив.случай- ную.перезапись.базового.файла..Как?.Если.пользователь.указывает.только.один.файл,.проверьте,.существует.ли.этот.файл..Если.это.так,.спросите.пользователя,.можно.ли.перезаписать.файл,.и.в.зависимости.от.ответа.выберите.один.из.ва- риантов:.продолжить.или.выйти.2.. Измените.сценарий.baseline.sh.следующим.образом:.напишите.функцию.обо- лочки.для.преобразования.записей.в.массиве.DIR.в.абсолютные.пути..Вызовите.эту.функцию.непосредственно.перед.печатью.XML,.чтобы.тег.filesystem в.атрибуте.dir.перечислял.абсолютные.пути.3.. Измените.сценарий.baseline.sh.следующим.образом:.для.тега.relocated.про- верьте,.находятся.ли.исходный.и.перемещенный.файл.в.одном.каталоге.(то.есть.имеют.одно.и.то.же.имя.каталога);.если.это.так,.выведите.только.basename в.атрибуте.orig=""..Например,.то,.что.печаталось.так:./ProjectAA/farm2.shбудет.выводиться.таким.образом:./ProjectAA/farm2.sh Глава 10. Инструмент: контроль файловой системы 1674.. Как.можно.изменить.сценарий.baseline.sh,.чтобы.для.ускорения.его.работы.запустить.параллельные.друг.другу.процессы?.Реализуйте.свои.идеи.для.парал- лельного.запуска.процессов.сценария.baseline.sh,.которые.позволят.повысить.производительность..Если.поместить.часть.сценария.в.фоновый.режим,.как.перед.продолжением.работы.выполнить.повторную.синхронизацию?.Чтобы.просмотреть.дополнительные.ресурсы.и.получить.ответы.на.эти.вопросы,.зайдите.на.сайт.https://www.rapidcyberops.com/ 11Анализ вредоносных программОбнаружение.вредоносного.кода.—.это.основное.и.самое.сложное.действие.при.обеспечении.кибербезопасности..При.анализе.фрагмента.кода.вы.можете.исполь- зовать.два.основных.варианта:.статический.и.динамический..Во.время.статического.анализа.вы.анализируете.сам.код,.чтобы.определить,.существуют.ли.признаки.вре- доносной.активности..Во.время.динамического.анализа.вы.выполняете.код,.а.затем.смотрите,.что.он.делает.и.как.влияет.на.систему..В.этой.главе.мы.сосредоточимся.на.методах.статического.анализа.При работе с потенциально вредоносными файлами обязательно выполните анализ системы, не подключенной к сети и не содержащей конфиденциальной информации. После этого предположите, что система заражена, и, прежде чем вводить ее обратно в сеть, полностью очистите и восстановите систему.Используемые командыВ.этой.главе.мы.рассмотрим.команду.curl,.которая.позволяет.взаимодействовать.с.сайтами,.команду.vi.для.редактирования.файлов.и.команду.xxd.для.выполнения.базовых.преобразований.и.анализа.файлов.curlКоманду.curl.можно.использовать.для.передачи.данных.по.сети.между.клиентом.и.сервером..Команда.поддерживает.несколько.протоколов,.включая.HTTP,.HTTPS,.FTP,.SFTP.и.Telnet..Это.универсальная.команда..Представленные.ниже.параме- тры.предлагают.лишь.небольшую.часть.доступных.возможностей..Для.получения.дополнительной.информации.относительно.этой.команды.не.забудьте.посетить.соответствующую.страницу.руководства.Linux. Глава 11. Анализ вредоносных программ 169Общие параметры команды‰‰ -А.—.для.отправки.на.сервер.указать.строку.агента.пользователя.HTTP.‰‰ -d.—.данные.для.отправки.с.запросом.HTTP.POST.‰‰ -G.—.использовать.для.отправки.данных.запрос.HTTP.GET,.а.не.POST.‰‰ -I.—.получить.только.заголовок.протокола.(HTTP,.FTP).‰‰ -L.—.следовать.за.перенаправлениями.‰‰ -s.—.не.показывать.индикатор.выполнения.или.сообщения.об.ошибках.Пример командыЧтобы.получить.стандартную.веб-страницу,.в.качестве.первого.аргумента.нужно.передать.только.URL-адрес..По.умолчанию.curl.отображает.содержимое.веб- страницы.в.стандартном.режиме..Вы.можете.перенаправить.вывод.в.файл,.исполь- зуя.перенаправление.и.параметр.-o:curl https://www.digadel.comНе знаете, куда указывает потенциально опасный сокращенный URL? Разверните его с помощью curl:curl -ILs http://bitly.com/1k5eYPw | grep '^Location:'viКоманда.vi.—.это.не.типичная.команда,.а.полнофункциональный.текстовый.редактор.командной.строки..Он.обладает.широкими.возможностями.и.даже.под- держивает.плагины.Пример командыЧтобы.открыть.файл.somefile.txt.в.vi,.выполните.команду:vi somefile.txtНаходясь.в.среде.vi,.нажмите.клавишу.Esc,.а.затем,.чтобы.войти.в.режим.вставки.и.отредактировать.текст,.введите.i..Для.выхода.из.режима.вставки.нажмите.EscДля.перехода.в.командный.режим.нажмите.клавишу.Esc..Вы.можете.ввести.одну.из.команд,.приведенных.в.табл..11.1,.и,.чтобы.она.вступила.в.силу,.нажать.кла- вишу.Enter 170 Часть II • Защитные операции с использованием bashТаблица 11.1. Общие команды viКомандаНазначениеbОдно.слово.назад ccЗаменить.текущую.строку cwЗаменить.текущее.слово dwУдалить.текущее.слово ddУдалить.текущую.строку:wЗаписать/сохранить.файл:w.filenameЗаписать/сохранить.файл.с.именем.filename:q!Выйти.без.сохраненияZZСохранить.и.выйти:set.numberПоказать.номера.строк/Поиск.вперед?Поиск.в.обратном.направлении nНайти.следующее.вхождениеПолный.обзор.vi.выходит.за.рамки.этой.книги..Для.получения.дополнительной.информации.вы.можете.посетить.страницу.редактора.Vim.(https://www.vim.org/).xxdКоманда.xxd.выводит.на.экран.файл.в.двоичном.или.шестнадцатеричном.формате.Общие параметры команды‰‰ -b.—.отобразить.файл.с.использованием.двоичного,.а.не.шестнадцатеричного.формата.‰‰ -l.—.вывести.количество.байт.двоичного.или.шестнадцатеричного.файла.‰‰ -s.—.начать.печать.с.позиции.байта.n.Пример командыДля.отображения.файла.somefile.txt.начать.печать.с.35-го.байта.и.распечатать.следующие.50.байт:xxd -s 35 -l 50 somefile.txt Глава 11. Анализ вредоносных программ 171Реверс-инжинирингПодробности.того,.как.выполнить.реверс-инжиниринг.(reverse-engineering).дво- ичного.кода,.выходят.за.рамки.этой.книги..Тем.не.менее.мы.рассмотрим,.как.ис- пользовать.стандартную.командную.строку.для.проведения.реверс-инжиниринга..Описанные.методы.анализа.с.помощью.командной.строки.не.заменяют.такие.ин- струменты,.как.IDA.Pro.или.OllyDbg;.они.скорее.предназначены.для.расширения.возможностей.этих.инструментов.или.для.предоставления.некоторого.недоступ- ного.ранее.функционала.Подробную информацию об анализе вредоносных программ см. в книге «Вскрытие покажет! Практический анализ вредоносного ПО» Майкла Сикорски и Эндрю Хо- нига (Питер, 2018). Дополнительную информацию о компании IDA Pro вы найдете в книге Криса Игла (Chris Eagle) The IDA Pro Book (No Starch Press).Шестнадцатеричные, десятичные, двоичные и ASCII-преобразованияПри.анализе.файлов.важно.иметь.возможность.их.простого.перекодирования.из.десятичного.формата.в.шестнадцатеричный.или.ASCII.и.наоборот..К.счастью,.это.можно.легко.сделать.из.командной.строки..Например,.возьмем.шестнадцатерич- ное.значение.0x41..Можно.использовать.команду.printf.для.его.преобразования.в.десятичный.формат.с.помощью.строки.формата."%d":$ printf "%d" 0x41 65Чтобы.преобразовать.десятичное.число.обратно.в.шестнадцатеричное,.замените.символы,.определяющие.формат,.на.%x:$ printf "%x" 65 41Чтобы.преобразовать.из.ASCII.в.шестнадцатеричный,.можно.передать.символ.из.команды.printf.в.команду.xxd:$ printf 'A' | xxd00000000: 41 172 Часть II • Защитные операции с использованием bashДля.преобразования.шестнадцатеричного.кода.в.ASCII.используйте.команду.xxd с.параметром.-r:$ printf 0x41 | xxd –rAЧтобы.преобразовать.из.ASCII.в.двоичный.код,.вы.можете.передать.символ.в.xxd и.использовать.параметр.-b:$ printf 'A' | xxd –b00000000: 01000001В показанных примерах вместо команды echo умышленно используется команда printf. Это объясняется тем, что команда echo автоматически добавляет в вывод лишний символ. Его можно увидеть здесь:$ echo 'A' | xxd00000000: 410aДалее.рассмотрим.команду.xxd.и.способы.ее.использования.для.анализа.файла..Для.примера.проанализируем.исполняемый.файл.Анализ с помощью xxdДля.изучения.функциональности.команды.xxd.возьмем.исполняемый.файл.helloworldИсходный.код.показан.в.примере.11.1..Файл.helloworld.компилируется.для.Linux.в.Executable.and.Linkable.Format.(ELF).—.формат.исполняемых.и.компонуемых.моду- лей..Компиляция.производится.с.помощью.компилятора.GNU.C.Compiler.(GCC).Пример 11.1. helloworld.c#include int main(){ printf("Hello World!\n"); return 0;}Команда.xxd.может.использоваться.для.проверки.любой.части.исполняемого.файла..В.качестве.примера.можно.посмотреть.магическое.число.файла,.которое.начинается.с.позиции.0x00.и.имеет.размер.4.байта..Чтобы.выбрать.начальную.позицию,.используйте.параметр.-s.(если.формат.файла.десятичный)..Для.опре- Глава 11. Анализ вредоносных программ 173деления.количества.возвращаемых.байтов.добавьте.параметр.-l.(для.десятичного.формата)..Начальную.позицию.и.длину.также.можно.указать.в.шестнадцатеричном.формате,.добавив.к.числу.символы.0x.(то.есть.0x2A)..Как.и.ожидалось,.мы.увидели.магическое.число.ELF:$ xxd -s 0 -l 4 helloworld00000000: 7f45 4c46 .ELFПятый.байт.файла.покажет.вам.архитектуру.этого.файла:.является.ли.он.32-раз- рядным.(0x01).или.64-разрядным.(0x02).исполняемым.файлом..В.данном.случае.это.64-разрядный.исполняемый.файл:$ xxd -s 4 -l 1 helloworld00000004: 02Шестой.байт.описывает.порядок.записи.байтов:.little-endian.(от.младшего.к.стар- шему).(0x01).или.big-endian.(от.старшего.к.младшему).(0x02)..В.данном.случае.порядок.записи.байтов.little-endian:$ xxd -s 5 -l 1 helloworld00000005: 01Формат.и.порядок.байтов.—.важная.информация,.используемая.для.анализа.остальной.части.файла..Например,.8.байт.64-битного.файла.ELF,.начинающихся.с.0x20,.определяют.заголовок.программы:$ xxd -s 0x20 -l 8 helloworld00000020: 4000 0000 0000 0000Нам.уже.известно,.что.порядок.записи.нашего.файла.—.little-endian,.поэтому.за- головок.начинается.с.0x40.Эти.данные.мы.можем.использовать.для.отображения.заголовка.программы,.длина.которого.для.64-битного.ELF-файла.должна.составлять.0x38.байт:$ xxd -s 0x40 -l 0x38 helloworld00000040: 0600 0000 0500 0000 4000 0000 0000 0000 ........@.......00000050: 4000 4000 0000 0000 4000 4000 0000 0000 @.@.....@.@.....00000060: f801 0000 0000 0000 f801 0000 0000 0000 ................00000070: 0800 0000 0000 0000Дополнительные.сведения.о.формате.файла.Linux.ELF.можно.найти.в.специфика- ции.Tool.Interface.Standard.(TIS).и.Executable.and.Linking.Format.(ELF).по.адресу.http://bit.ly/2HVOMu7 174 Часть II • Защитные операции с использованием bashДля.получения.дополнительной.информации.о.формате.исполняемых.файлов.Windows.см..документацию.формата.переносимых.исполняемых.файлов.Microsoft:.http://bit.ly/2FDm67sHex-редактор..Иногда.вам.может.потребоваться.отобразить.и.отредактировать.файл.в.шестнадцатеричном.формате..Для.этого.следует.использовать.команду.xxd при.работе.с.редактором.vi..Сначала,.как.обычно,.в.vi.откройте.файл,.который.хотите.отредактировать:vi helloworldОткрыв.файл,.введите.следующую.команду::%!xxdВ.vi.символ.%.представляет.диапазон.адресов.всего.файла,.а.символ.!.можно.ис- пользовать.для.выполнения.команды.оболочки,.заменяя.исходные.строки.выводом.команды..Объединение.этих.двух.символов,.как.показано.в.предыдущей.команде.(:%!xxd),.вызовет.текущий.файл.через.xxd.(или.любую.команду.оболочки).и.оста- вит.результаты.в.vi:00000000: 7f45 4c46 0201 0100 0000 0000 0000 0000 .ELF............00000010: 0200 3e00 0100 0000 3004 4000 0000 0000 ..>.....0.@.....00000020: 4000 0000 0000 0000 efbf bd19 0000 0000 @...............00000030: 0000 0000 0000 4000 3800 0900 4000 1f00 ......@.8...@...00000040: 1c00 0600 0000 0500 0000 4000 0000 0000 ..........@.....После.внесения.изменений.можно.вернуть.файл.в.обычное.состояние.с.помощью.команды.vi:%!xxd-r..По.завершении.запишите.внесенные.изменения.(ZZ)..Конеч- но,.в.любой.момент.можно.просто.выйти.без.записи.внесенных.изменений.(:q!).Чтобы преобразовать загруженный в vi файл в стандарт кодирования Base64, вве- дите :%!Base64. Чтобы преобразовать из Base64 обратно, введите :%!Base64 -d.Извлечение строкОдин.из.основных.методов.анализа.неизвестного.исполняемого.файла.—.извлече- ние.всех.содержащихся.в.файле.строк.ASCII..Из.этих.строк.мы.можем.получить.такие.данные,.как.имена.файлов,.пути,.IP-адреса,.имена.авторов,.информацию. Глава 11. Анализ вредоносных программ 175о.компиляторе,.URL-адреса.и.другую.ценную.информацию.о.функциональности.или.происхождении.программы.Команда.strings.может.извлекать.для.нас.данные.ASCII,.но.по.умолчанию.она.недоступна.для.многих.дистрибутивов,.включая.Git.Bash..Чтобы.решить.эту.про- блему,.можно.воспользоваться.хорошей.командой.egrep:egrep -a -o '\b[[:print:]]{2,}\b' somefile.exeЭто.регулярное.выражение.выполняет.поиск.в.указанном.файле.двух.или.более.(здесь.конструкция.{2,}).печатаемых.символов.в.строке,.которые.отображаются.как.непрерывное.слово..С.помощью.параметра.-а.двоичный.исполняемый.файл.обрабатывается.как.текстовый..Параметр.-o.выводит.только.соответствующий.текст,.а.не.всю.строку,.тем.самым.устраняя.любые.непечатаемые.двоичные.дан- ные..Поиск.осуществляется.по.двум.или.более.символам,.поскольку.одиночные.символы.вполне.вероятны.в.любом.двоичном.байте.и,.таким.образом,.не.являются.значимыми.Чтобы.сделать.вывод.еще.более.чистым,.можно.с.помощью.параметра.-u.отсорти- ровать.результаты,.удалив.при.этом.все.дубликаты:egrep -a -o '\b[[:print:]]{2,}\b' somefile.exe | sort -uВозможно,.было.бы.полезно.отсортировать.строки.по.размеру,.от.самых.длинных.до.самых.коротких,.так.как.наиболее.длинные.строки.чаще.содержат.интересную.информацию..В.исходном.виде.команда.sort.не.предоставляет.возможности.для.выполнения.этой.задачи..В.дополнение.вместе.с.ней.можно.использовать.команду.awk:egrep -a -o '\b[[:print:]]{2,}\b' somefile.exe | awk '{print length(), $0}' | sort -rnuВ.данном.случае.вы.сначала.отправляете.вывод.egrep.в.awk,.чтобы.увеличить.длину,.добавив.символы.в.начале.каждой.строки..Затем.этот.вывод.сортируется.в.обрат- ном.порядке,.а.дубликаты.удаляются.Метод.извлечения.строк.из.исполняемого.файла.имеет.свои.ограничения..Если.стро- ка.не.является.непрерывной,.то.есть.непечатаемые.символы.находятся.между.печатаемыми.символами,.разделяя.их,.то.будет.выводиться.набор.отдельных.сим- волов,.а.не.целая.строка..Иногда.это.просто.артефакт,.полученный.при.создании.исполняемого.файла..Но.разработчики.вредоносных.программ.могут.специально.добавить.непечатаемые.символы,.чтобы.избежать.обнаружения..Для.аналогичной.маскировки.существования.строк.в.двоичном.файле.они.также.могут.использовать.кодировку.или.шифрование. 176 Часть II • Защитные операции с использованием bashВзаимодействие с VirusTotalVirusTotal.—.это.коммерческий.онлайн-инструмент,.который.используется.для.выгрузки.файлов.и.проверки.их.множеством.антивирусных.движков.и.дру- гих.инструментов.статического.анализа,.чтобы.определить,.являются.ли.эти.файлы.вредоносными..VirusTotal.также.может.предоставить.информацию.о.том,.как.часто.конкретный.файл.встречался.и.был.ли.он.ранее.определен.как.вре- доносный..Это.называется.репутацией.файла..Если.файл.ранее.не.встречался.и.поэтому.имеет.низкую.репутацию,.существует.большая.вероятность,.что.он.вредоносный.Будьте осторожны при выгрузке файлов в VirusTotal и подобные сервисы. По- скольку они содержат базы данных всех загруженных файлов, файлы с по- тенциально конфиденциальной или привилегированной информацией никогда не должны загружаться в эти сервисы. Кроме того, при определенных обстоя- тельствах загрузка вредоносных файлов в общедоступные хранилища может предупредить противника о том, что вы определили его присутствие в вашей системе.VirusTotal.предоставляет.API.(интерфейс.прикладного.программирования),.который.с.помощью.curl.можно.использовать.для.взаимодействия.с.сервисом..Для.применения.API.необходимо.иметь.уникальный.ключ..Чтобы.его.получить,.перейдите.на.сайт.VirusTotal.(https://www.virustotal.com/).и.запросите.учетную.запись..После.ее.создания.войдите.в.систему.и.перейдите.в.настройки.учетной.записи,.что- бы.просмотреть.ключ.API..В.этой.книге.из.соображений.безопасности.мы.не.будем.указывать.для.примеров.реальный.ключ.API;.вместо.этого.воспользуемся.текстом.replace withapikey.в.любом.месте,.где.требуется.ключ.API.Полное описание API VirusTotal можно найти в документации VirusTotal: http://bit.ly/2UXvQyB.Поиск в базе данных по хеш-значениюДля.взаимодействия.с.сервисом.VirusTotal.через.Интернет.используется.запрос.на.передачу.репрезентативного.состояния.(Representational.State.Transfer,.REST)..В.табл..11.2.перечислены.некоторые.URL-адреса.REST.для.основных.функций.сканирования.файлов.VirusTotal. Глава 11. Анализ вредоносных программ 177Таблица 11.2. Элементы API VirusTotalОписаниеЗапросить URLПараметрыПолучение.отчета.о.сканировании https://www.virustotal.com/vtapi/v2/file/report apikey,.resource,.allinfoВыгрузка.и.сканирование.файла https://www.virustotal.com/vtapi/v2/file/scan apikey,.fileVirusTotal.хранит.историю.всех.файлов,.которые.ранее.были.загружены.и.проана- лизированы..Чтобы.определить,.есть.ли.отчет.по.этому.файлу,.можно.выполнить.поиск.в.базе.данных.с.помощью.хеша.подозрительного.файла..Это.избавит.вас.от.необходимости.фактически.выгружать.файл..Недостаток.этого.метода.в.том,.что,.если.данный.файл.в.VirusTotal.еще.никто.не.загружал,.отчета.по.нему.не.будет.VirusTotal.принимает.форматы.хешей.MD5,.SHA1.и.SHA256,.которые.можно.ге- нерировать.с.помощью.md5sum,.sha1sum.и.sha256sum.соответственно..После.того.как.вы.сгенерировали.хеш.вашего.файла,.с.помощью.curl.и.запроса.REST.его.можно.отправить.в.VirusTotal.Запрос.REST.находится.в.виде.URL-адреса,.который.начинается.с.https://www.virus- total.com/vtapi/v2/file/report.и.имеет.три.основных.параметра:‰‰ apikey.—.ваш.ключ.API,.полученный.от.VirusTotal;‰‰ resource.—.хеш.файла.MD5,.SHA1.или.SHA256;‰‰ allinfo.—.если.равен.true,.будет.возвращена.дополнительная.информация.от.других.инструментов.В.качестве.примера.возьмем.образец.вредоносного.ПО.WannaCry,.который.имеет.MD5-хеш.db349b97c37d22f5ea1d1841e3c89eb4:curl 'https://www.virustotal.com/vtapi/v2/file/report?apikey=replacewithapikey& resource=db349b97c37d22f5ea1d1841e3c89eb4&allinfo=false > WannaCry_VirusTotal.txtПолученный.ответ.JSON.содержит.список.всех.антивирусных.программ,.в.которых.был.запущен.файл,.и.определение.того,.был.ли.этот.файл.определен.как.вредонос- ный..Здесь.мы.видим.ответы.от.первых.двух.движков,.Bkav.и.MicroWorld-eScan:{"scans": {"Bkav": {"detected": true, "version": "1.3.0.9466", "result": "W32.WannaCrypLTE.Trojan", "update": "20180712"}, "MicroWorld-eScan": {"detected": true, 178 Часть II • Защитные операции с использованием bash "version": "14.0.297.0", "result": "Trojan.Ransom.WannaCryptor.H", "update": "20180712"}Хотя.JSON.отлично.подходит.для.структурирования.данных,.у.людей.при.чтении.могут.возникнуть.трудности..С.помощью.grep.вы.можете.извлечь.некоторые.важ- ные.сведения,.например,.был.ли.файл.определен.как.вредоносный:$ grep -Po '{"detected": true.*?"result":.*?,' Calc_VirusTotal.txt{"detected": true, "version": "1.3.0.9466", "result": "W32.WannaCrypLTE.Trojan",{"detected": true, "version": "14.0.297.0", "result": "Trojan.Ransom.WannaCryptor.H",{"detected": true, "version": "14.00", "result": "Trojan.Mauvaise.SL1",В.grep.параметр.-P.применяется.для.включения.движка.Perl,.который.позволяет.использовать.шаблон..*?.как.ленивый.квантификатор..Этот.ленивый.квантифи- катор.соответствует.только.минимальному.количеству.символов,.необходимых.для.соответствия.всему.регулярному.выражению,.что.позволяет.извлекать.ответ.из.каждого.антивирусного.ядра.по.отдельности,.а.не.из.большой.группы.Хотя.этот.метод.работает,.наилучшее.решение.можно.создать.с.помощью.сценария.bash,.как.показано.в.примере.11.2.Пример 11.2. vtjson.sh#!/bin/bash -## Bash и кибербезопасность# vtjson.sh## Описание:# Поиск вредоносных программ в файле JSON## Использование:# vtjson.awk []# Файл с результатами VirusTotal# по умолчанию: Calc_VirusTotal.txt#RE='^.(.*)...\{.*detect..(.*),..vers.*result....(.*).,..update.*$' FN="${1:-Calc_VirusTotal.txt}"sed -e 's/{"scans": {/&\n /' -e 's/},/&\n/g' "$FN" | while read ALINEdo if [[ $ALINE = $RE ]]  Глава 11. Анализ вредоносных программ 179 then VIRUS="${BASH_REMATCH[1]}"  FOUND="${BASH_REMATCH[2]}" RESLT="${BASH_REMATCH[3]}" if [[ $FOUND = .*true.* ]]  then echo $VIRUS "- result:" $RESLT fi fi done.Это.сложное.регулярное.выражение.(или.RE).ищет.строки,.содержащие.слова.DETECT,.RESULT.и.UPDATE.в.указанной.последовательности..Более.того,.RE.также.на- ходит.в.пределах.любой.строки.три.подстроки,.которые.соответствуют.этим.трем.ключевым.словам..Подстроки.обозначены.круглыми.скобками;.скобок.не.должно.быть.в.строках,.которые.мы.ищем,.—.они.скорее.являются.синтаксисом.RE,.обо- значающим.группировку.Рассмотрим.в.этом.примере.первую.группу..RE.заключено.в.одинарные.кавычки..Здесь.может.быть.много.специальных.символов,.но.нам.не.нужно,.чтобы.они.были.интерпретированы.как.специальные.символы.оболочки;.желательно,.чтобы.они.передавались.буквально.процессору.regex..Следующий.символ,.^,.говорит.о.том,.что.этот.поиск.следует.привязать.к.началу.строки..Символ.«точка».().соответствует.любому.символу.в.строке.ввода..Затем.идет.группа.любых.символов.(),.повторя- ющаяся.любое.количество.раз,.обозначаемое.символом.*Итак,.сколько.символов.потребуется.для.заполнения.этой.первой.группы?.Мы.должны.и.дальше.просматривать.RE,.чтобы.найти.соответствия..То,.что.должно.находиться.после.данной.группы,.—.это.три.символа,.за.которыми.следует.левая.скобка..Итак,.теперь.мы.можем.описать.эту.первую.группировку.как.все.символы,.начиная.со.второго.символа.строки.вплоть.до.трех.символов.перед.левой.скобкой,.но.эти.три.символа.исключаются.Данная.ситуация.похожа.на.ситуацию.с.другими.группами,.местоположение.ко- торых.ограничивается.точками.и.ключевыми.словами..Да,.это.довольно.жесткий.формат,.но.предсказуемый..Данный.сценарий.мог.быть.написан.для.более.гибкой.обработки.формата.ввода.(см..упражнения.в.конце.главы)..Команда.sed.готовит.наши.входные.данные.для.более.легкой.обработки..Она.са- мостоятельно.помещает.в.строку.исходное.ключевое.слово.JSON.scans.и.связанные.с.ним.знаки.пунктуации..Далее.в.конце.каждой.правой.скобки.(с.запятой.после.нее).также.добавляется.символ.новой.строки..В.обоих.выражениях.редактирования.символ.&.в.правой.части.подстановки.представляет.собой.то,.что.было.сопоставлено.с.левой.стороны..Например,.во.второй.замене.амперсанд.является.сокращением.для.правой.скобки.и.запятой. 180 Часть II • Защитные операции с использованием bash.Здесь.используется.регулярное.выражение..Не.задавайте.$RE.внутри.кавычек,.иначе.$RE.будет.соответствовать.таким.специальным.символам,.как.литералы..Чтобы.определить.поведение.регулярного.выражения,.не.заключайте.его.в.кавычки..Если.в.регулярном.выражении.используются.скобки,.они.обозначают.подстроку,.которую.можно.извлечь.из.переменной.массива.оболочки.BASH_REMATCH..Индекс.1.обозначает.первую.подстроку.и.т..д..Это.еще.один.вариант.использования.сопоставления.регулярных.выражений..Мы.ищем.слово.true.в.любом.месте.строки..Здесь.делается.предположение.о.наших.входных.данных:.что.слово.true.не.появляется.ни.в.каком.другом.поле,.кроме.того,.в.котором.мы.ожидаем.его.встретить..Мы.могли.бы.сделать.сопоставление.более.конкретным.(например,.расположив.слово.true.рядом.со.словом.detected),.но.такой.оператор.гораздо.лучше.читается.и.будет.работать.до.тех.пор,.пока.четыре.буквы.t-r-u-e.не.появятся.в.данной.последовательности.в.любом.другом.поле.Для.решения.этой.задачи.не.обязательно.использовать.регулярные.выражения..В.примере.11.3.приводится.решение.с.использованием.awk..Теперь.в.awk.можно.эф- фективно.задействовать.регулярные.выражения,.но.они.вам.здесь.не.нужны.из-за.другой.мощной.функции.awk:.синтаксического.разбора.входных.данных.на.поля.Пример 11.3. vtjson.awk# Bash и кибербезопасность# vtjson.awk## Описание:# Поиск вредоносных программ в файле JSON## Использование:# vtjson.awk # Файл с результатами VirusTotal#FN="${1:-Calc_VirusTotal.txt}"sed -e 's/{"scans": {/&\n /' -e 's/},/&\n/g' "$FN" | awk 'NF == 9 {  COMMA="," QUOTE="\""  if ( $3 == "true" COMMA ) {  VIRUS=$1  gsub(QUOTE, "", VIRUS)  RESLT=$7 gsub(QUOTE, "", RESLT) gsub(COMMA, "", RESLT) Глава 11. Анализ вредоносных программ 181 print VIRUS, "- result:", RESLT }}'.Мы.начинаем.с.той.же.предварительной.обработки.входных.данных,.что.и.в.пре- дыдущем.сценарии..На.этот.раз.передаем.результаты.в.awk.Код.внутри.этих.фигурных.скобок.будет.выполняться.только.для.входных.строк.с.девятью.полями..Мы.устанавливаем.переменные.для.хранения.этих.строковых.констант..Обратите.внимание,.что.мы.не.можем.использовать.одинарные.кавычки.вокруг.одного.симво- ла.двойной.кавычки..Почему?.Потому.что.весь.сценарий.awk.защищен.(от.интерпре- тации.специальных.символов.в.оболочке).одинарными.кавычками.(вернитесь.на.три.строки.назад.или.перейдите.в.конец.этого.сценария)..Вместо.этого.мы.экранируем.двойную.кавычку,.поставив.перед.ней.обратный.слеш..Здесь.третье.поле.входной.строки.сравнивается.со.строкой."true",.поскольку.в.awk.сочетание.строк.подразумевает.конкатенацию..Мы.не.используем.знак.плюс.для.добавления.двух.строк,.как.это.делается.в.некоторых.языках;.мы.просто.ука- зываем.их.рядом.друг.с.другом..Как.и.в.случае.с.$3,.который.используется.в.условии.if,.$1.здесь.относится.к.но- меру.поля.входной.строки.—.первому.слову.ввода..Это.не.переменная.оболочки,.ссылающаяся.на.параметр.сценария..Помните.про.одинарные.кавычки,.в.которые.заключен.этот.сценарий.awk.gsub.—.это.функция.awk,.выполняющая.глобальное.замещение..При.поиске.через.третий.аргумент.она.заменяет.все.вхождения.первого.аргумента.вторым..Поскольку.второй.аргумент.—.это.пустая.строка,.то.из.строки.в.переменной.VIRUS(которой.было.присвоено.значение.первого.поля.строки.ввода).удаляются.все.символы.кавычек.Остальная.часть.сценария,.выполняющая.эти.замены.и.выводящая.результаты,.во.многом.совпадает.с.предыдущим..Помните,.что.в.awk.сценарий.продолжает.читать.stdin.и.выполнять.код.по.одному.разу.для.каждой.строки.ввода.до.его.конца.Сканирование файлаВы.можете.выгрузить.новые.файлы.для.анализа.в.VirusTotal,.если.информа- ции.о.них.еще.нет.в.базе.данных..Для.этого.вам.нужно.отправить.запрос.HTML.POST.на.URL-адрес.https://www.virustotal.com/vtapi/v2/file/scan..Вы.также.должны.предоставить.свой.ключ.API.и.путь.для.выгрузки.файла..Ниже.приведен.пример. 182 Часть II • Защитные операции с использованием bash использования.файла.Windows.calc.exe,.который.обычно.можно.найти.в.каталоге.C:\Windows\System32:curl --request POST --url 'https://www.virustotal.com/vtapi/v2/file/scan' --form 'apikey=replacewithapikey' --form 'file=@/c/Windows/System32/calc.exe'Результаты.после.выгрузки.файла.будут.получены.не.сразу..Возвращается,.напри- мер,.следующий.объект.JSON,.содержащий.метаданные.файла,.который.можно.использовать.для.последующего.получения.отчета.с.применением.идентификатора.сканирования.или.одного.из.значений.хеш-функции:{"scan_id": "5543a258a819524b477dac619efa82b7f42822e3f446c9709fadc25fdff94226-1...","sha1": "7ffebfee4b3c05a0a8731e859bf20ebb0b98b5fa","resource": "5543a258a819524b477dac619efa82b7f42822e3f446c9709fadc25fdff94226","response_code": 1,"sha256": "5543a258a819524b477dac619efa82b7f42822e3f446c9709fadc25fdff94226","permalink": "https://www.virustotal.com/file/5543a258a819524b477dac619efa82b7...","md5": "d82c445e3d484f31cd2638a4338e5fd9","verbose_msg": "Scan request successfully queued, come back later for the report"}Сканирование URL-адресов, доменов и IP-адресовVirusTotal.также.предоставляет.возможность.сканирования.определенного.URL,.домена.или.IP-адреса..Все.вызовы.API.схожи.в.том,.что.они.отправляют.HTTP- запрос.GET.на.соответствующий.URL-адрес,.указанный.в.табл..11.3.с.соответству- ющими.параметрами.Таблица 11.3. VirusTotal URL APIОписаниеЗапросить URLПараметрыОтчет.по.URLhttps://www.virustotal.com/vtapi/v2/url/report apikey,.resource,.allinfo,.scanДоменный.отчет https://www.virustotal.com/vtapi/v2/domain/report apikey,.domainОтчет.по.IPhttps://www.virustotal.com/vtapi/v2/ip-address/report apikey,.ipВот.пример.запроса.отчета.сканирования.по.URL-адресу:curl 'https://www.virustotal.com/vtapi/v2/url/report?apikey=replacewithapikey &resource=www.oreilly.com&allinfo=false&scan=1'Параметр.scan=1.автоматически.отправит.URL-адрес.для.анализа,.если.его.еще.нет.в.базе.данных. Глава 11. Анализ вредоносных программ 183ВыводыИспользуя.только.командную.строку,.нельзя.обеспечить.тот.же.уровень.произ- водительности,.что.предоставляют.полнофункциональные.инструменты.реверс- инжиниринга..Но.с.ее.помощью.можно.обеспечить.проверку.исполняемого.файла..Не.забывайте,.что.анализировать.подозрительные.вредоносные.программы.следует.только.на.системах,.отключенных.от.сети,.и.помните.о.проблемах.конфиденциаль- ности,.которые.могут.возникнуть.при.выгрузке.файлов.в.VirusTotal.или.другие.подобные.сервисы.В.следующей.главе.мы.рассмотрим,.как.улучшить.визуализацию.данных.после.их.сбора.и.анализа.Упражнения1.. Создайте.регулярное.выражение.для.поиска.в.двоичном.файле.одиночных.печатаемых.символов,.разделенных.одиночными.непечатаемыми.символами..Например,.p.a.s.s.w.o.r.d,.где..представляет.непечатаемый.символ.2.. Выполните.поиск.вхождения.одного.печатаемого.символа.в.двоичном.файле..Вместо.того.чтобы.печатать.найденные.символы,.распечатайте.символы,.ко- торые.не.были.найдены..Чтобы.немного.упростить.упражнение,.учитывайте.только.буквенно-цифровые.символы.3.. С.помощью.одной.команды.напишите.сценарий.для.взаимодействия.с.API.VirusTotal..Используйте.параметр.-H.для.проверки.хеша,.-F.—.для.загрузки.файла.и.-U.—.для.проверки.URL-адреса..Например:$ ./vt.sh -h db349b97c37d22f5ea1d1841e3c89eb4Detected: W32.WannaCrypLTE.TrojanЧтобы.просмотреть.дополнительные.ресурсы.и.получить.ответы.на.эти.вопросы,.зайдите.на.сайт.https://www.rapidcyberops.com/ 12Форматирование и отчетностьДля.получения.максимальной.пользы.все.собранные.ранее.и.проанализированные.данные.должны.быть.представлены.в.понятном.и.удобочитаемом.формате..Часто.формат.стандартного.вывода.командной.строки.не.позволяет.выводить.большое.количество.информации..Поэтому.для.улучшения.читаемости.можно.воспользо- ваться.дополнительными.методами.Используемые командыВ.этой.главе.для.форматирования.вывода.мы.будем.применять.команду.tput tputКоманда.tput,.используя.базу.данных.terminfo,.управляет.вашими.сеансами.работы.с.терминалом..С.помощью.команды.tput.можно.управлять.различными.функция- ми.терминала,.такими.как.перемещение.или.изменение.вида.курсора,.изменение.свойств.текста.и.очистка.определенных.областей.экрана.терминала.Общие параметры команды‰‰ clear.—.очистить.экран.‰‰ cols.—.распечатать.количество.столбцов.терминала.‰‰ cup.—.переместить.курсор.в.положение.,.‰‰ lines.—.распечатать.количество.строк.терминала.‰‰ rmcup.—.вернуться.к.обычному.экрану.терминала. Глава 12. Форматирование и отчетность 185‰‰ setab.—.установить.цвет.фона.терминала.‰‰ setaf.—.установить.основной.цвет.терминала.‰‰ smcup.—.сохранить.текущий.экран.терминала.и.очистить.экран.Форматирование для отображения в виде HTML-документаЕсли.результат.не.требуется.просматривать.непосредственно.в.командной.стро- ке,.отличным.способом.обеспечить.аккуратное.и.понятное.форматирование.вы- водимых.данных.будет.преобразование.информации.в.формат.HTML..Данные.в.формате.HTML.удобно.выводить.на.печать,.используя.встроенные.в.браузер.возможности.для.печати.Полный.синтаксис.HTML.выходит.за.рамки.этой.книги,.здесь.же.мы.рассмотрим.основные.принципы.форматирования..HTML.—.это.компьютерный.язык,.который.определяется.рядом.тегов,.управляющих.форматированием.данных.и.их.поведени- ем.в.браузере..В.HTML.обычно.используются.открывающие.теги.()..В.табл..12.1.перечислены.несколько.наиболее.популярных.тегов.и.их.назначение.Таблица 12.1. Основные HTML-тегиТегНазначениеВнешний.тег.в.HTML-документеТег,.содержащий.основное.содержимое.HTML-документаЗаголовокПолужирный.текстНумерованный.списокМаркированный.списокВ.примере.12.1.показан.образец.документа.HTML.Пример 12.1. Заготовка HTML-документа   1   ...   12   13   14   15   16   17   18   19   ...   23

This is a header 186 Часть II • Защитные операции с использованием bash this is bold text this is a link  This is list item 1  This is list item 2   Row 1, Column 1  Row 1, Column 2 Row 2, Column 1 Row 2, Column 2 .Тег..предназначен.для.создания.нумерованного.списка,.а.тег..—.для.создания.маркированного..Тег..определяет.элемент.списка..Тег..используется.для.определения.таблицы..Тег..применяется.для.определения.строки.таблицы..Тег..используется.для.определения.ячейки.таблицы.Для получения дополнительной информации о HTML обратитесь к справочным материалам HTML5 Консорциума World Wide Web (http://bit.ly/2U1TRbz).На.рис..12.1.показано,.как.выглядит.страница.из.примера.12.1.при.отображении.в.браузере.Чтобы.упростить.вывод.в.HTML,.вы.можете.создать.простой.сценарий.для.упа- ковки.элементов.в.теги..Сценарий,.показанный.в.примере.12.2,.принимает.строку.и.тег,.после.чего.выводит.эту.строку,.окруженную.тегом,.а.затем.символ.новой.строки. Глава 12. Форматирование и отчетность 187Рис. 12.1. Визуализированная HTML-страницаПример 12.2. tagit.sh#!/bin/bash -## Bash и кибербезопасность# tagit.sh## Описание:# Поместить открывающие и закрывающие теги вокруг строки## Использование:# tagit.sh # Используемый тег# Строка с тегами#printf '<%s>%s%s>\n' "${1}" "${2}" "${1}"Полученный.вывод.также.можно.превратить.в.простую.функцию,.которую.впо- следствии.можно.включить.в.другие.сценарии:function tagit (){ printf '<%s>%s%s>\n' "${1}" "${2}" "${1}"}Вы.можете.использовать.HTML-теги.для.переформатирования.практически.любого.типа.данных,.после.чего.чтение.этих.данных.значительно.облегчится.. 188 Часть II • Защитные операции с использованием bashВ.примере.12.3.показан.сценарий,.читающий.файл.Apache.access.log,.приведенный.в.примере.7.2..Для.переформатирования.и.вывода.файла.журнала.в.виде.HTML.используется.функция.tagitПример 12.3. weblogfmt.sh#!/bin/bash -## Bash и кибербезопасность # weblogfmt.sh## Описание:# Чтение веб-журнала Apache и его вывод в виде HTML## Использование:# weblogfmt.sh < input.file > output.file#function tagit(){ printf '<%s>%s%s>\n' "${1}" "${2}" "${1}"}# основные теги заголовка echo "" echo ""echo "$1" # заголовок echo "" # таблица с границами echo "" # новая строка таблицы echo "IP Address" # заголовок столбца echo "Date"echo "URL Requested"echo "Status Code"echo "Size"echo "Referrer"echo "User Agent"echo ""while read f1 f2 f3 f4 f5 f6 f7 f8 f9 f10 f11 f12plus do echo "" tagit "td" "${f1}" tagit "td" "${f4} ${f5}"  tagit "td" "${f6} ${f7}" tagit "td" "${f9}" tagit "td" "${f10}" tagit "td" "${f11}" Глава 12. Форматирование и отчетность 189 tagit "td" "${f12plus}" echo ""done < $1# закрывающие теги echo ""echo " $1EOFПреимущество.этого.кода.в.том,.что.не.требуется.повторять.все.команды.echoОбратите.внимание:.все.равно.потребуется.выполнить.замену.$1,.если.при.вызове.не.будет.ссылки.на.EOF.в.любой.форме..Однако.в.этом.решении.есть.один.недоста- ток:.в.таком.случае.мы.не.сможем.добавлять.в.наш.ввод.комментарии..Файл.журнала.—.это.файл.фиксированного.формата,.по.крайней.мере.для.не- скольких.первых.полей..Здесь.мы.можем.прочитать.каждую.строку.из.файла.жур- нала.и.разобрать.ее.на.поля..Для.чтения.всех.полей.в.массив.можно.использовать.конструкцию.read-aRAOFTXT,.по.одному.полю.для.каждого.индекса..Но.при.таком.подходе.становится.сложно.распечатать.все.оставшиеся.поля,.расположенные.по- сле.12-го..Поэтому.все.оставшиеся.слова.были.включены.в.последнее.поле,.которое.мы.назвали.f12plus.Обратите.внимание,.что.в.этой.и.следующей.строках.два.аргумента.заключены.в.пару.двойных.кавычек..В.данной.строке.объединены.аргументы.f4.и.f5..После.того.как.их.совместно.взяли.в.кавычки,.для.сценария.tagit.они.превращаются.в.один.аргумент.($2)..Таким.образом.можно.сделать.вывод,.что.f12plus.следует.заключить.в.кавычки..При.этом.все.слова.в.данном.поле.будут.рассматриваться.как.один.аргумент.tagitНа.рис..12.2.показан.пример.вывода.из.примера.12.3.Прежде.чем.отправлять.эти.данные.в.сценарий,.например.в.weblogfmt.sh,.кото- рый.их.отформатирует,.их.следует.отфильтровать.и.отсортировать..Для.филь- трации.и.сортировки.данных.можно.воспользоваться.методами,.описанными.в.главе.7. 190 Часть II • Защитные операции с использованием bashРис. 12.2. Визуализация вывода из weblogf mt.sh Глава 12. Форматирование и отчетность 191Создание панели мониторингаПанели.инструментов.полезны,.если.требуется.отобразить.несколько.блоков.ин- формации,.меняющейся.со.временем..Панель.инструментов,.которую.мы.далее.рассмотрим,.отобразит.выводы.трех.сценариев.и.станет.обновлять.их.через.равные.промежутки.времени.Здесь.используются.графические.функции.окна.терминала..Вместо.того.чтобы.просто.прокручивать.данные.страницу.за.страницей,.сценарий.каждый.раз.будет.перерисовывать.экран.с.одной.и.той.же.начальной.позиции,.чтобы.при.перерисовке.он.полностью.обновлялся.Чтобы.сценарий.можно.было.переносить.между.различными.программами,.за- пущенными.в.терминале,.нужно.использовать.команду.tput,.которая.будет.запра- шивать.последовательность.символов,.выполняющих.графические.функции.для.открытого.в.данный.момент.окна.программы.Поскольку.экран.постоянно.«перерисовывается»,.вы.не.можете.просто.переме- ститься.в.верхнюю.часть.экрана.и.восстановить.результат..Почему?.Поскольку.при.следующей.итерации.могут.быть.отображены.более.короткие.строки,.чем.в.предыдущем.выводе,.старые.данные.с.экрана.следует.удалить.Сначала.следует.очистить.экран,.но,.если.на.нем.перед.заполнением.ничего.не.будет.(например,.из-за.задержек.в.командах,.предоставляющих.вывод.для.отображения),.этот.эффект.будет.раздражать..В.таком.случае.вы.можете.отправлять.весь.вывод.через.функцию.(нашей.собственной.разработки),.печатающую.каждую.строку.вы- вода,.и.добавлять.в.конец.каждой.строки.последовательность.символов,.которая.будет.очищать.каждую.строку.по.ее.окончании,.удаляя.тем.самым.весь.предыду- щий.вывод..Данная.функция.позволит.немного.украсить.вывод,.завершая.каждую.строку.пунктирной.линией.В.примере.12.4.показано.создание.экранной.панели.управления,.содержащей.три.отдельных.раздела.вывода.Пример 12.4. webdash.sh#!/bin/bash -## Rapid Cybersecurity Ops# webdash.sh## Описание:# Создание информационной панели 192 Часть II • Защитные операции с использованием bash# Заголовок# --------------# Однострочный вывод# --------------# Вывод из пяти строк# ...# --------------# Метки столбцов, а затем# восемь строк гистограммы# ...# --------------## некоторые важные постоянные строкиUPTOP=$(tput cup 0 0) ERAS2EOL=$(tput el)REV=$(tput rev) # негативное изображениеOFF=$(tput sgr0) # общий сбросSMUL=$(tput smul) # режим подчеркивания включен (пуск)RMUL=$(tput rmul) # режим подчеркивания выключен (сброс)COLUMNS=$(tput cols) # ширина нашего окна# DASHES(ТИРЕ)='------------------------------------'printf -v DASHES '%*s' $COLUMNS '-' DASHES=${DASHES// /-}## prSection – напечатать фрагмент экрана# напечатать $1-many строк из stdin# каждая строка представляет собой полную строку текста# с последующим стиранием до конца строки# разделы заканчиваются штриховой линией#function prSection (){ local -i i  for((i=0; i < ${1:-5}; i++)) do read aline printf '%s%s\n' "$aline" "${ERAS2EOL}"  done printf '%s%s\n%s' "$DASHES" "${ERAS2EOL}" "${ERAS2EOL}"}function cleanup() { if [[ -n $BGPID ]] then kill %1  rm -f $TMPFILE fi} &> /dev/null  Глава 12. Форматирование и отчетность 193trap cleanup EXIT# запустить процесс bgTMPFILE=$(tempfile) { bash tailcount.sh $1 | \ bash livebar.sh > $TMPFILE ; } & BGPID=$!clear while true do printf '%s' "$UPTOP" # заголовок: echo "${REV}Rapid Cyber Ops Ch. 12 -- Security Dashboard${OFF}" \ | prSection 1 #---------------------------------------- {  printf 'connections:%4d %s\n' \ $(netstat -an | grep 'ESTAB' | wc -l) "$(date)" } | prSection 1 #---------------------------------------- tail -5 /var/log/syslog | cut -c 1-16,45-105 | prSection 5 #---------------------------------------- { echo "${SMUL}yymmdd${RMUL}" \ "${SMUL}hhmmss${RMUL}" \ "${SMUL}count of events${RMUL}" tail -8 $TMPFILE } | prSection 9 sleep 3done.Команда.tput.предоставляет.независимую.от.терминала.последовательность.символов,.позволяющую.переместиться.в.левый.верхний.угол.экрана..Чтобы.не.вызывать.данную.команду.при.каждом.цикле,.мы.вызываем.ее.только.один.раз.и.сохраняем.вывод.для.повторного.использования.при.каждой.итерации..Далее.следуют.другие.вызовы.специальных.последовательностей,.сохраненных.для.по- вторного.использования..Существует.несколько.способов.создания.пунктирной.линии..Здесь.мы.выбрали.один,.хоть.немного.и.замысловатый,.но.очень.интересный.вариант..При.этом.двух- этапном.процессе.используется.заполнение.функцией.printf.всей.пустой.резуль- тирующей.строки..Символ.*.указывает.функции.printf.использовать.для.задания.ширины.отформатированного.поля.первую.переменную..В.результате.получается.строка.из.49.пробелов.и.одного.знака.минус..Напечатанная.строка.сохраняется.в.переменной,.заданной.параметром.-v..Вторая.часть.создания.пунктирной.линии.заключается.в.том,.чтобы.заменить.каждый.пробел.знаком.минус.(двойной.слеш.указывает.bash.заменить.не.только.первое,.но.и.все.остальные.вхождения). 194 Часть II • Защитные операции с использованием bash.Объявление.в.нашем.сценарии.переменной.i.как.локальной.—.хорошая.практика,.хотя.для.нашего.сценария.это.некритично..Тем.не.менее.так.ваш.цикл.for.не.будет.изменять.какой-либо.другой.индекс.или.счетчик..К.каждой.строке,.отправляемой.через.данную.функцию,.мы.добавляем.указание.erase-to-end-of-line.(«стереть.до.конца.строки»).как.в.текущей,.так.и.в.следующей.функции.printf..После.печати.пунктирной.линии.вторая.функция.printf.стирает.следующую.строку,.где.курсор.будет.находиться.до.следующей.итерации..Функция.очистки.вызывается.при.выходе.из.сценария.панели.мониторинга,.когда.пользователь.для.прерывания.и.выхода.из.сценария.нажмет.сочетание.кла- виш.Ctrl+C..Как.и.наша.функция.очистки.в.сценарии.tailcount.sh.(см..главу.8),.эта.функция.завершит.работу.функций,.находящихся.в.фоновом.режиме..В.отличие.от.предыдущей.версии,.где.системный.вызов.kill.отправляет.сигнал.определенному.процессу,.здесь.мы.используем.нотацию.%1,.чтобы.дать.системному.вызову.kill.указание,.согласно.которому.сигнал.должен.быть.передан.всем.процес- сам,.запущенным.в.результате.работы.процесса.в.фоновом.режиме..Все.эти.процессы.считаются.частью.одной.и.той.же.«работы»..Их.рабочие.номера.(%1,.%2,.%3.и.т..д.).определяются.порядком.их.размещения.в.фоновом.режиме..В.этом.сценарии.у.нас.есть.только.один.фоновый.процесс..Мы.перенаправляем.вывод.в.функцию.clear.таким.образом,.что.все.выходные.данные,.поступающие.из.stdout.или.stderr,.будут.отброшены..Такая.очистка.гаран- тирует.отсутствие.любых.неожиданных.сообщений,.хотя.ничего.подобного.мы.и.не.ожидаем.(это.плохо.для.отладки,.но.экран.будет.намного.чище)..Команда.tempfile.генерирует.уникальное.имя.и.проверяет,.не.используется.ли.оно.в.данный.момент..В.результате.нам.будет.известно,.что,.независимо.от.количе- ства.запущенных.экземпляров.сценария.и.расположенных.рядом.других.файлов,.для.этого.сценария.рабочий.файл.будет.доступен..В.функции.clear.есть.код,.уда- ляющий.данный.файл.при.каждом.выходе.из.сценария..Эта.строка.запускает.два.сценария,.которые.описаны.в.главе.8..Данные.сценарии.подсчитывают.строки,.добавляемые.в.конце.файла..Фигурные.скобки.группируют.все.процессы.этого.конвейера.команд.вместе.и.помещают.в.«фон»,.отключая.их.от.ввода.с.клавиатуры..Эти.процессы.и.все,.что.они.создали,.являются.частью.зада- ния.1.(%1),.то.есть.задания,.работу.которого.прекратит.функция.clear.Каждый.раздел.вывода.отправляется.отдельно.в.функцию.prSection..Команды.для.раздела.не.нужно.группировать.внутри.фигурных.скобок,.если.для.этого.раздела.одна.команда.генерирует.вывод..Это.относится.к.первым.трем.разделам,. Глава 12. Форматирование и отчетность 195но.четвертому.разделу.для.группировки.двух.операторов.(echo.и.tail),.записы- вающих.вывод,.требуются.скобки..Во.втором.разделе.фигурные.скобки.хотя.и.не.нужны,.но.предусмотрены.в.случае,.если.мы.когда-нибудь.захотим.расширить.этот.раздел.и.иметь.разные.выходные.данные..Команды.для.раздела.не.нужно.группи- ровать.внутри.фигурных.скобок,.если.одна.команда.генерирует.вывод..Для.всех.остальных.разделов.в.качестве.меры.предосторожности.при.расширении.можно.сделать.то.же.самое..Обратите.внимание.на.небольшую.разницу.в.синтаксисе.между.использованием.фигурных.скобок.в.этой.и.предыдущей.строке.с.пометкой..Нам.не.нужна.точка.с.запятой,.потому.что.мы.помещаем.закрывающую.скобку.на.новую.строку.На.рис..12.3.показан.пример.вывода.сценария.панели.управления.Рис. 12.3. Вывод на панели управленияВыводыПолученные.ранее.данные.принесут.пользу.только.в.том.случае,.если.будут.удоб- ны.для.чтения.пользователю,.которому.эта.информация.предназначалась..HTML.предоставляет.простой.способ.форматирования.данных.для.отображения.на.экране.или.для.печати..Панель.мониторинга,.созданная.в.этой.главе,.может.быть.особенно.полезной.при.отслеживании.информации.в.режиме.реального.времени.В.следующей.главе.мы.рассмотрим,.как.командная.строка.и.bash.могут.помочь.вам.выполнить.тестирование.на.проникновение. 196 Часть II • Защитные операции с использованием bashУпражнения1.. Измените.сценарий.webdash.sh.так,.чтобы.захватить.два.аргумента.командной.строки,.определяющие.записи.журнала,.используемого.для.мониторинга..На- пример:./webdash.sh /var/log/apache2/error.log /var/log/apache2/access.log2.. Напишите.сценарий,.подобный.примеру.12.3,.который.преобразует.журнал.ошибок.Apache.в.HTML-код.Чтобы.просмотреть.дополнительные.ресурсы.и.получить.ответы.на.эти.вопросы,.зайдите.на.сайт.https://www.rapidcyberops.com/ Часть IIIТестирование на проникновениеПусть.планы.твои.пребывают.во.тьме,.непроницаемые,.словно.ночь,.так,.чтобы,.когда.ты.двинешь.свои.силы,.они.обрушились.подобно.молнии1Сунь-цзы. Искусство войныВ.части.III.мы.рассмотрим.использование.командной.строки.во.время.тестов.на.проникновение,.чтобы.проводить.разведку,.выявлять.уязвимости.и.предоставлять.удаленный.доступ.1.Оригинальная.цитата:.Let.your.plans.be.dark.and.impenetrable.as.night,.and.when.you.move,.fall.like.a.thunderbolt. 13РазведкаРазведка.—.это,.как.правило,.первый.шаг.при.тестировании.на.проникновение..Основная.задача.данного.этапа.—.используя.все.доступные.ресурсы,.собрать.как.можно.больше.информации.о.цели..Нас.интересуют.такие.сведения,.как.имена,.адреса.электронной.почты.и.номера.телефонов,.пространство.IP-адресов,.открытые.сетевые.порты.и.используемое.программное.обеспечение.Используемые командыВ.этой.главе.мы.познакомимся.с.командой.ftp ftpКоманда.ftp.предназначена.для.передачи.файлов.на.FTP-сервер.и.обратно.Общие параметры команды-n.—.запретить.автоматический.вход.на.сервер.Пример командыДля.подключения.к.FTP-серверу.с.IP-адресом.192.168.0.125.напишите.следующее:ftp 192.168.0.125По.умолчанию.команда.ftp.попытается.подключиться.через.TCP-порт.21..Если.вы.хотите.подключиться.через.другой.порт,.укажите.номер,.введя.его.после.IP-адреса.хоста..Например,.подключимся.к.порту.50:ftp 192.168.0.125 50После.подключения.к.FTP-серверу.для.отправки.и.получения.файлов.используйте.интерактивные.команды..Чтобы.вывести.список.каталогов,.введите.команду.ls;. Глава 13. Разведка 199для.перехода.из.каталога.в.каталог.воспользуйтесь.командой.cd;.для.передачи.файлов.на.FTP-сервер.применяется.команда.put,.а.для.передачи.файлов.с.FTP- сервера.—.команда.getПросмотр веб-сайтовДля.копирования.веб-страницы.из.сети.можно.использовать.команду.curlОна.проста.в.использовании,.но.имеет.множество.дополнительных.параметров,.предоставляющих.возможность.обработки.удаленной.аутентификации.и.сеан- совых.файлов.cookie..Обычно.вместе.с.командой.curl.используется.параметр.-L,.позволяющий.команде.следовать.перенаправлениям.HTTP.при.изменении.место- положения.страницы..По.умолчанию.curl.будет.выводить.необработанный.HTML- код.в.stdout..Но.вывод.с.помощью.параметра.-o.можно.перенаправить.в.файл:curl -L -o output.html https://www.oreilly.comПараметр.-I.позволит.команде.curl.получать.только.HTTP-заголовки,.а.все.осталь- ное.содержимое.страницы.игнорировать..Это.может.быть.полезно.при.попытке.идентификации.версии.веб-сервера.или.операционной.системы..В.приведенном.ниже.примере.можно.увидеть,.что.сервер.использует.Apache.2.4.7.и.операционную.систему.Ubuntu:$ curl -LI https://www.oreilly.comHTTP/1.1 200 OKServer: Apache/2.4.7 (Ubuntu)Last-Modified: Fri, 19 Oct 2018 08:30:02 GMTContent-Type: text/htmlCache-Control: max-age=7428Expires: Fri, 19 Oct 2018 16:16:48 GMTDate: Fri, 19 Oct 2018 14:13:00 GMTConnection: keep-aliveВы хотите узнать, доступен ли сайт? Перехватите заголовок с помощью curl, а затем для поиска кода состояния HTTP 200 используйте команду grep:$ curl -LIs https://www.oreilly.com | grep '200 OK'HTTP/1.1 200 OKК.сожалению,.curl.может.извлекать.только.указанную.страницу.и.не.имеет.функ- ций.просмотра.содержимого.всего.сайта.или.перехода.по.ссылкам.на.странице. 200 Часть III • Тестирование на проникновениеWGETКоманда.wget.также.предназначена.для.загрузки.веб-страниц,.но.по.умолчанию.во.многих. дистрибутивах.Linux. она. не. установлена..В. Git. Bash. эта. команда. тоже. от- сутствует..Чтобы.установить.wget.в.дистрибутив.Linux.на.основе.Debian,.выполните.следующие.действия:sudo apt-get install wgetОдно.из.главных.преимуществ.wget.перед.curl.в.том,.что.wget.позволяет.зеркально.отображать.или.копировать.весь.веб-сайт,.а.не.просто.получить.одну.страницу.или.файл..При.использовании.зеркального.режима.wget.будет.сканировать.сайт.по.ссыл- кам.и.загружать.содержимое.каждой.найденной.страницы.в.указанный.каталог:wget -p -m -k -P ./mirror https://www.digadel.comПараметр.-p.используется.для.загрузки.файлов,.связанных.с.веб-сайтом,.таких.как.каскадные.таблицы.стилей.(CSS).и.файлы.изображений;.параметр.-m.включает.ре- жим. зеркального. отображения,. параметр.-k. преобразует. ссылки. на. загруженные.страницы.в.локальные.пути;.а.параметр.-P.указывает.путь.(то.есть.каталог),.в.кото- ром.сохраняется.зеркальный.веб-сайт.Автоматический захват баннераПри.подключении.к.серверу.иногда.появляется.информация.о.приложении.веб- сервиса.или.об.операционной.системе.—.баннер..При.подключении.к.веб-серверу.O’Reilly.в.заголовке.HTTP.можно.увидеть.такой.баннер.операционной.системы:HTTP/1.1 200 OKServer: Apache/2.4.7 (Ubuntu)Last-Modified: Fri, 19 Oct 2018 08:30:02 GMTContent-Type: text/htmlCache-Control: max-age=7428Expires: Fri, 19 Oct 2018 16:16:48 GMTDate: Fri, 19 Oct 2018 14:13:00 GMTConnection: keep-aliveЦенной.считается.информация.о.том,.в.какой.операционной.системе.работает.по- тенциальная.цель..Получив.эту.информацию,.вы.можете.узнать,.какие.уязвимости.могут.существовать.в.данной.системе..Впоследствии.эти.уязвимости.можно.ис- пользовать.на.начальном.этапе.жизненного.цикла.атаки.Баннеры.обычно.отображают.несколько.типов.систем,.включая.веб-серверы,.FTP- серверы.и.серверы.протокола.SMTP.(Simple.Mail.Transfer.Protocol)..В.табл..13.1.показаны.сетевые.порты,.которые.обычно.используются.этими.службами. Глава 13. Разведка 201Таблица 13.1. Стандартные портыПротокол сервераНомер портаFTPTCP.21SMTPTCP.25HTTPTCP.80В большинстве операционных систем баннер может быть изменен системным администратором. Баннер можно удалить полностью либо заставить его сооб- щать ложную информацию. Его также можно рассматривать как индикатор типа операционной системы или приложения, но полностью ему доверять нельзя.В.главе.9.мы.рассматривали,.как.с.помощью.сценария.scan.sh.сканировать.сетевой.порт..Этот.сценарий.можно.расширить.таким.образом,.что.при.каждом.обнаруже- нии.узла.с.одним.из.открытых.портов.(FTP,.SMTP.или.HTTP).он.будет.пытаться.получить.и.сохранить.баннер.сервера.Вы.уже.видели,.как.можно.использовать.команду.curl.для.захвата.заголовка.HTTP,.который.может.содержать.баннер:curl -LI https://www.oreilly.comДля.захвата.баннера.с.FTP-сервера.можно.использовать.команду.ftp:$ ftp -n 192.168.0.16Connected to 192.168.0.16.220 (vsFTPd 3.0.3)ftp>Параметр.-n.применяется,.чтобы.команда.ftp.не.пыталась.автоматически.войти.на.сервер..Чтобы.после.подключения.закрыть.FTP-соединение,.с.терминала.ftp>введите.команду.quitСамый.простой.способ.перехватить.баннер.с.SMTP-сервера.—.использовать.команду.telnet.с.сетевым.портом.25:$ telnet 192.168.0.16 25Connected to 192.168.0.16Escape character is '^]'.220 localhost.localdomain ESMTP Postfix (Ubuntu) 202 Часть III • Тестирование на проникновениеКоманда.telnet.доступна.в.большинстве.версий.Linux,.но.в.Git.Bash.и.во.многих.версиях.Windows.она.отсутствует..В.этих.случаях,.чтобы.получить.аналог.коман- ды.telnet,.вы.можете.написать.небольшой.сценарий,.используя.дескриптор.bash./dev/tcpВ.примере.13.1.показано,.как.для.подключения.к.SMTP-серверу.и.захвата.баннера.использовать.файловый.дескриптор.bash.TCP.Пример 13.1. smtpconnect.sh#!/bin/bash -## Bash и кибербезопасность# smtpconnect.sh## Описание:# Подключение к SMTP-серверу и печать приветственного баннера## Использование:# smtpconnect.sh 1   ...   13   14   15   16   17   18   19   20   ...   23


86 Часть II • Защитные операции с использованием bash
Вы.можете.комбинировать.команду.
grep
.с.командой.
find
.для.простого.копи- рования.соответствующих.файлов.в.ваш.текущий.рабочий.каталог.(или.любой.
указанный.каталог):
find /home -type f -exec grep 'password' '{}' \; -exec cp '{}' . \;
Во-первых,.мы.используем.
find
/home/
-type f
,.чтобы.идентифицировать.все.файлы.
в.каталоге.
/home
.и.во.всех.остальных.каталогах,.вложенных.в.
/home
..Каждый.най- денный.файл.проверяется.
grep
.с.целью.поиска.слова.
password
.в.его.содержимом..
Каждый.файл,.соответствующий.критериям.
grep
,.затем.передается.команде.
cp
,.
чтобы.скопировать.найденный.файл.в.текущий.каталог.(обозначенный.точкой)..
Выполнение.такой.комбинации.команд.может.занять.довольно.продолжительное.
время,.поэтому.лучше.запускать.ее.в.виде.фоновой.задачи.
Поиск по типу файла
Поиск.в.системе.определенных.типов.файлов.—.довольно.сложная.задача..Нельзя.
полагаться.на.расширение.файла:.оно.может.вообще.отсутствовать,.например,.если.
пользователь.его.умышленно.удалил..К.счастью,.команда.
file
.способна.помочь.
идентифицировать.типы.файлов,.сравнивая.их.содержимое.с.известными.шабло- нами,.называемыми.магическими.числами..В.табл..5.4.перечислены.популярные.
магические.числа.и.их.начальные.местоположения.в.файлах.
Таблица 5.4. Магические числа
Тип файла
Шаблон магического числа
(шестнадцатеричный)
Шаблон магического
числа (ASCII)
Смещение
файла (байт)
JPEG
FF.D8.FF.DB
yOyU
0
Исполняемый.DOS
4D.5A
MZ
0
Исполняемый.
и.связываемый.
формат
7F.45.4C.46
.ELF
0
ZIP-файл
50.4B.03.04
PK..
0
Для.начала.вам.нужно.определить.тип.файла,.для.которого.вы.хотите.выполнить.
поиск..Предположим,.нужно.найти.в.системе.все.файлы.изображений.формата.
PNG..Для.этого.сначала.нужно.взять.файл,.который.не.был.изменен,.например.
Title.png
,.запустить.его.с.помощью.команды.
file
.и.проверить.результат:
$ file Title.png
Title.png: PNG image data, 366 x 84, 8-bit/color RGBA, non-interlaced

Глава 5. Сбор информации 87
Как.и.ожидалось,.
file
.идентифицирует.файл.
Title.png
,.который.действительно.
не.был.изменен,.как.изображение.PNG,.а.также.предоставляет.его.размеры.и.раз- личные.другие.атрибуты..Основываясь.на.этой.информации,.вам.необходимо.
определить,.какую.часть.вывода.команды.
file
.использовать.для.поиска,.и.сгенери- ровать.соответствующее.регулярное.выражение..Во.многих.случаях,.например.при.
криминалистической.экспертизе,.вам,.вероятно,.лучше.собирать.как.можно.больше.
информации.—.в.дальнейшем.вы.всегда.сможете.дополнительно.отфильтровать.
данные..Для.этого.вы.будете.использовать.расширенное.регулярное.выражение,.
которое.будет.просто.искать.слово.PNG.в.выводе.команды.
file
'PNG'
Конечно,.для.идентификации.конкретных.файлов.вы.можете.создавать.более.
сложные.регулярные.выражения..Например,.если.вы.хотите.найти.PNG-файлы.
размером.100.×.100,.выполните.следующую.команду:
'PNG.*100x100'
Если.хотите.найти.файлы.PNG.и.JPEG:
'(PNG|JPEG)'
Получив.регулярное.выражение,.вы.можете.написать.скрипт,.запускающий.коман- ду.
file
,.которая.будет.искать.совпадение.для.каждого.файла.в.системе..Когда.
совпадение.будет.найдено,.сценарий.
typesearch.sh
,.показанный.в.примере.5.4,.
перенаправит.путь.к.файлу.в.стандартный.вывод.
Пример 5.4. Сценарий typesearch.sh
#!/bin/bash -
#
# Bash и кибербезопасность
# typesearch.sh
#
# Описание:
# Поиск в файловой системе файлов указанного типа.
# Выводим путь, когда найдем.
#
# Использование:
# typesearch.sh [-c dir] [-i] [-R|r]
# -c Копировать найденные файлы в каталог
# -i Игнорировать регистр
# -R|r Рекурсивный поиск подкаталогов
#
Шаблон типа файла для поиска
#
Путь для начала поиска
#
DEEPORNOT="-maxdepth 1" # только текущий каталог; по умолчанию
# анализ аргументов опции:
while getopts 'c:irR' opt; do


88 Часть II • Защитные операции с использованием bash case "${opt}" in

c) # копировать найденные файлы в указанный каталог
COPY=YES
DESTDIR="$OPTARG"

;;
i) # игнорировать регистр при поиске
CASEMATCH='-i'
;;
[Rr]) # рекурсивно

unset DEEPORNOT;;

*) # неизвестный/неподдерживаемый вариант

# при получении ошибки mesg от gretops просто выйти exit 2 ;;
esac done shift $((OPTIND - 1))

PATTERN=${1:-PDF document}

STARTDIR=${2:-.} # по умолчанию начать здесь find $STARTDIR $DEEPORNOT -type f | while read FN

do file $FN | egrep -q $CASEMATCH "$PATTERN"

if (( $? == 0 )) # найден один then echo $FN
if [[ $COPY ]] then cp -p $FN $DESTDIR fi fi done
.Этот.сценарий.поддерживает.параметры,.которые,.как.описано.во.вступительных.
комментариях,.изменяют.его.поведение..Сценарий.должен.проанализировать.все.эти.
параметры,.чтобы.определить,.какие.из.них.были.предоставлены,.а.какие.—.опуще- ны..Если.параметров.больше.двух,.имеет.смысл.использовать.встроенную.оболочку.
getopts
..С.помощью.цикла.
while
.мы.будем.продолжать.вызывать.
getopts
.до.тех.
пор,.пока.она.не.вернет.ненулевое.значение,.сообщая.нам,.что.параметров.больше.
нет..Параметры,.которые.мы.хотим.найти,.представлены.в.строке.
c:irR
..Какой.бы.
параметр.ни.был.найден,.в.
opt
.будет.возвращено.указанное.нами.имя.переменной.
.Здесь.мы.используем.оператор.
case
,.который.является.многопрофильной.веткой;.
будет.найдена.ветвь,.соответствующая.шаблону,.заданному.перед.левой.круглой.
скобкой..Мы.могли.бы.использовать.конструкцию.
if/elif/else
,.но.ветвь.и.так.
хорошо.читается.и.показывает.все.параметры.
.Параметр.
c
.сопровождается.двоеточием.(
:
),.находящимся.в.списке.поддерживае- мых.опций,.—.оно.указывает.
getopts
,.что.пользователь.также.предоставит.аргумент.
для.этого.параметра..В.нашем.сценарии.этот.необязательный.аргумент.является.

Глава 5. Сбор информации 89
каталогом,.в.котором.будут.создаваться.копии..Когда.команда.
getopts
.анализирует.
параметр.с.указанным.выше.аргументом,.она.помещает.данный.параметр.в.пере- менную.с.именем.
OPTARG
,.а.сохраняет.в.
DESTDIR
,.так.как.при.следующем.вызове.
getopts
.переменная.
OPTARG
.может.быть.изменена.
.Сценарий.позволяет.указывать.в.этом.параметре.прописную.букву.R.или.строч- ную.r..Операторы.
case
.задают.образец.для.сопоставления,.а.не.просто.литерал..
Поэтому.для.данного.случая.мы.написали.
[Rr])
,.используя.конструкцию.скобок,.
указывающих,.что.любая.буква.считается.совпадением.
.Другие.параметры.устанавливают.переменные,.чтобы.мы.могли.их.задейство- вать..В.этом.случае.мы.отменяем.(
UNSET
).ранее.установленную.переменную..Когда.
эта.переменная.будет.указана.позже.как.
$
DEEP
ORNOT
,.она.не.будет.иметь.значения,.
поэтому.фактически.исчезнет.из.командной.строки,.в.которой.используется.
.Это.еще.один.шаблон.подстановки,.
*
,.соответствующий.чему.угодно..Если.
ни.один.другой.шаблон.не.будет.найден,.выполнится.данное.условие..По.сути,.это.
условие.
else
.для.оператора.
case
.Закончив.анализ.параметров,.мы.можем.избавиться.от.аргументов,.обрабо- танных.с.помощью.
shift
..Только.следует.учесть,.что.разовое.выполнение.
shift избавляет.лишь.от.одного.аргумента..В.этом.случае.аргумент,.расположенный.
вторым,.становится.первым,.третий.становится.вторым.и.т..д..Указание.количества.
повторений.команды.
shift
,.например.
shift5
,.позволит.избавиться.от.первых.пяти.
аргументов.и.в.результате.аргумент.
$6
.станет.
$1
,.
$7
.станет.
$2
.и.т..д..При.вызове.
getopts
.отслеживается,.какие.аргументы.требуется.обработать.в.переменной.обо- лочки.
OPTIND
..Выполнив.нужное.количество.повторений.команды.
shift
,.мы.избав- ляемся.от.любых/всех.проанализированных.параметров..После.такого.сдвига.
$1
будет.ссылаться.на.первый.аргумент,.независимо.от.того,.были.ли.предоставлены.
какие-либо.параметры,.когда.пользователь.вызывал.сценарий.
.Два.возможных.аргумента.не.в.формате.
-option
.—.это.шаблон,.который.мы.
ищем,.и.каталог,.в.котором.хотим.начать.поиск..Когда.мы.ссылаемся.на.переменную.
bash,.можем.добавить.
:-
.и.сказать:.«Если.это.пустое.значение.не.задано,.вернуть.
вместо.него.значение.по.умолчанию»..По.умолчанию.для.
PATTERN
.мы.присваиваем.
значение.в.виде.документа.
PDF
,.а.значением.по.умолчанию.для.
STARTDIR
.является.
,.
что.означает.ссылку.на.текущий.каталог.
.Далее.вызывается.команда.
find
,.которая.должна.начать.поиск.в.
$STARTDIR
Помните,.что.
$DEEPORNOT
.может.не.устанавливаться.и,.следовательно,.ничего.
не.добавлять.в.командную.строку..Кроме.того,.здесь.может.находиться.значение.
по.умолчанию.
-maxdepth
1
,.указывающее,.что.
find
.не.следует.искать.глубже.этого.
каталога..Чтобы.находить.только.простые.файлы.(не.каталоги.или.специальные.
файлы.устройств.либо.FIFO),.мы.добавили.параметр.
-type f
..Этот.параметр.

90 Часть II • Защитные операции с использованием bash не.является.обязательным,.и.вы.можете.удалить.его,.если.хотите.иметь.возмож- ность.искать.файлы.конкретного.типа..Имена.найденных.файлов.передаются.
в.цикл.
while
,.который.будет.читать.их.по.одному.в.переменной.
FN
.Параметр.
-q
.команды.
egrep
.говорит.о.том,.что.эта.команда.работает.незаметно.
и.ничего.не.выводит..Нам.не.обязательно.видеть,.какая.именно.фраза.найдена.
в.данный.момент,.только.ради.того,.чтобы.знать,.что.она.найдена.
.Конструкция.
$?
.—.это.значение,.возвращаемое.предыдущей.командой..Успеш- ный.результат.означает,.что.
egrep
.обнаружила.предоставленный.шаблон.
.Здесь.проверяется,.имеет.ли.
COPY
.значение..При.отсутствии.значения.результа- том.
if
.будет.
false
.Параметр.
-p
.команды.
cp
.при.копировании.позволяет.сохранить.всю.информацию.
о.копируемом.файле:.имя.владельца.и.временные.метки.файла..Эта.информация.
может.быть.важной.для.вашего.анализа.
Если.вы.ищете.более.легкое.решение,.но.с.меньшими.возможностями,.можете.
выполнить.аналогичный.поиск.с.помощью.параметра.
exec
.команды.
find
,.как.по- казано.далее:
find / -type f -exec file '{}' \; | egrep 'PNG' | cut -d' ' -f1
Здесь.мы.отправляем.каждый.элемент,.найденный.командой.
find
,.в.команду.
file
,.
которая.определит.тип.найденного.файла..Далее.вывод.файла.передается.команде.
egrep
,.где.происходит.его.фильтрация,.в.результате.чего.выполняется.поиск.клю- чевого.слова.
PNG
..Команда.
cut
.используется,.чтобы.очистить.вывод.и.сделать.его.
более.удобным.для.чтения.
Будьте осторожны при использовании команды file в ненадежной системе. Коман- да использует файл магического шаблона, расположенный в /usr/share/misc/. Зло- умышленник может изменить этот файл таким образом, что определенные типы файлов не будут идентифицированы. Лучше всего подключить подозрительный диск к компьютеру с надежной системой и провести поиск оттуда.
Поиск по хеш-значению
Криптографическая хеш-функция.—.это.необратимая.функция,.которая.преобра- зует.входное.сообщение.произвольной.длины.в.список.сообщений.фиксированной.
длины..К.общим.алгоритмам.хеширования.относятся.MD5,.SHA-1.и.SHA-256..
Рассмотрим.два.файла.(примеры.5.5.и.5.6).

Глава 5. Сбор информации 91
Пример 5.5. hashfilea.txt
This is hash file A
Пример 5.6. hashfileb.txt
This is hash file B
Обратите.внимание,.что.файлы.идентичны,.за.исключением.последней.буквы.
в.предложении..Вы.можете.использовать.команду.
sha1sum
.для.вычисления.дай- джеста.сообщений.SHA-1.для.каждого.файла:
$ sha1sum hashfilea.txt hashfileb.txt
6a07fe595f9b5b717ed7daf97b360ab231e7bbe8 *hashfilea.txt
2959e3362166c89b38d900661f5265226331782b *hashfileb..txt
Несмотря.на.то.что.между.этими.двумя.файлами.есть.небольшая.разница,.они.
генерируют.совершенно.разные.хеши.(дайджесты).сообщений..Если.бы.фай- лы.были.одинаковы,.то.и.дайджесты.сообщений.оказались.бы.одинаковыми..
Вы.можете.использовать.это.свойство.хеширования.для.поиска.определенного.
файла.в.системе,.если.знаете.его.дайджест..Преимущество.в.том,.что.на.поиск.
не.будут.влиять.имя.файла,.местоположение.или.любые.другие.атрибуты;.недо- статок.в.том,.что.файлы.должны.быть.абсолютно.одинаковы..Если.содержимое.
файла.каким-либо.образом.было.изменено,.поиск.не.даст.результатов..Сценарий.
hashsearch.sh
,.показанный.в.примере.5.7,.рекурсивно.просматривает.систему,.на- чиная.с.местоположения,.заданного.пользователем..Этот.сценарий.вычисляет.хеш.
SHA-1.для.каждого.найденного.файла,.а.затем.сравнивает.вычисленное.значение.
со.значением,.предоставленным.пользователем..Если.они.совпадают,.сценарий.
выводит.путь.к.файлу.
Пример 5.7. hashsearch.sh
#!/bin/bash -
#
# Bash и кибербезопасность
# hashsearch.sh
#
# Описание:
# В указанном каталоге выполняем рекурсивный поиск
# файла по заданному SHA-1
#
# Использование:
# hashsearch.sh
1   ...   4   5   6   7   8   9   10   11   ...   23

# hash - Значение хеша SHA-1 разыскиваемого файла
# directory - Каталог для поиска
#

92 Часть II • Защитные операции с использованием bash
HASH=$1
DIR=${2:-.} # cwd, по умолчанию это здесь
# конвертируем путь в абсолютный function mkabspath ()

{
if [[ $1 == /* ]]

then
ABS=$1
else
ABS="$PWD/$1"

fi
}
find $DIR -type f |

while read fn do
THISONE=$(sha1sum "$fn")

THISONE=${THISONE%% *}

if [[ $THISONE == $HASH ]]
then mkabspath "$fn"

echo $ABS

fi done
.Для.нашего.хеша.мы.будем.искать.любой.простой.файл..Нам.следует.избегать.
специальных.файлов;.чтение.FIFO.приведет.к.зависанию.программы,.так.как.она.
станет.ожидать,.когда.кто-нибудь.что-то.запишет.в.FIFO..Чтение.блочного.или.
специального.символьного.файла.—.тоже.не.очень.хорошая.идея..Параметр.
-type f
гарантирует,.что.мы.получим.только.простые.файлы..Сценарий.выводит.имена.
этих.файлов,.по.одному.в.строке,.в.стандартный.вывод,.который.мы.перенаправ- ляем.через.канал.передачи.данных.в.команды.
while read
.Здесь.вычисляется.значение.хеша.в.подоболочке,.захватывается.его.вывод.
(то.есть.все,.что.записывается.в.стандартный.вывод),.после.чего.эти.данные.при- сваиваются.переменной..Кавычки.нужны,.если.в.имени.файла.есть.пробелы.
.Это.переназначение.удаляет.с.правой.стороны.самую.большую.подстроку,.на- чинающуюся.с.пробела..Вывод.
sha1sum
.—.это.и.вычисленный.хеш,.и.имя.файла..
Нам.же.нужно.только.хеш-значение,.поэтому.с.помощью.этой.замены.мы.удаляем.
имя.файла.
.Далее.вызывается.функция.
mkabspath
,.а.имя.файла.помещается.в.кавычки..
Кавычки.гарантируют,.что.все.имя.файла.отображается.как.один.аргумент.функ- ции,.даже.если.в.имени.содержится.один.или.несколько.пробелов.

Глава 5. Сбор информации 93
.Помните,.что.те.переменные.оболочки.внутри.функции,.которые.не.объявлены.
локальными,.являются.глобальными..Поэтому.значение.
ABS
,.которое.было.задано.
при.вызове.
mkabspath
,.нам.здесь.доступно.
.Это.наше.объявление.функции..При.объявлении.вы.можете.опустить.или.клю- чевое.слово.
function
,.или.скобки.
.Для.сравнения.мы.используем.сопоставление.с.образцом.оболочки,.который.рас- положен.справа..В.этом.случае.будет.выполнена.проверка,.начинается.ли.первый.
параметр.со.слеша..Если.это.так,.это.уже.абсолютный.путь.и.нам.больше.ничего.
не.нужно.делать.
.Когда.параметр.представляет.собой.только.относительный.путь,.он.относится.
к.текущему.местоположению,.поэтому.мы.добавляем.текущий.рабочий.ката- лог,.в.результате.чего.этот.путь.становится.абсолютным..Переменная.
PWD
.—.это.
переменная.оболочки,.которая.устанавливается.в.текущий.каталог.с.помощью.
команды.
cd
Передача данных
После.того.как.вы.собрали.все.необходимые.данные,.для.дальнейшего.анализа.их.
необходимо.переместить.из.исходной.системы..Для.этого.вы.можете.скопировать.
данные.на.съемное.устройство.или.загрузить.их.на.централизованный.сервер..
Если.вы.собираетесь.загружать.данные,.убедитесь,.что.применяете.безопасный.
метод,.например.Secure.Copy.(SCP)..В.следующем.примере.
scp
.используется.для.
загрузки.файла.
some_system.tar.gz
.в.домашний.каталог.пользователя.
bob
,.который.
находится.в.удаленной.системе.
10.0.0.45
:
scp some_system.tar.gz bob@10.0.0.45:/home/bob/some_system.tar.gz
Для.удобства.в.конце.коллекции.ваших.сценариев.вы.можете.добавить.эту.стро- ку,.чтобы.автоматически.использовать.
scp
.для.загрузки.данных.на.указанный.
хост..Не.забудьте.дать.своим.файлам.уникальные.имена,.чтобы.не.перезаписы- вать.существующие.файлы,.а.также.чтобы.впоследствии.было.легче.выполнять.
анализ.
Будьте осторожны при выполнении в сценариях аутентификации SSH или SCP.
Не рекомендуется указывать в сценариях пароли. Лучше всего использовать сертификаты SSH. Ключи и сертификаты можно создать с помощью команды ssh-keygen.

94 Часть II • Защитные операции с использованием bash
Выводы
Сбор.данных.—.важный.шаг.при.обеспечении.безопасности..При.сборе.данных.обя- зательно.передавайте.и.храните.их,.используя.безопасные.(то.есть.зашифрованные).
методы..Собирайте.все.данные,.которые.считаете.актуальными..В.дальнейшем.вы.
сможете.их.легко.удалить,.но.не.сможете.анализировать.данные,.которые.не.со- брали..Прежде.чем.собирать.данные,.убедитесь,.что.у.вас.есть.разрешение.и/или.
законные.права.на.это.
Имейте.также.в.виду,.что.злоумышленники.часто.пытаются.скрыть.свое.присут- ствие,.удаляя.или.запутывая.данные..Чтобы.противостоять.этому,.обязательно.
используйте.несколько.методов,.когда.поиск.файлов.будет.осуществляться.по.
имени,.хешу,.содержимому.и.т..д.
В.следующей.главе.мы.рассмотрим.методы.обработки.и.подготовки.данных.
к.анализу.
Упражнения
1.. Напишите.команду.для.поиска.в.файловой.системе.любого.файла.с.именем.
dog.png
2.. Напишите.команду.для.поиска.в.файловой.системе.любого.файла,.содержащего.
слово.«конфиденциальный».
3.. Напишите.команду.для.поиска.в.файловой.системе.любого.файла,.содержащего.
слова.«секретный».или.«конфиденциальный»,.и.скопируйте.этот.файл.в.текущий.
рабочий.каталог.
4.. Напишите.команду.для.выполнения.в.удаленной.системе.
192.168.10.32
.коман- ды.
ls
-R
/
.и.запишите.полученный.результат.в.файл.
filelist.txt
,.который.
находится.в.вашей.локальной.системе.
5.. Измените.с.помощью.SCP.сценарий.
getlocal.sh
.для.автоматической.загрузки.
результатов.на.указанный.сервер.
6.. Измените.сценарий.
hashsearch.sh
.так,.чтобы.получить.возможность.(
-1
).вы- хода.после.поиска.совпадения..Если.параметр.не.указан,.будет.продолжен.поиск.
дополнительных.совпадений.
7.. Измените.сценарий.
hashsearch.sh
.таким.образом,.чтобы.упростить.полный.
путь,.который.он.выводит:
y если.строка,.которую.он.выводит,.представлена.в.виде.
/home/usr07/sub- dir/./misc/x.data
,.измените.ее,.чтобы.удалить.лишние.символы.
./
.перед.
печатью;

Глава 5. Сбор информации 95
y если.строка.представлена.в.виде.
/home/usr/07/subdir/../misc/x.data
,.
измените.ее.так,.чтобы.удалить.перед.печатью.
../
.и.
subdir/
8.. Измените.файл.
winlogs.sh
.так,.чтобы.показать.ход.его.выполнения,.выводя.
имя.файла.журнала.поверх.предыдущего.имени.файла.журнала..(Подсказка:.
используйте.символ.возврата,.а.не.перевод.строки).
9.. Измените.файл.
winlogs.sh
.так,.чтобы.отображался.простой.индикатор.выпол- нения.со.знаками.плюс,.печатаемыми.слева.направо..Используйте.отдельный.
вызов.
wevtutil el
,.чтобы.получить.счетчик.количества.журналов.и.увеличить.
его,.скажем,.до.60.
10.. Измените.файл.
winlogs.sh
.так,.чтобы.привести.в.порядок.данные,.которые.он.
выводит,.то.есть.удалить.извлеченные.файлы.журнала.(файлы.
.evtx
).после.
того,.как.они.будут.скопированы..Это.можно.сделать.двумя.разными.способами.
Чтобы.просмотреть.дополнительные.ресурсы.и.получить.ответы.на.эти.вопросы,.
зайдите.на.сайт.
https://www.rapidcyberops.com/

6
Обработка данных
В.предыдущей.главе.вы.собрали.много.данных..Они.представлены.в.различных.
форматах,.включая.такие,.как.текст.в.свободной.форме,.значения.с.разделителями- запятыми.(CSV).и.XML..В.этой.главе.мы.покажем.вам,.как.разбирать.и.обрабаты- вать.эти.данные,.чтобы.извлекать.ключевые.элементы.для.анализа.
Используемые команды
Для.подготовки.собранных.данных.к.анализу.мы.используем.команды.
awk
,.
join
,.
sed
,.
tail
.и.
tr awk
Команда.
awk
.—.это.не.просто.команда,.а.фактически.язык.программирования,.пред- назначенный.для.обработки.текста..Целые.книги.посвящены.этой.теме..Более.по- дробное.описание.команды.
awk
.вы.еще.найдете.в.книге..Здесь.мы.приведем.краткий.
пример.ее.использования.
Общие параметры команды
-f
.—.читать.указанный.файл.в.программе.
awk
Пример команды
Посмотреть.файл.
awkusers.txt
,.показанныйв.примере.6.1.
Пример 6.1. awkusers.txt
Mike Jones
John Smith
Kathy Jones
Jane Kennedy
Tim Scott

Глава 6. Обработка данных 97
Вы.можете.использовать.команду.
awk
.для.печати.тех.строк,.в.которых.есть.фамилия.
пользователя.—.
Jones
:
$ awk '$2 == "Jones" {print $0}' awkusers.txt
Mike Jones
Kathy Jones awk
.выполнит.итерацию.для.каждой.строки.входного.файла,.прочитав.каждое.
слово..Слова.в.строке.(по.умолчанию).разделены.пробелами.на.поля..Поле.
$0
.сим- волизирует.всю.строку,.
$1
.—.первое.слово,.
$2
.—.второе.слово.и.т..д..Программа.
awk состоит.из.шаблонов.и.соответствующего.кода,.который.при.совпадении.шаблона.
должен.быть.выполнен..В.данном.примере.есть.только.один.шаблон..Мы.проверяем.
лишь.поле.
$2
,.чтобы.посмотреть,.содержит.ли.оно.значение.
Jones
..Если.совпадение.
обнаружится,.
awk
.запустит.код,.указанный.в.скобках,.который.в.данном.случае.
выведет.всю.строку.
Если мы не будем делать явное сравнение и вместо этого напишем неуклюжее '/ Jones/ {print $0}', строка между слешами станет регулярным выражением, которое будет сопоставляться с любым другим регулярным выражением в строке ввода. Коман- да, как и прежде, будет выводить все имена, но также найдет строки, где Jones может быть полным именем или частью более длинного имени (например, "Jonestown").
join
Команда.
join
.объединяет.строки.из.двух.файлов.с.общими.полями..Чтобы.файлы.
были.правильно.объединены,.их.нужно.корректно.отсортировать.
Общие параметры команды
‰
‰ -j
.—.использовать.указанный.номер.поля..Поля.начинаются.с.1.
‰
‰ -t
.—.символ,.который.будет.использоваться.в.качестве.разделителя.полей..
По.умолчанию.разделителем.является.пробел..
--header
.—.использовать.в.ка- честве.заголовка.первой.строки.каждого.файла.
Пример команды
Рассмотрим.файлы,.приведенные.в.примерах.6.2.и.6.3.
Пример 6.2. username.txt
1,jdoe
2,puser
3,jsmith

98 Часть II • Защитные операции с использованием bash
Пример 6.3. accesstime.txt
0745,file1.txt,1 0830,file4.txt,2 0830,file5.txt,3
Оба.файла.имеют.общее.поле.данных,.хранящее.идентификаторы.пользователей..
В.файле.
accesstime.txt
.идентификатор.пользователя.находится.в.третьем.столбце..
В.файле.
usernames.txt
.идентификатор.пользователя.находится.в.первом.столбце..
Вы.можете.объединить.эти.два.файла.следующим.образом:
$ join -1 3 -2 1 -t, accesstime.txt username.txt
1,0745,file1.txt,jdoe
2,0830,file4.txt,puser
3,0830,file5.txt,jsmith
Параметр.
-1 3
.указывает.
join
.использовать.третий.столбец.в.первом.файле.
(
accesstime.txt
),.а.
-2 1
.указывает.взять.при.объединении.файлов.первый.столбец.
во.втором.файле.(
usernames.txt
)..Параметр.
–t,
.говорит.о.том,.что.в.качестве.раз- делителя.полей.используется.запятая.
sed
Команда.
sed
.позволяет.выполнять.редактирование,.например.заменять.символы.
в.потоке.данных.
Общие параметры команды
-i
.—.редактировать.указанный.файл.и.перезаписать.на.месте.
Пример команды
Команда.
sed
.многофункциональная.и.может.быть.использована.для.выполнения.
различных.действий..Одна.из.наиболее.распространенных.функций.—.замена.
символов.или.последовательностей.символов.
Посмотрите.файл.
ips.txt
,.показанный.в.примере.6.4.
Пример 6.4. ips.txt ip,OS
10.0.4.2,Windows 8 10.0.4.35,Ubuntu 16 10.0.4.107,macOS
10.0.4.145,macOS
Вы.можете.использовать.команду.
sed
.для.замены.всех.IP-адресов.10.0.4.35.на.
10.0.4.27:

Глава 6. Обработка данных 99
$ sed 's/10\.0\.4\.35/10.0.4.27/g' ips.txt ip,OS
10.0.4.2,Windows 8 10.0.4.27,Ubuntu 16 10.0.4.107,macOS
10.0.4.145,macOS
В.этом.примере.команда.
sed
.использует.формат,.где.каждый.компонент.разделен.
слешем:
s///
Первая.часть.приведенной.команды.указывает.
sed
.выполнить.замену..Вторая.часть.
команды.(
10\.0\.4\.35
).представляет.собой.шаблон.регулярного.выражения..Третья.
часть.(
10.0.4.27
).—.это.значение,.которое.следует.использовать.для.замены.в.случае.
соответствия.шаблону..Четвертая.часть.—.необязательные.флаги,.которые.в.данном.
случае.(
g
.для.глобальной.замены).указывают.
sed
.заменить.все.экземпляры.в.строке.
(а.не.только.первые),.соответствующие.шаблону.регулярного.выражения.
tail
Команда.
tail
.используется.для.вывода.последних.строк.файла..По.умолчанию.
в.конце.будут.выведены.последние.десять.строк.файла.
Общие параметры команды
‰
‰ -f
.—.выполнять.постоянный.мониторинг.файлов.и.выходных.строк.по.мере.их.
добавления.
‰
‰ -n
.—.вывести.указанное.количество.строк.
Пример команды
Для.вывода.последней.строки.в.файле.
somefile.txt
.напишите.следующее:
$ tail -n 1 somefile.txt
12/30/2017 192.168.10.185 login.html tr
Команда.
tr
.используется.для.преобразования.(замены).одного.символа.в.другой.
или.отображения.замещающего.символа..Эта.команда.также.часто.применяется.
для.удаления.нежелательных.или.посторонних.символов..Ввод.команды.
tr
.осу- ществляется.или.из.стандартного.ввода,.или.из.вывода.других.программ.путем.
перенаправления.

100 Часть II • Защитные операции с использованием bash
Общие параметры команды
‰
‰ -d
.—.удалить.указанные.знаки.из.входного.потока.
‰
‰ -s
.—.уплотнить,.то.есть.заменить.повторяющиеся.экземпляры.символа.одним.
экземпляром.
Пример команды
С.помощью.команды.
tr
.можно.заменить.все.обратные.слеши.прямыми,.а.все.двое- точия.—.вертикальными.линиями:
tr '\\:' '/|' < infile.txt > outfile.txt
Предположим,.содержимое.
infine.txt
.выглядит.следующим.образом:
drive:path\name c:\Users\Default\file.txt
После.выполнения.команды.
tr
.файл.
outfile.txt
.будет.выглядеть.так:
drive|path/name c|/Users/Default/file.txt
Символы.из.первого.аргумента.сопоставляются.с.соответствующими.символами.
второго.аргумента..Два.обратных.слеша.используются.для.обозначения.символа.
одного.обратного.слеша,.так.как.введенный.в.строку.одиночный.обратный.слеш.
имеет.особое.значение.для.
tr
.и.используется.для.обозначения.таких.специальных.
символов,.как.символ.разрыва.строки.(
\n
),.возврата.каретки.(
\r
).или.табуляции.
(
\t
)..Чтобы.избежать.какой-либо.специальной.интерпретации.в.bash,.приводите.
эти.аргументы.в.одиночных.кавычках.
Файлы, получаемые из операционной системы Windows, часто имеют в конце каждой строки символы возврата каретки (carriage return) и перевода строки (line feed) (CR & LF). В системах Linux и macOS для завершения строки предусмотрен только символ разрыва строки (newline). Если вы переносите файл в Linux и хотите избавиться от дополнительных возвращаемых символов, выполните команду tr, как показано ниже:
tr -d '\r' < fileWind.txt > fileFixed.txt
И наоборот, с помощью команды sed вы можете преобразовать конец строки файлов из операционной системы Linux в конец строки для операционной си- стемы Windows:
$ sed -i 's/$/\r/' fileLinux.txt
Параметр -i вносит изменения на месте и записывает их обратно во входной файл.

Глава 6. Обработка данных 101
Обработка файлов c разделителями
Многие.файлы,.которые.вы.будете.обрабатывать,.скорее.всего,.содержат.текст..
Поэтому.важно.уметь.обрабатывать.текст.из.командной.строки..Текстовые.файлы.
разбиваются.на.поля.с.помощью.таких.разделителей,.как.пробел,.символ.табуля- ции.или.запятая..Один.из.наиболее.распространенных.форматов.называется.CSV.
и.обозначает.данные,.разделенные.запятыми.(comma-separated.values)..Поля.могут.
быть.указаны.в.двойных.кавычках.(
"
)..Первая.строка.CSV-файла.часто.является.
заголовком.поля..Пример.6.5.показывает.образец.CSV-файла.
Пример 6.5. csvex.txt
"name","username","phone","password hash"
"John Smith","jsmith","555-555-1212",5f4dcc3b5aa765d61d8327deb882cf99
"Jane Smith","jnsmith","555-555-1234",e10adc3949ba59abbe56e057f20f883e
"Bill Jones","bjones","555-555-6789",d8578edf8458ce06fbc5bb76a58c5ca4
Чтобы.извлечь.из.файла.только.имя,.следует.использовать.команду.
cut
,.указав.
в.качестве.разделителя.полей.запятую.и.номер.возвращаемого.поля:
$ cut -d',' -f1 csvex.txt
"name"
"John Smith"
"Jane Smith"
"Bill Jones"
Обратите.внимание,.что.значения.полей.по-прежнему.заключены.в.двойные.кавыч- ки..Для.некоторых.приложений.это.может.стать.помехой..Чтобы.удалить.кавычки,.
следует.передать.вывод.в.команду.
tr
.с.помощью.опции.
-d
:
$ cut -d',' -f1 csvex.txt | tr -d '"'
name
John Smith
Jane Smith
Bill Jones
Дальнейшую.обработку.данных.можно.выполнить,.удалив.заголовок.поля.с.по- мощью.опции.
-n
.команды.
tail
:
$ cut -d',' -f1 csvex.txt | tr -d '"' | tail -n +2
John Smith
Jane Smith
Bill Jones

102 Часть II • Защитные операции с использованием bash
Опция.
-n
+2
.указывает.команде.
tail
.выводить.содержимое.файла,.начиная.со.
строки.
2
,.удаляя.таким.образом.заголовок.поля.
Вы также можете предоставить команде cut список полей, которые необходимо извлечь. Например, -f1-3 извлечет поля с 1 по 3, а -f1, 4 — поля 1 и 4.
Итерация данных с разделителями
Хотя.для.извлечения.целых.столбцов.данных.можно.использовать.команду.
cut
,.
иногда.при.обработке.файла.требуется.извлекать.поля.построчно..В.этом.случае.
вам.лучше.всего.воспользоваться.командой.
awk
Предположим,.вы.хотите.проверить.хеш.пароля.каждого.пользователя,.который.
хранится.в.файле.
csvex.txt
,.на.соответствие.файлу.со.словарем.известных.паролей.
passwords.txt
.(примеры.6.6.и.6.7).
Пример 6.6. csvex.txt
"name","username","phone","password hash"
"John Smith","jsmith","555-555-1212",5f4dcc3b5aa765d61d8327deb882cf99
"Jane Smith","jnsmith","555-555-1234",e10adc3949ba59abbe56e057f20f883e
"Bill Jones","bjones","555-555-6789",d8578edf8458ce06fbc5bb76a58c5ca4
1   ...   5   6   7   8   9   10   11   12   ...   23
Пример 6.7. passwords.txt password,md5hash
123456,e10adc3949ba59abbe56e057f20f883e password,5f4dcc3b5aa765d61d8327deb882cf99
welcome,40be4e59b9a2a2b5dffb918c0e86b3d7
ninja,3899dcbab79f92af727c2190bbd8abc5
abc123,e99a18c428cb38d5f260853678922e03 123456789,25f9e794323b453885f5181f1b624d0b
12345678,25d55ad283aa400af464c76d713c07ad sunshine,0571749e2ac330a7455809c6b0e7af90
princess,8afa847f50a716e64932d995c8e7435a qwerty,d8578edf8458ce06fbc5bb76a58c5c
Вы.можете.извлечь.хеш.пароля.каждого.пользователя.из.файла.
csvex.txt
,.следу- ющим.образом.используя.команду.
awk
:
$ awk -F "," '{print $4}' csvex.txt
"password hash"
5f4dcc3b5aa765d61d8327deb882cf99
e10adc3949ba59abbe56e057f20f883e d8578edf8458ce06fbc5bb76a58c5ca4

Глава 6. Обработка данных 103
По.умолчанию.в.качестве.разделителя.полей.команда.
awk
.использует.пробел,.
поэтому.параметр.
-F
.применяется.для.идентификации.пользовательского.раз- делителя.полей.(
,
).и.последующей.печати.четвертого.поля.(
$4
),.которое.пред- ставляет.собой.хеш.пароля..Затем.вы.можете.использовать.команду.
grep
,.которая.
укажет.команде.
awk
.выводить.любые.совпадения,.найденные.в.файле.
passwords.txt
,.
по.одной.строке:
$ grep "$(awk -F "," '{print $4}' csvex.txt)" passwords.txt
123456,e10adc3949ba59abbe56e057f20f883e password,5f4dcc3b5aa765d61d8327deb882cf99
qwerty,d8578edf8458ce06fbc5bb76a58c5ca4
Обработка по позиции символа
Если.файл.имеет.поля.фиксированной.ширины,.то.для.извлечения.данных.по.по- зиции.символа.можно.использовать.параметр.
-c
.команды.
cut
..В.файле.
csvex.txt номер.телефона.—.это.пример.поля.фиксированной.ширины..Рассмотрим.следу- ющий.пример:
$ cut -d',' -f3 csvex.txt | cut -c2-13 | tail -n +2 555-555-1212 555-555-1234 555-555-6789
Для.извлечения.телефонного.номера.из.поля.3.сначала.используется.команда.
cut
(с.указанием.разделителя)..Поскольку.каждый.номер.телефона.имеет.одинаковое.
количество.символов,.то.для.извлечения.символов,.находящихся.между.кавычка- ми,.вы.можете.использовать.команду.
cut
.с.параметром.
-c
..После.чего.для.удаления.
заголовка.файла.следует.ввести.команду.
tail
Обработка XML
Расширяемый.язык.разметки.(XML).позволяет.произвольно.создавать.теги.
и.элементы,.описывающие.данные..В.примере.6.8.представлен.пример.XML- документа.
Пример 6.8. book.txt




Paul

Troncone

104 Часть II • Защитные операции с использованием bash



Carl
Albing


.Это.открывающий.тег,.содержащий.два.атрибута,.также.известные.как.пара.
«имя/значение»..Значения.атрибутов.всегда.должны.заключаться.в.кавычки.
.Открывающий.тег.
.Это.элемент.с.содержимым.
.Закрывающий.тег.
Для.успешной.обработки.вы.должны.иметь.возможность.поиска.в.XML.и.извле- чения.данных.из.тегов..Это.действие.можно.выполнить.с.помощью.команды.
grep
Найдем.все.элементы.
firstName
..Чтобы.вернуть.текст,.соответствующий.шаблону.
регулярного.выражения,.а.не.всей.строке,.следует.использовать.опцию.
-o
:
$ grep -o '.*<\/firstName>' book.xml
Paul
Carl
Обратите.внимание:.если.открывающий.и.закрывающий.теги.находятся.в.одной.
строке,.указанное.регулярное.выражение.находит.только.элемент.XML..Чтобы.
найти.заданный.образец.в.нескольких.строках,.вам.нужно.использовать.две.спе- циальные.функции..Во-первых,.добавьте.к.команде.
grep
.параметр.
-z
,.который.
позволит.в.процессе.поиска.обработать.новые.строки.как.любой.обычный.символ.
и.добавить.нулевое.значение.(ASCII.0).в.конце.каждой.найденной.строки..Затем.
к.шаблону.регулярных.выражений,.который.является.модификатором.сопостав- ления.с.образцом.для.Perl,.добавьте.опцию.
-P
.и.
(?s)
..С.помощью.этого.шаблона.
будет.выполнена.замена.метасимвола.
.соответствующим.символом.новой.строки..
Вот.пример.с.этими.двумя.функциями:
$ grep -Pzo '(?s).*?<\/author>' book.xml

Paul
Troncone

Carl
Albing

Смотрите также файлы