Файл: Paul Troncone and Carl AlbingCybersecurity Ops with bashAttack, Defend, and Analyze from the.pdf

Пример 7.7. histogram_plain.sh
#!/bin/bash -
#
# Bash и кибербезопасность
# histogram_plain.sh
#
# Описание:
# Создание горизонтальной гистограммы с указанными данными без использования
# ассоциативных массивов, хорошо подходит для старых версий bash
#
# Использование: ./histogram_plain.sh
# формат ввода: label value
#
declare -a RA_key RA_val

declare -i max ndx

Глава 7. Анализ данных 123
max=0
maxbar=50 # размер самой длинной строки ndx=0
while read labl val do
RA_key[$ndx]=$labl

RA_value[$ndx]=$val
# сохранить наибольшее значение; для масштабирования
(( val > max )) && max=$val let ndx++
done
# масштабировать и вывести for ((j=0; j
do printf "%-20.20s " ${RA_key[$j]}
pr_bar ${RA_value[$j]} $max done
Эта.версия.сценария.позволяет.избежать.использования.ассоциативных.массивов.
(например,.в.более.старых.версиях.bash.или.в.системах.macOS)..Здесь.мы.применя- ем.два.отдельных.массива:.один.для.индексного.значения.и.один.—.для.счетчиков..
Поскольку.это.обычные.массивы,.мы.должны.использовать.целочисленный.индекс.
и.будем.вести.простой.подсчет.в.переменной.
ndx
.Здесь.имена.переменных.объявляются.как.массивы..Строчная.
a
.указывает,.что.
они.являются.массивами,.но.это.не.ассоциативные.массивы..Это.не.обязательное.
требование,.зато.рекомендуемая.практика..Аналогично.в.следующей.строке.мы.за- даем.параметр.
-i
.для.объявления.этих.переменных.целыми.числами,.что.делает.их.
более.эффективными,.чем.необъявленные.переменные.оболочки.(которые.хранятся.
в.виде.строк)..Повторимся:.как.видно.из.того,.что.мы.не.объявляем.
maxbar
,.а.просто.
используем.его,.это.необязательное.требование.
.Пары.«ключ/значение».хранятся.в.отдельных.массивах,.но.в.одном.и.том.же.
месте.индекса..Это.ненадежный.подход.—.изменения.в.сценарии.в.какой-то.момент.
могут.привести.к.тому,.что.два.массива.не.синхронизируются.
.Цикл.
for
,.в.отличие.от.предыдущего.сценария,.используется.для.простого.под- счета.целых.чисел.от.
0
.до.
ndx
..Здесь.переменная.
j
.выступает.препятствием.для.
индекса.в.цикле.
for
.внутри.сценария.
pr_bar
,.несмотря.на.то.что.внутри.функции.
мы.достаточно.аккуратно.объявляем.эту.версию.
i
.как.локальную.функцию..Вы..до- веряете.этой.функции?.Измените.здесь.
j
.на.
i
.и.проверьте,.работает.ли.цикл.(а.он.
работает)..Затем.попробуйте.удалить.локальное.объявление.и.проверить,.успеш- но.ли.завершится.цикл.

124 Часть II • Защитные операции с использованием bash
Такой.подход.с.двумя.массивами.имеет.одно.преимущество..Используя.числовой.
индекс.для.хранения.метки.и.данных,.можно.получить.их.в.том.порядке,.в.котором.
они.были.прочитаны.—.в.числовом.порядке.индекса.
Теперь,.извлекая.соответствующие.поля.из.
access.log
.и.перенося.результаты.
в.
summer.sh
,.а.затем.—.в.
histogram.sh
,.можно.наглядно.увидеть,.какие.хосты.пере- дали.наибольшее.количество.байтов:
$ cut -d' ' -f1,10 access.log | bash summer.sh | bash histogram.sh
192.168.0.36 ##################################################
192.168.0.37 #############################
192.168.0.11 #############################
192.168.0.14 ################################
192.168.0.26 #######
Хотя.данный.подход.может.показаться.не.столь.эффективным.для.небольшого.объ- ема.выборочных.данных,.возможность.визуализации.имеет.неоценимое.значение.
при.рассмотрении.более.крупных.наборов.данных.
Помимо.количества.байтов,.передаваемых.через.IP-адрес.или.хост,.часто.ин- тересно.просмотреть.данные,.отсортированные.по.дате.и.времени..Для.этого.
можно.использовать.сценарий.
summer.sh
,.но.из-за.формата.файла.
access.log
,.
прежде.чем.передать.его.в.сценарий,.его.нужно.дополнительно.обработать..Если.
для.извлечения.переданных.полей.с.датой/временем.и.байтов.используется.
команда.
cut
,.остаются.данные,.которые.могут.вызвать.некоторые.проблемы.
для.сценария:
$ cut -d' ' -f4,10 access.log
[12/Nov/2017:15:52:59 2377
[12/Nov/2017:15:52:59 4529
[12/Nov/2017:15:52:59 1112
Как.видно.из.этого.вывода,.необработанные.данные.начинаются.с.символа.
[
Из-за.него.в.сценарии.появляется.проблема,.так.как.он.обозначает.начало.массива.
в.bash..Чтобы.эту.проблему.устранить,.можно.использовать.дополнительную.ите- рацию.команды.
cut
.с.параметром.
-c2
,.с.помощью.которого.символ.будет.удален..
Этот.параметр.указывает.команде.
cut
.извлекать.данные.по.символам,.начиная.
с.позиции.
2
.и.переходя.к.концу.строки.(
-
)..Вот.исправленный.вывод.с.удаленной.
квадратной.скобкой:
$ cut -d' ' -f4,10 access.log | cut -c2-
12/Nov/2017:15:52:59 2377 12/Nov/2017:15:52:59 4529 12/Nov/2017:15:52:59 1112

Глава 7. Анализ данных 125
Вместо того чтобы второй раз использовать команду cut, можно добавить команду tr. Параметр -d удаляет указанный символ — в данном случае квадратную скобку.
cut -d' ' -f4,10 access.log | tr -d '['
Необходимо.также.определить.способ.группирования.данных,.связанных.с.датами:.
по.дню,.месяцу,.году,.часу.и.т..д..Для.этого.можно.просто.изменить.параметр.для.
второй.итерации.команды.
cut
..В.табл..7.3.показаны.параметры.команды.
cut
,.кото- рые.используются.для.извлечения.различных.форм.поля.даты/времени..Обратите.
внимание,.что.эти.параметры.предназначены.для.файлов.журнала.Apache.
Таблица 7.3. Извлечение поля даты/времени журнала Apache
Извлечение даты/времени Образец вывода
Параметры команды cut
Дата/время.
12/Nov/2017:19:26:09
-c2-
Месяц,.день.и.год
12/Nov/2017
-c2-12,22-
Месяц.и.год
Nov/2017
-c5-12,22-
Полное.время
19:26:04
-c14-
Час
19
-c14-15,22-
Год
2017
-c9-12,22-
Сценарий.
histogram.sh
.может.быть.особенно.полезен.при.просмотре.данных,.свя- занных.с.датами..Например,.если.в.организации.имеется.внутренний.веб-сервер,.
доступ.к.которому.осуществляется.только.в.рабочее.время.с.09:00.до.17:00,.можно.
с.помощью.такой.гистограммы.ежедневно.просматривать.файл.журнала.сервера,.
чтобы.проверить,.имеются.ли.всплески.активности.после.обычного.рабочего.дня..
Большие.всплески.активности.или.передача.данных.вне.обычного.рабочего.вре- мени.может.свидетельствовать.об.эксфильтрации.со.стороны.злоумышленника..
При.обнаружении.каких-либо.аномалий.можно.отфильтровать.данные.по.конкрет- ной.дате.и.времени.и.проверять.доступ.к.странице,.чтобы.определить,.является.ли.
действие.вредоносным.
Например,.если.требуется.просмотреть.гистограмму.общего.объема.данных,.полу- ченных.в.определенный.день.за.каждый.час,.можно.выполнить.следующую.команду:
$ awk '$4 "12/Nov/2017" {print $0}' access.log | cut -d' ' -f4,10 |
cut -c14-15,22- | bash summer.sh | bash histogram.sh
17 ##
16 ###########
15 ############
19 ##
18 ##################################################

126 Часть II • Защитные операции с использованием bash
Здесь.файл.
access.log
.пересылается.с.помощью.команды.
awk
.для.извлечения.
запи.сей.с.определенной.датой..Обратите.внимание.на.использование.вместо.сим- волов.
==
.оператора.подобия.(

),.поскольку.поле.4.также.содержит.информацию.
о.времени..Эти.записи.передаются.команде.
cut
.сначала.для.извлечения.полей.
даты/времени.и.переданных.байтов,.а.затем.для.извлечения.данных.о.времени..
После.этого.с.помощью.сценария.
summer.sh
.данные.суммируются.по.времени.
(часам).и.с.помощью.
histogram.sh
.преобразуются.в.гистограмму..Результатом.ста- новится.гистограмма,.которая.отображает.общее.количество.байтов,.передаваемых.
каждый.час.12.ноября.2017.года.
Чтобы получить вывод в числовом порядке, передайте его из сценария гистограммы команде sort -n. Зачем нужна сортировка? Сценарии summer.sh и histogram.sh, просматривая список индексов своих ассоциативных массивов, генерируют свои выходные данные. Поэтому их вывод вряд ли будет осмысленным (скорее данные будут выведены в порядке, определяемом внутренним алгоритмом хеширования).
Если это объяснение оставило вас равнодушными, просто проигнорируйте его и не забудьте использовать сортировку на выходе.
Если вы хотите, чтобы вывод был упорядочен по объему данных, вам нужно будет добавить сортировку между двумя сценариями. Необходимо также использовать histogram_plain.sh — версию сценария гистограммы, в которой не применяются ассоциативные массивы.
Поиск уникальности в данных
Ранее.IP-адрес.192.168.0.37.был.идентифицирован.как.система,.которая.имела.
наибольшее.количество.запросов.страницы..Следующий.логический.вопрос:.ка- кие.страницы.запрашивала.эта.система?.Ответив.на.него,.можно.получить.пред- ставление.о.том,.что.система.делала.на.сервере,.и.классифицировать.это.действие.
как.безопасное,.подозрительное.или.вредоносное..Для.этого.можно.использовать.
команду.
awk
.и.
cut
.и.передать.вывод.в.
countem.sh
:
$ awk '$1 == "192.168.0.37" {print $0}' access.log | cut -d' ' -f7 |
bash countem.sh | sort -rn | head -5 14 /files/theme/plugin49c2.js?1490908488 14 /files/theme/mobile49c2.js?1490908488 14 /files/theme/custom49c2.js?1490908488 14 /files/main_styleaf0e.css?1509483497 3 /consulting.html
Хотя.извлечение.и.обрезка.данных.могут.быть.реализованы.путем.конвейерной.
передачи.команд.и.сценариев,.для.этого.потребуется.передавать.данные.несколько.
раз..Такой.метод.можно.применить.ко.многим.наборам.данных,.но.он.не.подходит.

Глава 7. Анализ данных 127
для.очень.больших.наборов..Метод.можно.оптимизировать,.написав.сценарий.
bash,.специально.разработанный.для.извлечения.и.подсчета.количества.доступов.
к.страницам,.—.для.этого.требуется.только.один.проход.данных..В.примере.7.8.по- казан.такой.сценарий.
Пример 7.8. pagereq.sh
# Bash и кибербезопасность
# pagereq.sh
#
# Описание:
# Подсчет с помощью bash количества запросов страниц для данного IP-адреса
#
# Использование:
# pagereq < inputfile
# IP-адрес для поиска
#
declare -A cnt

while read addr d1 d2 datim gmtoff getr page therest do if [[ $1 == $addr ]] ; then let cnt[$page]+=1 ; fi done for id in ${!cnt[@]}

do printf "%8d %s\n" ${cnt[$id]} $id done
.Мы.объявляем.
cnt
.как.ассоциативный.массив.и.в.качестве.индекса.можем.ис- пользовать.строку..В.данной.программе.в.качестве.индекса.мы.будем.использовать.
адрес.страницы.(URL).
.
${!cnt
[@]}
.выводит.список.всех.значений.индекса,.которые.были.обнаружены..
Обратите.внимание:.они.не.будут.перечислены.в.удобном.порядке.
В.ранних.версиях.bash.ассоциативных.массивов.нет..Подсчитать.количество.раз- личных.запросов.страниц.с.определенного.IP-адреса.вы.можете.с.помощью.коман- ды.
awk
,.потому.что.в.ней.есть.ассоциативные.массивы.(пример.7.9).
Пример 7.9. pageref.awk
# Bash и кибербезопасность
# pagereq.awk
#
# Описание:
# Подсчет количества запросов страниц для данного IP-адреса с помощью awk
#
# Использование:
# pagereq < inputfile
# IP-адрес для поиска
#

128 Часть II • Защитные операции с использованием bash
# подсчитать количество запросов страниц с адреса ($1)
awk -v page="$1" '{ if ($1==page) {cnt[$7]+=1 } }

END { for (id in cnt) {

printf "%8d %s\n", cnt[id], id
}
}'
.В.этой.строке.есть.две.переменные.
$1
,.разница.между.которыми.очень.большая..
Первая.переменная.
$1
.является.переменной.оболочки.и.ссылается.на.первый.
аргумент,.предоставленный.этому.сценарию.при.его.вызове..Вторая.переменная.
$1
.—.это.
awk
..В.каждой.строке.эта.переменная.относится.к.первому.полю.ввода..
Первая.переменная.
$1
.была.назначена.странице.переменной.
awk
,.чтобы.ее.можно.
было.сравнить.с.каждой.переменной.
$1
awk
.(то.есть.с.каждым.первым.полем.вход- ных.данных).
.Простой.синтаксис.приводит.к.тому,.что.переменная.
id
.перебирает.значения.
индекса.в.массиве.
cnt
..Это.гораздо.более.простой.синтаксис,.чем.синтаксис.обо- лочки.
"${!cnt[@]}"
,.но.такой.же.эффективный.
Можно.запустить.сценарий.
pagereq.sh
,.указав.IP-адрес,.который.требуется.найти.
и.перенаправить.
access.log
.в.качестве.входных.данных:
$ bash pagereq.sh 192.168.0.37 < access.log | sort -rn | head -5 14 /files/theme/plugin49c2.js?1490908488 14 /files/theme/mobile49c2.js?1490908488 14 /files/theme/custom49c2.js?1490908488 14 /files/main_styleaf0e.css?1509483497 3 /consulting.html
Выявление аномалий в данных
В.Интернете.строка агента пользователя.представляет.собой.небольшой.фраг- мент.текстовой.информации,.отправляемый.браузером.на.веб-сервер,.который.
идентифицирует.операционную.систему.клиента,.тип.браузера,.версию.и.другую.
информацию..Обычно.используется.веб-серверами.для.обеспечения.совместимости.
страниц.с.браузером.пользователя..Вот.пример.такой.строки:
Mozilla/5.0 (Windows NT 6.3; Win64; x64; rv:59.0) Gecko/20100101 Firefox/59.0
Эта.строка.идентифицирует.систему.как.Windows.NT.версии.6.3.(она.же.Windows.8.1).
с.64-разрядной.архитектурой.и.с.браузером.Firefox.
Строка.агента.пользователя.может.нас.заинтересовать.по.двум.причинам..Во- первых,.значительный.объем.информации,.которую.эта.строка.передает,.можно.
применять.для.идентификации.типов.систем.и.браузеров,.обращающихся.к.сер-

Глава 7. Анализ данных 129
веру..Во-вторых,.эта.строка.настраивается.конечным.пользователем.и.может.быть.
использована.для.идентификации.систем,.в.которых.не.установлен.стандартный.
браузер.или.вообще.нет.браузера.(то.есть.поисковых.роботов.(web.crawler)).
Вы.можете.определить.необычные.пользовательские.агенты,.предварительно.со- ставив.список.известных.безопасных.пользовательских.агентов..Для.этого.упраж- нения.мы.используем.очень.маленький.список.браузеров,.которые.не.являются.
специфичными.для.конкретной.версии.(пример.7.10).
Пример 7.10. useragents.txt
Firefox
Chrome
Safari
Edge
Список популярных пользовательских агентов можно найти по адресу http://
bit.ly/2WugjXl.
Затем.вы.можете.прочитать.журнал.веб-сервера.и.сравнить.каждую.строку.со.
списком.популярных.пользовательских.агентов.(браузеров),.пока.не.будет.по- лучено.совпадение..Если.совпадения.не.будет,.строка.должна.рассматриваться.
как.аномалия.и.печататься.в.стандартном.выводе.вместе.с.IP-адресом.системы,.
выполняющей.запрос..Такое.сравнение.дает.нам.дополнительную.информацию,.
связанную.с.рассматриваемыми.данными,.—.с.ее.помощью.мы.сможем.идентифи- цировать.систему.с.необычным.пользовательским.агентом.и.получим.еще.один.
путь.для.дальнейшего.изучения.
Пример 7.11. useragents.sh
#!/bin/bash -
#
# Bash и кибербезопасность
# useragents.sh
#
# Описание:
# Чтение журнала и поиск неизвестных пользовательских агентов
#
# Использование: ./useragents.sh <
# Журнал веб-сервера Apache
#
# несовпадение — поиск по массиву известных имен
# возвращает 1 (false), если совпадение найдено
# возвращает 0 (true), если совпадений нет

130 Часть II • Защитные операции с использованием bash function mismatch ()

{
local -i i

for ((i=0; i<$KNSIZE; i++))
do
[[ "$1" = .*${KNOWN[$i]}.* ]] && return 1

done return 0
}
readarray -t KNOWN < "useragents.txt"

KNSIZE=${#KNOWN[@]}

# предварительная обработка лог-файла (stdin),
# чтобы выбрать IP-адреса и пользовательские агенты awk -F'"' '{print $1, $6}' | \
while read ipaddr dash1 dash2 dtstamp delta useragent

do if mismatch "$useragent"
then echo "anomaly: $ipaddr $useragent"
fi done
.Сценарий.будет.основан.на.функции.несовпадения..Если.обнаружится.несоот- ветствие,.будет.возвращено.значение.
success
.или.
true
..Это.значит,.что.совпадение.
со.списком.известных.пользовательских.агентов.не.найдено..Данная.логика.может.
показаться.нестандартной,.но.так.удобнее.читать.оператор.
if
,.содержащий.вызов.
mismatch
.Объявление.нашего.цикла.
for
.в.качестве.локальной.переменной.—.хорошая.идея..
Данный.шаг.в.сценарии.не.является.обязательным.
.Здесь.представлены.две.строки.для.сравнения:.входные.данные.из.файла.журна- ла.и.строка.из.списка.известных.пользовательских.агентов..Для.гибкого.сравнения.
используется.оператор.сравнения.регулярных.выражений.(
the=
)..Значение.
.*
(ноль.или.более.вхождений.любого.символа),.размещенное.по.обе.стороны.ссылки.
массива.
$KNOWN
,.говорит.о.том,.что.совпадение.известной.строки.может.быть.най- дено.в.любом.месте.другой.строки.
.Каждая.строка.файла.добавляется.как.элемент.к.указанному.имени.массива..
Это.дает.нам.массив.известных.пользовательских.агентов..В.bash.существует.два.
способа.добавить.строки.к.массиву:.использовать.либо.
readarray
,.как.сделано.
в.этом.примере,.либо.
mapfile
..Опция.
-t
.удаляет.завершающий.символ.новой.
строки.из.каждой.прочитанной.строки..Здесь.указан.файл,.содержащий.список.
известных.пользовательских.агентов;.при.необходимости.его.можно.изменить.

Глава 7. Анализ данных 131
.Здесь.вычисляется.размер.массива..Полученное.значение.используется.внутри.
функции.
mismatch
.для.циклического.перебора.массива..Вне.нашего.цикла.мы.вы- числяем.его.один.раз,.чтобы.при.каждом.вызове.функции.избежать.повторного.
вычисления.
.Входная.строка.представляет.собой.сложное.сочетание.слов.и.кавычек..Чтобы.
захватить.строку.агента.пользователя,.в.качестве.разделителя.полей.мы.указы- ваем.двойные.кавычки..Однако.это.означает,.что.наше.первое.поле.содержит.
больше.чем.просто.IP-адрес..Используя.команду.
read
.для.получения.IP-адреса,.
мы.можем.проанализировать.пробелы..Последний.аргумент.
read
.принимает.все.
оставшиеся.слова,.чтобы.можно.было.захватить.все.слова.строки.пользователь- ского.агента.
При.запуске.сценария.
useragents.sh
.будут.выведены.любые.строки.пользователь- ского.агента,.не.найденные.в.файле.
useragents.txt
:
$ bash useragents.sh < access.log anomaly: 192.168.0.36 Mozilla/4.5 (compatible; HTTrack 3.0x; Windows 98)
anomaly: 192.168.0.36 Mozilla/4.5 (compatible; HTTrack 3.0x; Windows 98)
anomaly: 192.168.0.36 Mozilla/4.5 (compatible; HTTrack 3.0x; Windows 98)
anomaly: 192.168.0.36 Mozilla/4.5 (compatible; HTTrack 3.0x; Windows 98)
anomaly: 192.168.0.36 Mozilla/4.5 (compatible; HTTrack 3.0x; Windows 98)
Выводы
В.этой.главе.мы.рассмотрели.методы.статистического.анализа.для.выявления.
необычной.и.аномальной.активности.в.файлах.журналов..Такой.анализ.даст.вам.
представление.о.том,.что.происходило.ранее..В.следующей.главе.мы.рассмотрим,.
как.анализировать.файлы.журналов.и.другие.данные,.чтобы.понять,.что.происходит.
в.системе.в.режиме.реального.времени.
Упражнения
1.. В.следующем.примере.для.печати.первого.и.десятого.полей.файла.
access.log используется.команда.
cut
:
$ cut -d' ' -f1,10 access.log | bash summer.sh | sort -k 2.1 -rn

1   ...   8   9   10   11   12   13   14   15   ...   23