Cette page ne peut être modifiée.

Linux : Awk la commande magique pour manipuler des fichiers

De $1

Sommaire
Pour restaurer, vous devez comparer la version à restaurer avec la version en cours en les sélectionnant toutes 2 dans la liste des versions.

Combiner les versions comparées

Comparaison de la version 09:34, 27 Jan 2019 modifiée par franck avec la version 11:44, 27 Jan 2019 modifiée par franck.

punaise1.gif

Sommaire

{{page.Toc;}}

 

 

 howto05_small.pngUne petite aide...

La commande awk est peut-être une des commandes les plus complète pour manipuler des fichiers textes :

 

 

 installations-logiciels-professionnels-entreprises02_small50.pngExemple N°1

 Voici notre fichier d'origine :

5.79.79.210,IP used by banjori C&C,2019-01-27 09:03,http://osint.bambenekconsulting.com/manual/banjori.txt
23.105.99.15,IP used by banjori C&C,2019-01-27 09:03,http://osint.bambenekconsulting.com/manual/banjori.txt
23.107.124.53,IP used by banjori C&C,2019-01-27 09:03,http://osint.bambenekconsulting.com/manual/banjori.txt
23.236.62.147,IP used by banjori C&C,2019-01-27 09:03,http://osint.bambenekconsulting.com/manual/banjori.txt
23.245.61.250,IP used by banjori C&C,2019-01-27 09:03,http://osint.bambenekconsulting.com/manual/banjori.txt

 

Je souhaite sortir de ces lignes uniquement les adresses IP et les formater pour intégrer cette liste dans NGINX

wget -q -O - http://osint.bambenekconsulting.com/feeds/c2-ipmasterlist.txt | awk --posix '/^[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}/ { print $1}'

 

Ca nous donne comme réponse :

5.79.79.210,IP
23.105.99.15,IP
23.107.124.53,IP
23.236.62.147,IP
23.245.61.250,IP
23.89.102.179,IP
23.89.20.107,IP
31.11.33.228,IP
43.230.142.125,IP
43.241.196.105,IP

 

Pas mal, beaucoup de pollution d'enlevé mais il reste ",IP" sur chaque ligne, nous allons donc rajouter une deuxième commande :

wget -q -O - http://osint.bambenekconsulting.com/feeds/c2-ipmasterlist.txt | awk --posix '/^[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}/ { print $1}' | awk -F "," '{gsub("IP"," ",$1);print $1}'

 

Ce qui nous donne :

5.79.79.210
23.105.99.15
23.107.124.53
23.236.62.147
23.245.61.250
23.89.102.179
23.89.20.107
31.11.33.228
43.230.142.125
43.241.196.105

 

Parfait, reste maintenant la mise en forme pour NGINX :

 wget -O - http://osint.bambenekconsulting.com/feeds/c2-ipmasterlist.txt | awk --posix '/^[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}/ { print "deny " $1 ";"}' | awk -F "," '{gsub("IP"," ",$1);print $1"; # comment=ipmasterlist"}'

 

Ce qui nous donne ceci :

deny 5.79.79.210; # comment=ipmasterlist
deny 23.105.99.15; # comment=ipmasterlist
deny 23.107.124.53; # comment=ipmasterlist
deny 23.236.62.147; # comment=ipmasterlist
deny 23.245.61.250; # comment=ipmasterlist
deny 23.89.102.179; # comment=ipmasterlist
deny 23.89.20.107; # comment=ipmasterlist
deny 31.11.33.228; # comment=ipmasterlist
deny 43.230.142.125; # comment=ipmasterlist
deny 43.241.196.105; # comment=ipmasterlist

 

Pour finir, on alimente un nouveau fichier .conf

wget -O - http://osint.bambenekconsulting.com/feeds/c2-ipmasterlist.txt | awk --posix '/^[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}/ { print "deny " $1 ";"}' | awk -F "," '{gsub("IP"," ",$1);print $1"; # comment=ipmasterlist"}' >> ipmasterlist-deny.conf

 

C'est finit, on peu intégrer ce fichier dans NGINX ...

 

 

recherche01_small04.pngSources 

http://www.funix.org/fr/unix/awk.htm 

http://blog.inforeseau.com/2010/10/awk-remplacement-caracteres-parser-fichiers

 

 

 howto05_small.pngVous en pensez quoi ?


 

{{ iframe{ uri: "http://questions.yakakliker.org/22117/lang-fr" , width: "540", height: "420" } }} 

 

 

Enrichissez Yakakliker en y contribuant vous aussi.

Cette page n'a encore aucun contenu. Enrichissez Yakakliker en y contribuant vous aussi.

Version provenant de 09:34, 27 Jan 2019

Cette révision est modifiée par franck (Ban)

punaise1.gif

Sommaire

{{page.Toc;}}

 

 

 howto05_small.pngUne petite aide...

La commande awk est peut-être une des commandes les plus complète pour manipuler des fichiers textes :

 

 

 installations-logiciels-professionnels-entreprises02_small50.pngExemple N°1

 Voici notre fichier d'origine :

5.79.79.210,IP used by banjori C&C,2019-01-27 09:03,http://osint.bambenekconsulting.com/manual/banjori.txt
23.105.99.15,IP used by banjori C&C,2019-01-27 09:03,http://osint.bambenekconsulting.com/manual/banjori.txt
23.107.124.53,IP used by banjori C&C,2019-01-27 09:03,http://osint.bambenekconsulting.com/manual/banjori.txt
23.236.62.147,IP used by banjori C&C,2019-01-27 09:03,http://osint.bambenekconsulting.com/manual/banjori.txt
23.245.61.250,IP used by banjori C&C,2019-01-27 09:03,http://osint.bambenekconsulting.com/manual/banjori.txt

 

Je souhaite sortir de ces lignes uniquement les adresses IP et les formater pour intégrer cette liste dans NGINX

wget -q -O - http://osint.bambenekconsulting.com/feeds/c2-ipmasterlist.txt | awk --posix '/^[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}/ { print $1}'

 

Ca nous donne comme réponse :

5.79.79.210,IP
23.105.99.15,IP
23.107.124.53,IP
23.236.62.147,IP
23.245.61.250,IP
23.89.102.179,IP
23.89.20.107,IP
31.11.33.228,IP
43.230.142.125,IP
43.241.196.105,IP

 

Pas mal, beaucoup de pollution d'enlevé mais il reste ",IP" sur chaque ligne, nous allons donc rajouter une deuxième commande :

wget -q -O - http://osint.bambenekconsulting.com/feeds/c2-ipmasterlist.txt | awk --posix '/^[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}/ { print $1}' | awk -F "," '{gsub("IP"," ",$1);print $1}'

 

Ce qui nous donne :

5.79.79.210
23.105.99.15
23.107.124.53
23.236.62.147
23.245.61.250
23.89.102.179
23.89.20.107
31.11.33.228
43.230.142.125
43.241.196.105

 

Parfait, reste maintenant la mise en forme pour NGINX :

 wget -O - http://osint.bambenekconsulting.com/feeds/c2-ipmasterlist.txt | awk --posix '/^[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}/ { print "deny " $1 ";"}' | awk -F "," '{gsub("IP"," ",$1);print $1"; # comment=ipmasterlist"}'

 

Ce qui nous donne ceci :

deny 5.79.79.210; # comment=ipmasterlist
deny 23.105.99.15; # comment=ipmasterlist
deny 23.107.124.53; # comment=ipmasterlist
deny 23.236.62.147; # comment=ipmasterlist
deny 23.245.61.250; # comment=ipmasterlist
deny 23.89.102.179; # comment=ipmasterlist
deny 23.89.20.107; # comment=ipmasterlist
deny 31.11.33.228; # comment=ipmasterlist
deny 43.230.142.125; # comment=ipmasterlist
deny 43.241.196.105; # comment=ipmasterlist

 

Pour finir, on alimente un nouveau fichier .conf

wget -O - http://osint.bambenekconsulting.com/feeds/c2-ipmasterlist.txt | awk --posix '/^[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}/ { print "deny " $1 ";"}' | awk -F "," '{gsub("IP"," ",$1);print $1"; # comment=ipmasterlist"}' >> ipmasterlist-deny.conf

 

C'est finit, on peu intégrer ce fichier dans NGINX ...

 

 

recherche01_small04.pngSources 

http://www.funix.org/fr/unix/awk.htm 

http://blog.inforeseau.com/2010/10/awk-remplacement-caracteres-parser-fichiers

 

 

 howto05_small.pngVous en pensez quoi ?


 

{{ iframe{ uri: "http://questions.yakakliker.org/22117/lang-fr" , width: "540", height: "420" } }} 

 

 

Enrichissez Yakakliker en y contribuant vous aussi.

Cette page n'a encore aucun contenu. Enrichissez Yakakliker en y contribuant vous aussi.

Version de 11:44, 27 Jan 2019

Cette révision est modifiée par franck (Ban)

punaise1.gif

Sommaire

{{page.Toc;}}

 

 

 howto05_small.pngUne petite aide...

La commande awk est peut-être une des commandes les plus complète pour manipuler des fichiers textes :

 

 

 installations-logiciels-professionnels-entreprises02_small50.pngExemple N°1

 Voici notre fichier d'origine :

5.79.79.210,IP used by banjori C&C,2019-01-27 09:03,http://osint.bambenekconsulting.com/manual/banjori.txt
23.105.99.15,IP used by banjori C&C,2019-01-27 09:03,http://osint.bambenekconsulting.com/manual/banjori.txt
23.107.124.53,IP used by banjori C&C,2019-01-27 09:03,http://osint.bambenekconsulting.com/manual/banjori.txt
23.236.62.147,IP used by banjori C&C,2019-01-27 09:03,http://osint.bambenekconsulting.com/manual/banjori.txt
23.245.61.250,IP used by banjori C&C,2019-01-27 09:03,http://osint.bambenekconsulting.com/manual/banjori.txt

 

Je souhaite sortir de ces lignes uniquement les adresses IP et les formater pour intégrer cette liste dans NGINX

wget -q -O - http://osint.bambenekconsulting.com/feeds/c2-ipmasterlist.txt | awk --posix '/^[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}/ { print $1}'

 

Ca nous donne comme réponse :

5.79.79.210,IP
23.105.99.15,IP
23.107.124.53,IP
23.236.62.147,IP
23.245.61.250,IP
23.89.102.179,IP
23.89.20.107,IP
31.11.33.228,IP
43.230.142.125,IP
43.241.196.105,IP

 

Pas mal, beaucoup de pollution d'enlevé mais il reste ",IP" sur chaque ligne, nous allons donc rajouter une deuxième commande :

wget -q -O - http://osint.bambenekconsulting.com/feeds/c2-ipmasterlist.txt | awk --posix '/^[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}/ { print $1}' | awk -F "," '{gsub("IP"," ",$1);print $1}'

 

Ce qui nous donne :

5.79.79.210
23.105.99.15
23.107.124.53
23.236.62.147
23.245.61.250
23.89.102.179
23.89.20.107
31.11.33.228
43.230.142.125
43.241.196.105

 

Parfait, reste maintenant la mise en forme pour NGINX :

 wget -O - http://osint.bambenekconsulting.com/feeds/c2-ipmasterlist.txt | awk --posix '/^[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}/ { print "deny " $1 ";"}' | awk -F "," '{gsub("IP"," ",$1);print $1"; # comment=ipmasterlist"}'

 

Ce qui nous donne ceci :

deny 5.79.79.210; # comment=ipmasterlist
deny 23.105.99.15; # comment=ipmasterlist
deny 23.107.124.53; # comment=ipmasterlist
deny 23.236.62.147; # comment=ipmasterlist
deny 23.245.61.250; # comment=ipmasterlist
deny 23.89.102.179; # comment=ipmasterlist
deny 23.89.20.107; # comment=ipmasterlist
deny 31.11.33.228; # comment=ipmasterlist
deny 43.230.142.125; # comment=ipmasterlist
deny 43.241.196.105; # comment=ipmasterlist

 

Pour finir, on alimente un nouveau fichier .conf

wget -O - http://osint.bambenekconsulting.com/feeds/c2-ipmasterlist.txt | awk --posix '/^[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}/ { print "deny " $1 ";"}' | awk -F "," '{gsub("IP"," ",$1);print $1"; # comment=ipmasterlist"}' >> ipmasterlist-deny.conf

 

C'est finit, on peu intégrer ce fichier dans NGINX ...

 

 

recherche01_small04.pngSources 

http://www.funix.org/fr/unix/awk.htm 

http://blog.inforeseau.com/2010/10/awk-remplacement-caracteres-parser-fichiers

 

 

 howto05_small.pngVous en pensez quoi ?


 

{{ iframe{ uri: "http://questions.yakakliker.org/22117/lang-fr" , width: "540", height: "420" } }} 

 

 

Enrichissez Yakakliker en y contribuant vous aussi.