Monthly Archives for April 2017
AI Þing
[Icelandic Post]
Mig hefur lengi langað að gera Alþingi effektískara (í djóki) með því að innleiða gervigreind.
Neural Network sem semur frumvörp, sem kýs um frumvörp og svo kýs nýtt þing og fyrsti partur er tilbúinn. Ég get skrifað frumvörp.
Til að byrja þurfti ég sample texta af frumvörpum, tók stutta stund að búa til dirty scraper í bash sem safnaði saman öllum frumvörpum sem hafa verið skrifuð
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
curl http://www.althingi.is/thingstorf/thingmalalistar-eftir-thingum/lagafrumvorp/?lthing=$thing | sed -n 's/.*href="\([^"]*\).*/\1/p' | grep "thingstorf/thingmalalistar-eftir-thingum/ferill" > $tmp for i in $(cat $tmp);do url="http://www.althingi.is$i" output=$(echo $i | cut -c55- | tr -dc '[:alnum:]\n\r' | tr '[:upper:]' '[:lower:]').txt echo "Processing $output" curl "http://www.althingi.is/thingstorf/thingmalalistar-eftir-thingum/ferill/?ltg=146&mnr=150" -H "Host: www.althingi.is" \ -H "User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0" \ -H "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8" \ -H "Accept-Language: en-US,en;q=0.5" --compressed \ -H "Referer: http://www.althingi.is/thingstorf/thingmalalistar-eftir-thingum/lagafrumvorp/?lthing=146" \ -H "DNT: 1" -H "Connection: keep-alive" -H "Upgrade-Insecure-Requests: 1" \ -H "If-Modified-Since: Tue, 04 Apr 2017 09:12:36 GMT" > $tmp2 cat $tmp2 | grep "altext/146/s/" | grep frum | sed -n 's/.*href="\([^"]*\).*/\1/p' > $tmp3 varp=$(cat $tmp3) frumvarp="http://www.althingi.is$varp" curl $frumvarp | sed -n '/Frumvarp til laga/,/pgextra2/p' > $tmp4 cat $tmp4 | html2text -utf8 > /home/user/thing/output/$output echo done |
[Er þessi kóði fallegur ? nei ….. En virkar hann ? ójá ]