Professionelle EDV-Dienstleistungen für KMUs
Unser System-Status!
Hier fassen wir alle Probleme oder geplanten Wartungen zusammen.
Es ist für heute Abend ab ca 22:45 eine Wartung am Server XE3 geplant,
dadurch werden die Kunden VMs web02 & web03 offline genommen.
Geplante Arbeiten: Tausch einer HDD, rebuild RAID
[UPDATE] @ 23:09
Die VMs web02 & web03 sind wieder online und alle Services laufen wieder normal.
Wir kämpfen seit heute (31.3.) 10 Uhr mit einer massiven DDoS Attacke!
wir haben heute leider einen massiven DDos Angriff durch Hacker auf einen unserer Server.
Dadurch ist auch der Zugang zum zimbra & web05 stark beeinträchtigt gewesen! Inzwischen konnten wir aber in Abstimmung mit dem Rechenzentrum die Lage in den Griff bekommen, wir sind aber immer noch beschäftigt den Normalbetrieb wieder herzustellen.
[UPDATE] @ 31.März ~ 17:30 Uhr
zimbra & web05 sind inzwischen wieder erreichbar.
Bitte entschuldigen Sie den Ausfall! 🙁
[UPDATE] @ 31.März ~ 18:20 Uhr
Es sind für die Abend & Nachstunden noch weitere Wartungsarbeiten geplant. Ausfälle sollten aber kurz sein.
[UPDATE] @ 31.März ~ 20:45 Uhr
Zwischenbilanz:
Innerhalb von 6 Stunden wurden rund 260 GByte sinnloser Traffic an eine normalerweise nicht verwendete IP auf unserem Server gesendet. Durch den gut verteilen DDoS Angriff wurden Filter überlastet. Dadurch haben auch andere VMs / IPs Connectivity Probleme bekommen und waren nur sehr schwer oder gar nicht mehr erreichbar.
Erst nach einiger Ansträngung ist es gelungen die Attacke in den Griff zu bekommen.
Hier ein Traffic-Report zu der einen IP die angegriffen wurde. Normalerweise sind pro Tag sonst auf diesem Netz-Segment nur ein paar Hundert MByte.
Der Traffic Flow ist inzwischen wieder weitestgehend normal.
[UPDATE] @ Freitag, 1. April ~ 10:30 Uhr
Die Angriffe wiederholen sich heute seit ca 9 Uhr! Nur sind sie heute etwas anders. Es erreichen uns heute nur „leere“ TCP Packages. Der Schwellwert von 150.000 Packages pro Sekunde ist weit überschritten, die Netzwert-Infrastruktur regelt das nun automatisch ab. Wir haben das ganze Netz deaktiviert.
DDoS Mitigation wird leider aktuell noch nicht vom RZ unterstützt.
Wir versuchen den Server so anzupassen, dass dieser den Traffic eventuell selbst ausfiltern kann.
[UPDATE] @ Freitag, 1. April ~ 12:30 Uhr
Switch und Server sind permanent überlastet – wir versuchen aktuell ein Hardware Upgrade verbunden mit OS Upgrade zu machen.
[UPDATE] @ Freitag, 1. April ~ 18:00 Uhr
zimbra Server ist wieder online!
[UPDATE] @ Freitag, 1. April ~ 18:20 Uhr
web05 Server ist wieder online!
Der Angriff dauert zwar noch an, ist aber nun diverse Maßnahmen für die Infrastruktur nicht mehr so kritisch. Die VMs sollten online bleiben!
[UPDATE] @ Dienstag, 5.April. ~ 15:00 Uhr
Die Angriffe haben stark nachgelassen und fast aufgehört.
[UPDATE] @ Mittwoch, 6.April. ~ 12 Uhr
heute, bis jetzt, keine Angriffe mehr.
Es gibt seit Donnerstag, 24.9., ein Peering-Problem zwischen A1 Mobil Zugängen und dem IP-Range unserer Rechenzentren. Das Problem tritt allerdings immer nur sporadisch auf und ist daher schwer zu finden.
Alle anderen Zugangsarten (zBsp A1 Festnetz) und Internet Provider (UPC, T-Mobile, Drei, CityCom) sind davon nicht betroffen.
Wir stehen bereits mit dem A1 Support in Kontakt um das Problem eingrenzen und lösen zu können!
[UPDATE] @ Mittwoch, 30.9. 15:00
Das Problem ist inzwischen bis zum 2nd Level Support der A1 eskaliert. Bisher noch keine Lösung gefunden.
[UPDATE] @ Mittwoch, 7.10.
Das A1 Team konnte die A1 Kunden DNS anpassen, es sollte bei allen A1 Mobil Kunden zu keinen Problemen mehr kommen.
ACHTUNG — WARNUNG:
Es gehen gerade gefälschte Rechungen um von „Austria Domain Hostng“ (Hosting ist offenbar falsch geschrieben worden!) mit angeblicher Domain/eMail: info@austriadomainhosting.at und info@austriadomainhosting.com
Die PDF Rechnungen haben keinen Empfänger im Briefkopf und es werden sonst auch keine Domains genannt die man angeblich bezahlen soll!
Der Rechnungsbetrag ist meistens 149€
Das ist eine ganz klare Phishing eMail bzw Rechnung. Bitte NICHT bezahlen! Als Kunde von graz4u bekommen Sie NUR von uns Rechnungen – von sonst keiner anderen Firma!
Sollten Sie unsicher sein ob die Rechnung korrekt ist, kontaktieren Sie uns bitte einfach unter support@graz4u.at
Seit ca 11:30 gibt es IPv4 Routing Probleme zu unserem OTRS Host otrs01.graz4u.at.
Wir arbeiten bereits an einer Lösung!
Der Server ist unter IPv6 normal erreichbar.
[UPDATE] @ 14:00
Wir übersiedeln aktuell die VM, das Routing Problem gestalltet sich leider komplexer als gedacht.
[UPDATE] @ 14:40
Migration ist abgeschlossen, wir versuchen die VM am neuen Server zu aktivieren.
[UPDATE] @ 15:58
otrs01 ist wieder voll verfügbar. Wir haben eine neue VM hochgezogen und die Daten importiert.
Kunden können bereits wieder normal mit OTRS arbeiten.
Sollten Sie bei Ihrer Instanz noch Probleme haben oder Fehler angezeigt bekommen, so schreiben Sie bitte an support@graz4u.at
Die Cluster-DB für unsere DNS hatte beim Backup einen Fehler und dadurch den DB-Cluster destabilisiert. Dadurch konnten nicht alle Domains innerhalb unseres DNS Server Verbunds serviciert werden.
[UPDATE] @ 8:43
Der Fehler ist inzwischen wieder behoben, alle Domains sind wieder im Netz sichtbar.
Wir bitten für den Ausfall um Entschuldigung!
Seit einigen Stunden gibt es Probleme mit der Erreichbarkeit der Domain aon.at bzw aller A1/Telekom Austria Domains von unserem Rechenzentrum aus.
Die DNS der Telekom Austria verweigern den Zugriff von unserem Netz aus.
An der Lösung des Problems wird gearbeitet.
Wir bitten um etwas Geduld und entschuldigen uns für die verzögerte Mailzustellung zu aon.at
[ UPDATE ] @ 2. Okt, 14:20
Das A1 Netz ist wieder erreichbar, die Telekom Austria DNS sind wieder erreichbar. Mails werden bereits wieder zugestellt.
Bei diesen beiden Servern steht für Dienstag, 13. August, ab ca 2100 Uhr eine Wartung an.
Es ist mit einer Downtime von rund 1 Stunde zu rechnen.
Wir bitten für den Ausfall um Ihr Verständnis!
Ob Ihr Hosting davon betroffen ist, finden Sie durch einen Traceroute auf Ihren Server heraus. Traceroutes können Sie z.B. auf der Webseite www.traceroute.org durchführen.
Für Österreich ist dieser Trace zuständig: http://hax.at/trace/index.php?action=trace
Geben Sie dann im Eingabefeld einfach den Namen Ihrer Webpräsenz ein, zBsp: www.meine-domain.at
Nach dem Klick auf „GO!“ erscheint dann der gemachte Trace, sollte im Ziel WEB01.graz4u.at, WEB02.graz4u.at oder WEB03.graz4u.at vorkommen, ist Ihr VHost kurz offline. Wann genau jeder einzelne WebServer gewartet wird ist nicht genau zu sagen, der Ausfall sollte aber jeweils nur kurz sein.
Im Traceroute steht dann z.B.:
Tracing route to de02-he03-d1.graz4u.at [2a01:4f8:130:4242::20] over a maximum of 30 hops: |
Bei Fragen stehen wir Ihnen gerne zur Verfügung unter support@graz4u.at
Es ist am 10. Jänner 2011, ab ca. 19:20 für den Web-Server: web01.graz4u.at = 78.46.21.54 ein Wartungsfenster geplant.
Start: am 10.01.2011 ab ca. 19:20
Ende: bis 10.01.2011 spätestens 23:30
EDIT: Wartungsarbeiten wurden bereits um 20:02 abgeschlossen!
Wir bitten für den Ausfall um Ihr Verständnis!
Weiters müssen auch kurz andere Dienste Offline genommen werden!
Davon betroffen ist auch das Zarafa-Hosting, wir versuchen den jeweiligen Ausfall so kurz wie möglich zu halten!
Hinweis:
Betroffen sind alle Kunden die auf dem genannten Web-Server liegen.
Ob Sie von dem Ausfall betroffen sind, können Sie mittels eines „ping“ zu Ihrem Server ermitteln. Sollte dabei die genannte IP oder der Hostname übereinstimmen, wird Ihre Web-Präsenz kurz Offline sein.
Sollten Sie Fragen dazu haben stehen wir Ihnen unter support@graz4u.at gerne zur Verfügung.
Beginnend mit 10.11. nachmittags bis 11.11. mittags hat es vermehrt Peering-Probleme mit UPC/inode/chello und teilweise auch mit TelekomAustria Kunden gegeben. Es sind bei lange Latenzzeiten & Packet-Drops entstanden, unsere Server an sich waren aber unterdurchschnittlich stark belastet. Unser Rechenzentrums-Provider hat entsprechend reagiert und Netzwerkanpassungen vorgenommen. Die Situation hat sich inzwischen aber wieder normalisiert.
Wir bedauern die entstandenen Unannehmlichkeiten.