Chile NIC has released a pretty detailed statement explaining what happened earlier this week, as networks in Chile started sending DNS queries to China, and getting unreliable -- Great Firewall of China style -- results.
There are still a lot of unanswered questions, the main one being, how exactly did this happen, but you can see some speculation here. I've asked Global Crossing for a comment, but have yet to hear back from them.
The statement is in Spanish, but here's a (not entirely reliable) Google Translation of it.
NS ABNORMAL BEHAVIOR OF 24/03/2010 On Wednesday, 24 March 2010, thanks to information provided by engineers VTR, Mauricio Vergara DNS Manager. CL NIC Chile, announced through a mailing list run by operators DNS-OARC, a strange anomaly involving the alteration of data in DNS responses from one of the Servers Root Server "I" located in China which affected areas such as Facebook.com, Twitter.com and Youtube.com. 1 .- The encountered problem continues? As we learned through Autonomica / Netnod (Swedish Organization, root-server operators ? I?), They would shut down the connection on your node located in China, and as we have reviewed, we have again detected abnormal behavior again. 2 .- Do you know which ISPs were affected? According to what we can detect, at least in Chile were affected ISPs VTR, Telmex and some others who use Global Crossing as its provider of international connections. However, it was not possible determine through which Internet provider that traffic passed, whether through Network Solutions or EQUINIX through. 3 .- What would explain that someone made a root server announcements from China to the rest of the world? Consultation of the root servers are made to any of the 13 root servers located throughout the world; The root server? I?, Like almost everything the rest of the root servers, is actually a collection of more than 40 servers in different It so happens that in this occasion, a server that was located in Beijing, appeared to be "closer" (in terms of routes More They handle anycast system housed in worldwide locations with different providers and NIC Chile do not know what type of configuration used Autonomica / Netnod to post their links to the world. 4 .- Do you think this is accidental? The route to reach China from a country like Chile, is not accidental. Internet works that way and always seeks a path to consider "close" (again, speaking in terms of Internet path). On the other hand, applying filters or alter information in between, either is accidental and requires third party intervention. Although we can not be 100% sure, every indication that this situation is the result of the implementation of Apply filters or change the interim reporting is not accidental and requires third party intervention. 5 .- When they realized the problem? On Wednesday, March 24 around 10:00 AM CDT When Paul Jimenez (Engineer and IP services Monitoring VTR) contacted Ereche Mauricio Vergara, DNS Manager. CL NIC Chile, for We told them, they had been at least a couple of days with the problem. It is noteworthy that in VTR who first detected this event and approached us to see how could they contact people of Root-Server-I-or if we had seen something similar. From that we began to investigate and find that the problem probably came from the server Then Mauricio Vergara directly contacted Autonomica / Netnod and Almost parallel, we communicate this anomaly to a mailing list for coordination [1] for DNS hosted DNS-OARC's main objective is to be a research center for analysis and operation of the DNS world is generally aware of events like this [1] https: / / lists.dns-oarc.net/mailman/listinfo/dns-operations [2] http://www.dns-oarc.net 6 .- We want to know if the newspaper El Pais in Spain (http://www.elpais.com/articulo/tecnologia/Gran/Cortafuegos/chino/puede/haber/infectado/Internet/elpeputec/20100326elpeputec_1/Tes) made a correct interpretation of IAS communications from Chile to DNS-OARC. The newspaper El Pais in Spain said several issues that are related, some of whom have little relation to the initial question, which was Anybody else seeing this? It has been much emphasis on the problem they had Chile and California, when in fact the anomaly could affect anyone in the world that were connected to the Internet and its traffic to go by Should be clear, we at NIC Chile could detect this fact in some of these points mentioned above, but there were others (like GTD, Entel and Telefónica) where we could not reproduce the problem. 7 .- How NIC Chile had problems with Facebook, YouTube and Twitter? In making the DNS level consultations could see that the anomalous behavior does not always happen, but That was clearly a mistake. 8 .- Do these problems can be attributed to the Chinese firewall? We have complete certainty at this point, but everything suggests that it would. 9 .- who was targeted by the e-mail Mauricio Vergara? As noted above, the e-mail was addressed to a mailing list managed by DNS-OARC. 10 .- Is it worrying about what happened? Alter data and modifying or filtering content in the DNS affects the normal and correct functioning of the Internet. Fortunately this abnormal behavior has not continued. 11 .- Can we prevent or at the expense of foreign servers? Today it works to implement globally (NIC Chile including) a security extension for the DNS protocol, known as DNSSEC, which helps to authenticate the origin of DNS responses using cryptographic algorithms to ensure that the content and origin of an answer is who is responsible. View: - Http://www.nic.cl/anuncios/2010-01-12.html - Http://www.root-dnssec.org Here's the original Spanish note: COMPORTAMIENTO ANÓMALO DNS DEL 24/03/2010 El día Miércoles 24 de Marzo del 2010, gracias a información provista por Ingenieros de VTR, Mauricio Vergara, Administrador DNS de .CL en NIC Chile, comunicó a través de una lista de correos de operadores manejada por DNS-OARC, una extraña anomalía que involucraba la alteración de datos en las respuestas DNS de uno de los servidores del root server "I" ubicado en China que afectaba a dominios tales como Facebook.com, Twitter.com y Youtube.com. 1.- ¿El problema detectado continúa? Por lo que nos hemos enterado a través de Autonomica/Netnod (Organización sueca, operadores del root-server ?I?), ellos habrían apagado la conexión de su nodo ubicado en China, y por lo que hemos revisado, no hemos vuelto a detectar el comportamiento anómalo nuevamente. 2.- ¿Saben ustedes cuales ISPs fueron afectados? De acuerdo a lo que hemos podido detectar, al menos se vieron afectados en Chile los ISP VTR, Telmex y algunos otros que utilizan a Global Crossing como su proveedor de conexiones internacionales. En un servidor que NIC Chile opera en California, se pudo detectar este hecho también. Sin embargo, no se pudo determinar a través de cual proveedor de Internet pasaba ese tráfico, si a través de Network Solutions o a través de EQUINIX. 3.- ¿Que explicaría que alguien hiciera anuncios de un root server desde China hacia el resto del mundo? Las consultas a los root servers se hacen a cualquiera de los 13 servidores raíz ubicados en todo el mundo; estos servidores se identifican por una letra, desde la ?A? hasta la ?M?. El servidor raiz ?I?, como casi todo el resto de los root servers, es en realidad un conjunto de más de 40 servidores ubicados en distintas ciudades de todos los continentes (a esto se le denomina una nube anycast). Da la casualidad que en esta ocasión, un servidor que estaba ubicado en Beijing, parecía estar "más cercano" (en término de rutas de Internet) que otros servidores del root server ?I? (por ejemplo, los de Estados Unidos o de Europa). Más información al respecto la podría entregar Autonomica/Netnod. Ellos manejan un sistema de anycast alojado en distintos puntos del mundo con distintos proveedores y en NIC Chile no sabemos qué tipo de configuración usa Autonomica/Netnod para publicar sus enlaces al mundo. 4.- ¿Creen ustedes que esto es accidental? El llegar a una ruta china desde un país como Chile, no es accidental. Internet funciona de esa manera y busca siempre un camino que considere "cercano" (otra vez, hablando en términos de ruta de Internet). Por otro lado, el aplicar filtros o alterar información entremedio, tampoco es accidental y requiere intervención de terceros. Aunque no podemos estar 100% seguros, todo apunta a que esta situación es la consecuencia de la aplicación de filtros y alteraciones de contenido del DNS. El aplicar filtros o alterar información intermedia, no es accidental y requiere intervención de terceros. 5.- ¿Cuando se dieron cuenta del problema? El Miércoles 24 de Marzo cerca de las 10:00 AM CLST, cuando Pablo Jimenez (Ingeniero de servicios IP y Monitoreo de VTR) se comunicó con Mauricio Vergara Ereche, Administrador DNS de .CL en NIC Chile, para preguntarnos si veíamos este comportamiento anómalo. Nos comentó que ellos, ya llevaban al menos un par de días con el problema. Hay que destacar que en VTR fueron los primeros que detectaron este suceso y se acercaron a nosotros para ver cómo podrían ellos contactar a gente del Root-Server ?I?, o si habíamos visto algo similar. A partir de eso empezamos a investigar y detectamos que el problema probablemente provenía del servidor del Root Server ?I? ubicado en China. En seguida Mauricio Vergara se contactó directamente con Autonomica/Netnod y les explicamos lo que habíamos detectado. Luego, Pablo Jimenez también los contactó a ellos. Casi paralelamente, nosotros comunicamos esta anomalía a una lista de correo de coordinación[1] para DNS alojada por DNS-OARC [2], agrupación de la cual NIC Chile es miembro. DNS-OARC tiene como objetivo principal ser un centro de investigación para el análisis y la operación del mundo DNS y generalmente está al tanto de eventos como éste [1]https://lists.dns-oarc.net/mailman/listinfo/dns-operations [2]http://www.dns-oarc.net 6.- Queremos saber si el diario El País de España (http://www.elpais.com/articulo/tecnologia/Gran/Cortafuegos/chino/puede/haber/infectado/Internet/elpeputec/20100326elpeputec_1/Tes) hizo una interpretación correcta de lo comunicado por NIC Chile a DNS-OARC. El diario El País de España comentó varios temas que se relacionan, algunos de los cuales no tienen mucha relación con el cuestionamiento inicial, el cual era ¿Alguien más está viendo esto? Se ha hecho mucho hincapié en que el problema lo tenían Chile y California, cuando en realidad la anomalía podía afectar a cualquier persona en el mundo que estuviese conectada a Internet y su tráfico pasara por alguno de los puntos alojados en China. Hay que aclarar, que nosotros en NIC Chile pudimos detectar este hecho en algunos de esos puntos ya mencionados, pero hubo otros (como por ejemplo GTD, Entel o Telefónica) en donde no pudimos reproducir el problema. 7.- ¿En NIC Chile tuvieron problemas con Facebook, Youtube y Twitter? Al hacer las consultas a nivel de DNS se podía ver que el comportamiento anómalo no ocurría siempre, pero se detectaron algunas respuesta que se veían extrañas y parecían "adulteradas" en el camino. Eso era claramente un error. 8.- ¿estos problemas se pueden atribuir al cortafuegos chino? No tenemos una certeza completa en este punto, pero todo apunta a que asi sería. 9.- ¿a quién fue dirigido el e-mail de Mauricio Vergara? Tal como se indicó anteriormente, el e-mail fue dirigido a una lista de correos administrada por DNS-OARC. 10.- ¿Es preocupante lo que pasó? Si esta fuera una situación que persistiera en el tiempo, sería indudablemente muy preocupante. Alterar datos y modificar o filtrar contenidos en el DNS afecta el funcionamiento normal y correcto de Internet. Afortunadamente este comportamiento anormal no ha continuado. 11.- ¿Se puede evitar o estamos a expensas de servidores extranjeros? Hoy en día se trabaja en implementar a nivel global (NIC Chile incluido) una extensión de seguridad para el protocolo DNS, conocida como DNSSEC, el cual ayuda a autenticar el origen de las respuestas DNS empleando algoritmos criptográficos para poder asegurar que el contenido y origen de una respuesta sea de quién corresponde. Ver: - http://www.nic.cl/anuncios/2010-01-12.html - http://www.root-dnssec.org