The system is experiencing issues

About This Site

Procurios likes to be transparant about the state of our services. This is our incident status reporting system. When an incident occurs, this is where we post status updates. For real-time monitoring of our systems see uptime.procurios.net.

You can subscribe to receive status updates.


Procurios is graag transparant over de staat van haar dienstverlening. In geval van storingen of calamiteiten houden wij je hier op de hoogte. Ook gepland onderhoud kondigen we hier aan. We hebben ook een pagina waar je kunt zien wat de live status van onze systemen is: uptime.procurios.net.

Je kunt je abonneren om automatisch op de hoogte te worden gehouden.

Incidents

Tuesday 19 November 2024

Processing Delays

For the past few weeks, some of our servers have been experiencing moments of slowness. Users have to wait a long time for their requests (such as a search query) to be processed. This is, of course, an undesirable situation. For this reason, the servers where the issue occurs are temporarily shut down when the problem arises. Users are then automatically switched to another server, allowing them to continue working normally.

Currently, a solution to this issue is being worked on full-time. However, the cause has not yet been identified. In order to determine whether performance improvements to the affected servers have the desired effect, these servers need to be restarted from time to time. It is important that this happens during the day because the issue mainly occurs during daytime hours. As a result, users may continue to experience occasional short periods of severe delays. We apologize for this inconvenience. Any updates will be shared on this page.


Sinds enkele weken kampen enkele van onze servers met momenten van traagheid. Gebruikers moeten dan lang wachten totdat hun verzoek (bijvoorbeeld een zoekopdracht) is uitgevoerd. Dit is uiteraard een ongewenste situatie. Om deze reden worden de servers, waarbij het probleem optreedt, uitgeschakeld wanneer het probleem zich voordoet. Gebruikers schakelen dan automatisch over naar een andere server waardoor zij weer normaal verder kunnen werken.

Op dit moment wordt er fulltime aan een oplossing van dit probleem gewerkt. De oorzaak is echter nog niet gevonden. Om te zien of performance-verbeteringen aan de betreffende servers het gewenste effect hebben, moeten deze af en toe opnieuw worden ingeschakeld. Het is belangrijk dat dit overdag gebeurt, omdat het probleem met name overdag optreedt. Hierdoor kunnen gebruikers af en toe korte periodes van ernstige vertraging blijven ervaren. Onze excuses voor dit ongemak. Wanneer er nieuwe ontwikkelingen zijn houden we je via deze pagina op de hoogte.

Tuesday 28 March 2023

Service Interruption (now)

At this moment we are experiencing an interruption of our services. We are currently investigating the issue.


Op dit moment hebben we een onderbreking van onze dienstverlening. We zijn op dit moment de oorzaak aan het onderzoeken.

  • The cause was a software problem which we have solved. Our apologies for of the interruption.


    De oorzaak was een software probleem dat we hebben weten te verhelpen. Excuses voor de onderbreking.

  • Wednesday 25 January 2023

    Service interruption (a short one, but recovered now)

    We experienced a short interruption of our services, but we have mitigated the situation. We are currently further investigating the issue.


    Er was een korte onderbreking van onze dienstverlening, we hebben onze systemen intussen hersteld. We zijn op dit moment de oorzaak verder aan het onderzoeken.

  • A number of human and technical errors that combined together have led to the disruption. We will analyse this further and adjust our systems and review our procedures accordingly.


    Een aantal menselijke en technische fouten hebben samen geleid tot de onderbreking. We zullen na verdere analyse onze systemen aanpassen en onze procedures tegen het licht houden.

  • Thursday 27 October 2022

    Service Interruption (now)

    At this moment we are experiencing reduced availability of our services. We are currently investigating the issue.


    Op dit moment hebben we verminderde bereikbaarheid van onze dienstverlening. We zijn op dit moment de oorzaak aan het onderzoeken.

  • Our network provider has solved the issue.


    Het probleem bij onze netwerkleverancier is opgelost.

  • The issue has been identified with our Network provider. It seems to be a software or configuration error on their systems.


    We hebben vastgesteld dat het probleem bij onze netwerkleverancier ligt. Waarschijnlijk is het een software of configuratiefout op hun systemen.

  • Saturday 15 October 2022

    DDOS

    Our network provider confirms that we are dealing with a DDoS. The mitigation will be switched on, but it can take up to 10 minutes before this is entirely active.


    Onze netwerkprovider bevestigt dat het om een DDoS gaat. De bescherming wordt ingeschakeld, maar het kan tot een minuut of 10 duren voordat deze helemaal actief is.

  • The mitigation service seems to have been effective, although it has been a difficult attack. We have dealt with the attack together with our network partner and NaWas. The DDoS attack is still active and it might be that we will experience some consequences.


    De bescherming heeft zijn werk gedaan, hoewel het een flinke aanval is geweest. We hebben het samen met onze netwerkprovider en NaWas voor elkaar gekregen. De DDoS attack is niet voorbij en het kan zijn dat we er soms nog wel de gevolgen van merken.

  • The attack seems to hold on, we are alert and apply counteractions against the attacker to ensure a better service.


    De aanval blijft nog steeds erg actief, we blijven alert en passen tegenmaatregelen aan om te zorgen dat we beter bereikbaar worden.

  • Monday 25 October 2021

    Service interruption (a short one, but recovered now)

    We experienced a short interruption of our services, they seem to have recovered. We are currently investigating the issue.


    Er was een korte onderbreking van onze dienstverlening, onze systemen hebben zich intussen hersteld. We zijn op dit moment de oorzaak aan het onderzoeken.

  • Our network provider has confirmed the problem is solved.


    Onze netwerkleverancier meldt dat het probleem is opgelost.

  • The cause of the interruption was with our network provider. The cause of the outage is being investigated.


    De reden van de onderbreking lag bij onze netwerkleverancier. Zij doen op dit moment onderzoek naar de oorzaak.

  • Friday 25 June 2021

    Scheduled downtime

    We are executing the maintenance procedure on our platform. We expect our services to be disrupted up to a few minutes, as has previously been announced.


    We voeren nu de onderhoudswerkzaamheden aan ons platform uit. We verwachten dat onze dienstverlening tot enkele minuten onderbroken kan zijn, zoals we eerder hebben aangegeven.

  • We have finished the maintenance on our platform.


    De onderhoudswerkzaamheden zijn voltooid.

  • Wednesday 23 June 2021

    Service Interruption (now)

    At this moment we are experiencing an interruption of our services. We are currently investigating the issue.


    Op dit moment hebben we een onderbreking van onze dienstverlening. We zijn op dit moment de oorzaak aan het onderzoeken.

  • The cause of the interruption was a software problem and it was solved quickly. Our apologies for this untimely update.


    De reden van de onderbreking was een software probleem dat we gelukkig snel hebben weten te verhelpen. Excuses voor deze verlate update.

  • Monday 29 March 2021

    Service Interruption (now)

    At this moment we are experiencing an interruption of our services. We are currently investigating the issue.


    Op dit moment hebben we een onderbreking van onze dienstverlening. We zijn op dit moment de oorzaak aan het onderzoeken.

  • Our network provider confirms that we are dealing with a DDoS. The attack seems to have stopped.


    Onze netwerkprovider bevestigt dat het om een DDoS gaat. Inmiddels is de aanval gestopt.

  • The problem seems to be intermittent. In the past half our there have been a few 1 to 2 minute network interruptions. The service interruption seems to be caused by either a DDoS or a network problem. We are working with our network provider to solve the issue.


    De storing blijft zich voordoen, maar af-en-aan. In het afgelopen half uur zijn er een aantal onderbrekingen geweest van 1 á 2 minuten. De onderbreking lijkt het gevolg te zijn van een DDoS of een netwerk probleem. We werken met onze netwerkprovider om het op te lossen.

  • Thursday 25 February 2021

    Service Interruption (now)

    At this moment we are experiencing an interruption of our services. We are currently investigating the issue.


    Op dit moment hebben we een onderbreking van onze dienstverlening. We zijn op dit moment de oorzaak aan het onderzoeken.

  • We experienced a short interruption of our services, they seem to have recovered.

    Er was een korte onderbreking van onze dienstverlening, onze systemen hebben zich intussen hersteld.

  • Thursday 4 February 2021

    Service Interruption

    At this moment we are experiencing an interruption of our services. We are currently investigating the issue.


    Op dit moment hebben we een onderbreking van onze dienstverlening. We zijn op dit moment de oorzaak aan het onderzoeken.

  • The issue has been resolved.


    Het probleem is opgelost.

  • Tuesday 24 November 2020

    Service Interruption

    At this moment we are experiencing an interruption of our services. We are currently working with our colocation provider to solve the issue.


    Op dit moment hebben we een onderbreking van onze dienstverlening. We zijn op dit moment met onze netwerkprovider bezig met een oplossing.

  • The network issue has been resolved.


    Het netwerkprobleem is opgelost.

  • Thursday 5 November 2020

    Service Interruption (now)

    At this moment we are experiencing an interruption of our services. We are currently investigating the issue.


    Op dit moment hebben we een onderbreking van onze dienstverlening. We zijn op dit moment de oorzaak aan het onderzoeken.

  • Diskfailure has caused a short interruption of our services. Secondary machines have taken over the tasks of any affected machine and all services are up and running. We'll be investigating the cause so that the affected machines can be restored as soon as possible.


    Een harde schijfstoring heeft voor een korte onderbreking van onze diensten geleid. Secundaire machines hebben inmiddels de taken overgenomen van de getroffen machines waardoor alle diensten weer beschikbaar zijn. We onderzoeken de oorzaak zodat de getroffen machines zo snel als mogelijk weer in bedrijf genomen kunnen worden.

  • Friday 30 October 2020

    Service interruption

    We experienced a short interruption of our services, they seem to have recovered. The interruption was caused by bots overflowing our servers. We have put limits in place to prevent this from happening again.


    Er was een korte onderbreking van onze dienstverlening, onze systemen hebben zich intussen hersteld. De onderbreking werd veroorzaakt door bots die onze servers hebben overbelast. We hebben betere limieten ingesteld om te voorkomen dat dit nogmaals gebeurd.

    Monday 28 September 2020

    Service interruption (a short one, but recovered now)

    We experienced a short interruption of our services, they seem to have recovered. We are currently investigating the issue.


    Er was een korte onderbreking van onze dienstverlening, onze systemen hebben zich intussen hersteld. We zijn op dit moment de oorzaak aan het onderzoeken.

  • The DDoS attack is currently not active, and we've made some adjustments to our systems to avoid downtime. At this point in time we do not want to give the attacker any more information than necessary. We are closing the incident, but that doesn't mean that we relax. We are alert and the countermeasures we have taken will still be active.


    De DDoS aanval is op dit moment niet meer actief, en we hebben enkele aanpassingen gedaan aan onze systemen. Op dit moment willen we de aanvaller niet meer informatie geven dan nodig. We sluiten dit incident nu, maar dat betekent niet dat we niet alert blijven. Ook de genomen maatregelen blijven nog actief.

  • Friday 31 July 2020

    Service interruption

    We experienced a 10 minute interruption of our services, everything has recovered. The cause of this was human error. A manual configuration change led to unreachable database servers. We will investigate if we can prevent this type of human error to have such grave consequences.


    Er was een korte onderbreking van 10 minuten van onze dienstverlening, onze systemen zijn weer hersteld. De oorzaak was een menselijke. Een handmatige configuratie wijziging leidde tot het onbereikbaar zijn van de databaseservers. We gaan onderzoeken of we kunnen voorkomen dat deze kleine menselijke fout zulke enstige gevolgen kan hebben.

    Tuesday 23 June 2020

    Service Interruption

    We experienced a short (two minute) interruption of our services, they seem to have recovered. We are currently investigating the issue.


    Er was een korte onderbreking (twee minuten ongeveer) van onze dienstverlening, onze systemen hebben zich intussen hersteld. We zijn op dit moment de oorzaak aan het onderzoeken.

  • The key parts if our system have been migrated to other servers, and we identified and fixed the software problem in our application.

    This incident is now resolved. We apologize for any inconveniences.


    De essentiële onderdelen van ons platform zijn verhuisd en het softwareprobleem is gevonden en opgelost.

    Hiermee sluiten we dit incident. Onze excuses voor het ongemak.

  • The incident started at 16:08. Up to 16:11:20 users might have noticed slow performance. From 16:11:20 to 16:13:29 our platform was unavailable, and back online since.

    The problem was caused by a server with failing hardware. The storage system in this server was temporary unavailable because the disk controller decided a reset was needed. He reason for this reset is, and probably will remain, unknown. In the next few days we will be migrating key parts of our software to other servers to avoid future incidents.

    We will also investigate and fix the software problem in our application, failure of a single server should not cause a full service interruption.


    Het incident begon om 16:08. Tot 16:11:20 hebben gebruikers mogelijk traagheid ervaren. Van 16:11:20 tot 16:13:29 was ons platform onbereikbaar, en sindsdien weer online.

    De oorzaak was een server met hardware problemen. Het opslagsysteem van de server was tijdelijk onbereikbaar omdat de server had besloten dat een reset nodig was. De reden voor de reset van het opslag systeem is niet duidelijk, we hebben daar helaas geen informatie over. De komende dagen gaan we essentiële onderdelen van ons platform verhuizen naar andere servers om storingen in de toekomst te voorkomen.

    Het zou niet zo moeten zijn dan een storing in een enkele server leidt tot een algehele onderbreking, we gaan dat softwareprobleem onderzoeken en oplossen.